Verhaltensmodell eines Umgebungssensors Die Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Simulation eines Umgebungssensors eines Fahrerassistenzsystems. Des Weiteren betrifft die Erfindung ein Verfahren zur Analyse eines solchen Umgebungssensors und ein Verfahren zur Simulation eines solchen Umgebungssensors. Aufgrund der Komplexität heutiger Kraftfahrzeuge besteht das Bedürfnis, deren Kompo- nenten bei der Entwicklung in einer möglichst frühen Entwicklungsphase gemeinsam testen zu können. Solche Tests des Zusammenspiels verschiedener Komponenten kön- nen vor dem Vorliegen eines Prototyps entweder durch einen simulierten Betrieb der Komponenten auf einem Prüfstand erfolgen, oder sogar lediglich durch eine wenigstens teilweise modellbasierte Simulation, oder eine vollständig modellbasierte Simulation. Bei einer solchen modellbasierten Simulation wird der Betrieb wenigstens einer Komponente mittels eines Modells simuliert.

Die modellbasiert simulierten Komponenten werden im Allgemeinen mit einem physikali- sehen Modell modelliert. Hierfür ist ein recht hohes Abstraktionsniveau notwendig, ins- besondere, wenn es sich bei den Komponenten um Sensoren handelt, welche als virtuel- le Sensoren in einem Modell abgebildet werden sollen.

Bei einigen Komponenten ist es darüber hinaus schwierig, die exakten Spezifikationen zu erhalten. Insbesondere bei Sensoren, und dort wiederum bei Sensoren, welche zu Fahrerassistenzsystemen gehören oder in diesen verbaut sind, stellen die Anbieter oft- mals nicht die nötigen Daten zur Verfügung, welche zur Parametrierung oder sogar zur Bildung eines physikalischen Modells notwendig wären. Vorzugsweise weisen solche Sensoren, insbesondere Umgebungssensoren, eine Sensor-Hardware und eine Daten- Verarbeitungseinrichtung auf, in welchem Messsignale mittels einen Datenverarbei- tungsalgorithmus, vorzugsweise zur Weiterverarbeitung für ein Fahrerassistenzsystem, aufbereitet werden.

Das Dokument US 2009/01 12334 A1 betrifft ein Verfahren für ein Steuersystem einer Maschine. Das Verfahren kann das Erstellen eines virtuellen Sensormodells einschlie- ßen, welches Zwischenbeziehungen zwischen zumindest einem mittels des Sensors erfassten Parameters und einer Vielzahl von gemessenen Parametern in Bezug auf die Maschine charakterisiert. Es ist eine Aufgabe der Erfindung, ein Verfahren bereitzustellen, mittels welchem die Simulation eines Umgebungssensors eines Fahrerassistenzsystems verbessert werden kann. Insbesondere ist es eine Aufgabe der Erfindung, den Betrieb eines Sensors so genau simulieren zu können, dass die von dem Simulationsmodell ausgegebenen Daten sich für virtuelle Testfahrten zur Erprobung eines virtuellen oder realen Fahrerassistenz- Systems eignen.

Diese Aufgabe wird gelöst durch ein Verfahren zum Trainieren eines künstlichen neuro- nalen Netzes nach Anspruch 1 , ein Verfahren zur Analyse eines Umgebungssensors nach Anspruch 2, ein Verfahren zur Simulation eines Umgebungssensors nach An- spruch 4 sowie durch eine Vorrichtung zum Trainieren eines künstlichen neuronalen Netzes nach Anspruch 10, eine Vorrichtung zur Analyse eines Umgebungssensors eines Fahrerassistenzsystems nach Anspruch 11 und eine Vorrichtung zur Simulation eines Umgebungssensors eines Fahrerassistenzsystems nach Anspruch 12. Vorteilhafte Aus- gestaltungen werden in den Unteransprüchen beansprucht. Die Lehre der Ansprüche wird ausdrücklich zum Bestandteil der Beschreibung gemacht.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Trainieren eines künstlichen neuronalen Netzes zur Simulation eines Umgebungssensors eines Fahrerassistenzsys- tems, vorzugsweise folgende Arbeitsschritte aufweisend:

Einlesen von Verkehrsszenarien einer Testfahrt;

Ableiten von Testfahrtdaten und der von dem Umgebungssensor auszugebenden Sens- ordaten aus den Verkehrsszenarien; Erzeugen eines Datenstroms, insbesondere eines Bildstroms, welcher die Verkehrssze- narien aus der Perspektive des Umgebungssensors abbildet;

Ausgeben des Datenstroms in der Weise, dass der Umgebungssensor auf der Grundla- ge des Datenstroms Sensordaten erzeugen kann und an einer Datenschnittstelle bereit- stellen kann, an welcher auch die Testfahrtdaten und die auszugebenden Sensordaten bereitgestellt werden; und

Einlesen der bereitgestellten Daten in das künstliche neuronale Netz.

Ein zweiter Aspekt der Erfindung betrifft ein entsprechendes System zum Trainieren ei- nes künstlichen neuronalen Netzes zur Simulation eines Umgebungssensors eines Fah- rerassistenzsystems, vorzugsweise aufweisend:

eine Schnittstelle zum Einlesen von Verkehrsszenarien einer Testfahrt;

Mittel zum Ableiten von Testfahrtdaten und der von dem Umgebungssensor auszuge- benden Sensordaten aus den Verkehrsszenarien;

Mittel, insbesondere eine Grafikkarte, zum Erzeugen eines Datenstroms, insbesondere eines Bildstroms, welcher die Verkehrsszenarien aus der Perspektive des Umgebungs- sensors abbildet;

eine Schnittstelle, insbesondere ein Display, zum Ausgeben des Datenstroms in der Weise, dass der Umgebungssensor auf der Grundlage des Datenstroms Sensordaten erzeugen kann; und

eine Datenschnittstelle an welcher die erzeugten Sensordaten, die Testfahrtdaten und die auszugebenden Sensordaten dem künstlichen neuronalen Netz bereitgestellt werden können. Ein dritter Aspekt der Erfindung betrifft ein Verfahren zur Analyse eines Umgebungs- sensors eines Fahrerassistenzsystems, vorzugsweise folgende Arbeitsschritte aufwei- send:

Einlesen von Verkehrsszenarien einer Vielzahl von Testfahrten;

Ableiten von Testfahrtdaten und der von dem Umgebungssensor auszugebenden Sens- ordaten aus den Verkehrsszenarien;

Erzeugen eines Datenstroms, insbesondere eines Bildstroms, welcher die Verkehrssze- narien aus der Perspektive des Umgebungssensors abbildet; Ausgeben des Datenstroms an den Umgebungssensor, welcher auf der Grundlage des Datenstroms Sensordaten erzeugt;

Durchführen einer Ausgleichsrechnung mittels eines künstlichen neuronalen Netzes auf der Grundlage der Testfahrtdaten, der auszugebenden Sensordaten und der durch den Umgebungssensor erzeugten Sensordaten; und

Anwenden eines Simulationsmodells, welches auf der Ausgleichsrechnung basiert, wo- bei das Simulationsmodell eingerichtet ist, Sensordaten auf der Grundlage von einem Datenstrom einer Testfahrt zu simulieren und auszugeben. Ein vierter Aspekt der Erfindung betrifft ein entsprechendes System zur Analyse eines Umgebungssensors eines Fahrerassistenzsystems, vorzugsweise aufweisend:

eine Schnittstelle zum Einlesen von Verkehrsszenarien einer Vielzahl von Testfahrten; Mittel zum Ableiten von Testfahrtdaten und der von dem Umgebungssensor auszuge- benden Sensordaten aus den Verkehrsszenarien;

Mittel, insbesondere eine Grafikkarte, zum Erzeugen eines Datenstroms, insbesondere eines Bildstroms, welcher die Verkehrsszenarien aus der Perspektive des Umgebungs- sensors abbildet;

eine Schnittstelle, insbesondere ein Display, zum Ausgeben des Datenstroms an den Umgebungssensor, welcher auf der Grundlage des Datenstroms Sensordaten erzeugt; Mittel zum Durchführen einer Ausgleichsrechnung mittels eines künstlichen neuronalen Netzes auf der Grundlage der Testfahrtsimulationsdaten, der auszugebenden Sensorda- ten und der durch den Umgebungssensor erzeugten Sensordaten;

Mittel zum Bestimmen von Sensordaten mittels eines Simulationsmodells, welches auf der Ausgleichsrechnung basiert, wobei das Simulationsmodell eingerichtet ist, Sensorda- ten auf der Grundlage von einem Datenstrom, insbesondere Bildstrom, einer beliebigen Testfahrt zu simulieren; und

eine Datenschnittstelle zum Ausgeben der mittels des Simulationsmodells bestimmten Sensordaten. Ein fünfter Aspekt der Erfindung betrifft ein Verfahren zur Simulation eines Umgebungs- sensors eines Fahrerassistenzsystems, vorzugsweise folgende Arbeitsschritte aufwei- send: Erfassen eines Datenstroms, welcher eine Testfahrt aus der Perspektive des Umge- bungssensors abbildet;

Bestimmen von Sensordaten mittels eines Simulationsmodells, welches eingerichtet ist, Sensordaten auf der Grundlage von einem Datenstrom der Testfahrt zu simulieren, wo- bei das Simulationsmodell auf einer Ausgleichsrechnung mittels eines künstlichen neu- ronalen Netzes auf der Grundlage von Testfahrtdaten und Datenströmen einer Vielzahl von verschiedenen Testfahrten sowie von bei diesen Testfahrten durch den Umge- bungssensor erzeugten Sensordaten beruht; und

Ausgeben der mittels des Simulationsmodells bestimmten Sensordaten.

Ein sechster Aspekt der Erfindung betrifft ein entsprechendes System zur Simulation eines Umgebungssensors eines Fahrerassistenzsystems, vorzugsweise aufweisend: eine Schnittstelle, insbesondere eine Kamera, zum Erfassen eines Datenstroms, welcher eine Testfahrt aus der Perspektive des Umgebungssensors abbildet;

Mittel zum Bestimmen von Sensordaten mittels eines Simulationsmodells, welches ein- gerichtet ist, Sensordaten auf der Grundlage von einem Datenstrom einer beliebigen Testfahrt zu simulieren, wobei das Simulationsmodell auf einer Ausgleichsrechnung mit- tels eines künstlichen neuronalen Netzes auf der Grundlage von Testfahrtdaten und Da- tenströmen einer Vielzahl von verschiedenen Testfahrten sowie von bei diesen Testfahr- ten (R) durch den Umgebungssensor erzeugten Sensordaten beruht; und

eine Datenschnittstelle zum Ausgeben der mittels des Simulationsmodells bestimmten Sensordaten.

Ein Umgebungssensor im Sinne der Erfindung ist vorzugsweise eingerichtet, Informatio- nen über eine Umgebung eines Fahrzeugs, welche das Fahrerassistenzsystem aufweist, zu erfassen. Vorzugsweise betrifft diese Information wenigstens eine Eigenschaft aus der nachfolgenden Gruppe von Eigenschaften: Temperatur, Bilder, insbesondere opti- sche, Infrarot- oder Radar-Bilder, Distanzen, Feuchtigkeit, Luftdruck, Staudruck, elektro- magnetische Strahlung, radioaktive Strahlung, Helligkeit, Sichtweite.

Der Umgebungssensor ist hierbei vorzugsweise als Hardware und/oder Software ausge- bildet. Vorzugsweise weist der Umgebungssensor einen Datenverarbeitungsalgorithmus auf. Alternativ oder zusätzlich weist der Umgebungssensor eine Vorrichtung zum Erfas- sen der Informationen auf.

Testfahrtdaten im Sinne der Erfindung sind vorzugsweise Umweltdaten in Bezug auf das Fahrzeug, welches das Fahrerassistenzsystem trägt. Die Umweltdaten sind hierbei jene Eigenschaften der Umwelt, welche vorzugsweise nicht von dem zu simulierenden Um- gebungssensor erfasst werden. Alternativ oder zusätzlich umfassen die Testfahrtdaten statische Daten, welche die Dimensionen sowie Eigenschaften des Fahrzeugs, aber ins- besondere auch die Dimension der Straße, aufweisen. Zusätzlich oder alternativ weisen die Testfahrtdaten sogenannte Egodaten auf, welche die dynamischen Eigenschaften des Fahrzeugs, welches das Fahrerassistenzsystem trägt, wie beispielsweise Blinksig- nale, Geschwindigkeit, Beschleunigung und/oder Neige-, Gier- oder Rollbewegungen umfasst. Ein Datenstrom im Sinne der Erfindung enthält vorzugsweise Information. Weiter vor- zugsweise ist ein Datenstrom ein optisches Signal, ein elektromagnetisches Signal, ein Feuchtigkeitswert, ein Luftdruckwert, ein Staudruckwert, ein Strahlungswert, ein Tempe- raturwert oder ein Helligkeitswert. Vorzugsweise betrifft der Datenstrom eine Abfolge von Werten der Information in Abhängigkeit von der Zeit und/oder von einer zurückgelegten Distanz.

Eine Datenschnittstelle im Sinne der Erfindung ist vorzugsweise Teil eines künstlichen neuronalen Netzes oder einer Vorrichtung und/oder eines Computerprogramms, welche das erfindungsgemäße Verfahren jeweils ausführen. Die Datenschnittstelle kann hierbei vorzugsweise aus mehreren Teilschnittstellen bestehen, welche jeweils durch Hardware und/oder Software ausgebildet sind.

Ein Mittel im Sinne der Erfindung ist vorzugsweise hard- und/oder softwaretechnisch ausgebildet sein, insbesondere eine, vorzugsweise mit einem Speicher- und/oder Bus- System daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbeson- dere Mikroprozessor-Einheit (CPU) und/oder ein oder mehrere Programme oder Pro- gramm-Module aufweisen. Die CPU kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Ein- gangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Da- tenbus zu geben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiede- ne, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien, aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, dass die CPU die Schritte solcher Verfahren ausführen kann und damit insbesondere einen Wert einer Zielgröße in Bezug auf die Robustheit wenigstens eines Fahrzeugs einer Fahr- zeuggattung bestimmen kann. Ein Verkehrsszenario im Sinne der Erfindung ist vorzugsweise eine Konstellation von Verkehrsteilnehmern und Objekten im Bereich und Umfeld einer Fahrbahn, insbesonde- re einer Straße. Ein Verkehrsszenario besteht weiter vorzugsweise aus einer oder meh- rerer Verkehrsszenen, welche zeitlich nacheinander abfolgen. Die Erfindung beruht insbesondere auf dem Ansatz, die Sensoren eines Fahrerassis- tenzsystems durch sogenannte Verhaltensmodelle (Englisch: behavioral model) nach- zubilden. Solche Verhaltensmodelle basieren im Allgemeinen auf Methoden des tiefge- henden Lernens (Englisch: deep learning). Mittels eines Simulationsmodells, welches auf einem Verhaltensmodell beruht, ist es ins- besondere möglich, einen Sensor zu modellieren, ohne dessen genaue Spezifikationen zu kennen. Dies gilt sowohl für die Spezifikationen in Bezug auf etwaige Hardwarekom- ponenten des Sensors als auch für einen etwaig vorhandenen Datenverarbeitungsalgo- rithmus, welcher vorzugsweise Teil des Umgebungssensors, insbesondere einer Daten- Verarbeitungseinrichtung des Umgebungssensors, ist. Um besonders exakte Ergebnisse der Simulation für den Sensor zu erhalten, wird das Simulationsmodell mit Datenströmen trainiert, welches die jeweilige Testfahrt aus der Sicht bzw. Perspektive des jeweiligen Umgebungssensors wiedergibt. Des Weiteren wird das Modell mit Testdaten und mit den tatsächlich von dem Sensor auszugebenden Sensordaten versorgt.

Die von dem zu simulierenden Umgebungssensor auszugebenden Sensordaten werden ebenfalls aus den Verkehrsszenarien der jeweiligen Testfahrt gewonnen. Bei einer simu- lierten bzw. virtuellen Testfahrt können diese Daten bereits von der Simulationsumge- bung bereitgestellt werden, bei Verkehrsszenarien auf der Grundlage einer realen Test- fahrt können Auswertealgorithmen oder auch eine manuelle menschliche Auswertung zum Einsatz kommen. Das künstliche neuronale Netz kann durch Einlesen der Eingangsgrößen (Testfahrtda- ten, ausgegebene Sensordaten) und der auszugebenden Ausgangsgrößen (auszuge- bende Sensordaten) nach und nach aufgebaut werden.

Die erfindungsgemäße Vorgehensweise zeichnet sich insbesondere dadurch aus, dass das Sensormodell mit realistischen Daten in Bezug auf den jeweiligen Einbauort des Umweltsensors trainiert werden kann.

Das Simulationsmodell auf der Grundlage von künstlichen neuronalen Netzen hat dar- über hinaus den Vorteil, dass dieses das tatsächliche Verhalten eines echten Sensors in Echtzeit nachbilden kann. Testfahrten können somit für das Fahrerassistenzsystem auf der Grundlage der Daten des simulierten Umgebungssensors in Echtzeit ausgeführt werden.

Das Simulationsmodell auf der Grundlage von künstlichen neuronalen Netzen hat dar- über hinaus den Vorteil, dass es das Verhalten bzw. eine Veränderung der Ausgabe des zu simulierenden Umgebungssensors bei gleichem Verkehrsszenario aber Störungen wie unterschiedlichen Umweltbedingungen, insbesondere Witterungsbedingungen und/oder Mängel der Hardware des Umgebungssensors (US), z.B. eine Aberration einer Optik oder auch eines Beschlagens der Optik mit Feuchtigkeit oder Verschmutzung der Optik, realitätsgetreu simulieren kann. Erzeugt ein Sensor beispielsweise eine Objektlis- te, so kann die Objektliste bei Auftreten solcher Störungen wesentlich von einer Objekt- liste abweichen, welche ohne das Auftreten dieser Störungen erzeugt würde. Ähnlich verhält es sich mit Veränderungen von Parametern, welche für die Wahrnehmung der Verkehrsszenarien durch den zu simulierenden Umgebungssensor relevant sind, von dem zu simulierenden Umgebungssensor selbst aber nicht erfasst werden.

Dies wird erfindungsgemäß erreicht, indem das Simulationsmodell mittels der zu einem Zeitpunkt auszugebenden Sensordaten, d.h. einer idealen Wahrnehmung der Fahrsze- narien durch den Umgebungssensor, der zu dem Zeitpunkt ausgegebenen Sensordaten, d.h. der tatsächlich vorliegenden Wahrnehmung der Fahrszenarien durch den Umge- bungssensor, und der Testfahrdaten trainiert wird. Ein siebter Aspekt der Erfindung betrifft ein Verfahren zur Analyse eines Fahrerassis- tenzsystems, wobei das Fahrerassistenzsystem während einer realen oder simulierten Testfahrt mit dem mittels eines Verfahrens nach dem ersten, dritten oder fünften Aspekt der Erfindung ausgegebenen Sensordaten sowie mit Daten anderer virtueller oder realer Sensoren, welche vorzugsweise innerhalb eines Datennetzwerks, insbesondere Kenn- netzwerks, eines Fahrzeugs zur Verfügung stehen, gespeist wird. Mittels dieses Verfah- rens kann die Leistung des Gesamtsystems aus Fahrerassistenzsystem sowie simulier- tem Umgebungssensor und gegebenenfalls weiteren Sensoren getestet werden. Das Zusammenführen der Daten des simulierten Sensors sowie weiterer simulierter oder rea- ler Sensoren kann insbesondere mittels Sensor-Fusion vorgenommen werden.

In einer vorteilhaften Ausgestaltung des Verfahrens gemäß dem ersten und dritten As- pekt der Erfindung werden die Arbeitsschritte mit verschiedenen Testfahrten so lange wiederholt, bis das künstliche neuronale Netz die Funktion des Sensors möglichst genau abbildet, insbesondere bis die auszugebenden Daten mit den ausgegebenen Daten zu 95 %, vorzugsweise 98 %, in Bezug auf eine nicht bei der Ausgleichsrechnung berück- sichtigte Testfahrt übereinstimmen.

In einer vorteilhaften Ausgestaltung des Verfahrens gemäß dem fünften Aspekt der Er- findung weist dieses des Weiteren den folgenden Arbeitsschritt auf:

Erzeugen eines Datenstroms, insbesondere eines Bildstroms, weicher eine Testfahrt aus Sicht des Umgebungssensors abbildet, insbesondere auf der Grundlage der Verkehrs- szenarien. Entsprechend weist die Vorrichtung zur Simulation eines Umgebungssensors gemäß dem sechsten Aspekt der Erfindung in einer vorteilhaften Ausgestaltung Mittel zum Er- zeugen eines Datenstroms, insbesondere eines Bildstroms, auf, welcher eine Testfahrt aus Sicht des Umgebungssensors abbildet, insbesondere auf der Grundlage von Ver- kehrsszenarien der Testfahrt.

In einer vorteilhaften Ausgestaltung weist das Verfahren nach einem der Aspekte der Erfindung des Weiteren den folgenden Arbeitsschritt auf:

Verschlechtern, insbesondere Verzerren, des Datenstroms, insbesondere des Bild- stroms, wobei vorzugsweise Witterungsbedingungen und/oder Mängel der Hardware des Umgebungssensors berücksichtigt werden. Mittels dieser vorteilhaften Ausgestaltung kann die Fähigkeit eines Datenverarbeitungsalgorithmus des Sensors oder auch eines Fahrerassistenzsystems selbst geprüft werden, mit fehlerbehafteten Sensordaten umzu- gehen bzw. diese im Betrieb zu kompensieren.

In einer weiteren vorteilhaften Ausgestaltung des Verfahrens gemäß einem der Aspekte der Erfindung wird/werden die Testfahrt oder die Testfahrten auf einem Prüfstand oder modellbasiert simuliert oder real durchgeführt, vorzugsweise mittels einer Kombination aus den vorgenannten Möglichkeiten. Auf diese Weise kann der Umgebungssensor bzw. das Fahrerassistenzsystem in jeder Phase eines Entwicklungszyklus getestet werden. Weitere Vorteile und Merkmale ergeben sich aus den bevorzugten Ausführungsbeispie- len, welche nachfolgend in Bezug auf die Figuren beschrieben werden.

Es zeigen wenigstens teilweise schematisch: Fig. 1 ein Ausführungsbeispiel einer Vorrichtung gemäß dem zweiten Aspekt der

Erfindung;

Fig. 2 ein Ausführungsbeispiel eines Verfahrens gemäß dem ersten Aspekt der Er- findung;

Fig. 3 ein Ausführungsbeispiel einer Vorrichtung gemäß dem dritten Aspekt der Er- findung; Fig. 4 ein Ausführungsbeispiel des Verfahrens gemäß dem dritten Aspekt der Erfin- dung und ein Ausführungsbeispiel des Verfahrens gemäß dem fünften Aspekt der Erfindung; und Fig. 5 ein Ausführungsbeispiel der Vorrichtung gemäß dem sechsten Aspekt der

Erfindung.

Fig. 1 zeigt ein erstes Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung zum Trainieren eines künstlichen neuronalen Netzes KNN zur Simulation eines Umgebungs- sensors US eines Fahrerassistenzsystems.

Die Erfindung wird im Folgenden für alle Ausführungsbeispiele anhand einer optischen Kamera als Umgebungssensor US beschrieben. Grundsätzlich können aber auch ande- re Komponenten, insbesondere andere (Umgebungs-)Sensoren mittels der beschriebe- nen Verfahren und Systeme nachgebildet und analysiert werden. Beispielhaft, aber nicht abschließend, seien diesbezüglich Lidar-Sensoren, Radar-Sensoren, Ultraschallsenso- ren, Temperatursensoren, Feuchtigkeitssensoren, Strahlungssensoren etc. genannt.

Das entsprechende Verfahren 100, welches mit dem System 10 ausgeführt werden kann, ist in Fig. 2 dargestellt.

Daten einer Testfahrt R bzw. die auf dieser Testfahrt R angetroffenen Verkehrsszenarien werden dem System 10 bereitgestellt bzw. von dem System 10 eingelesen 101. Die Testfahrt kann eine simulierte Testfahrt R bzw. simulierte Verkehrsszenarien sein, welche beispielsweise mit der Software CarMaker ^® der IPG Automotive ^® erstellt ist. Al- ternativ können die Testfahrt R bzw. deren Verkehrsszenarien aber auch während eines realen Betriebs eines Fahrzeugs aufgenommen sein. Aus den Verkehrsszenarien der Testfahrt R werden mittels der Mittel 1 1 Testfahrtdaten sowie die tatsächlichen, von dem Umgebungssensor US zu erkennenden und auszuge- benden„wahre“ Sensordaten extrahiert bzw. abgeleitet 102. Werden die Verkehrsszena- rien von einer Simulationssoftware, wie CarMaker ^® , bereitgestellt, so besteht das Extra- hieren im Wesentlichen aus dem Identifizieren der für das System 10 bzw. Verfahren 100 notwendigen Testfahrtdaten und jener Daten, welche für den zu simulierenden Um- gebungssensor relevant sind. In Bezug auf eine optische Kamera könnte dies beispielsweise eine zu erstellende Ob- jektliste sein. Eine„wahre“ Objektliste kann aus der Simulationssoftware, wie CarMaker ^® , unmittelbar abgeleitet werden 102. Bei aufgenommenen Verkehrsszenarien realer Test- fahrten muss die Anzahl der Objekte im Allgemeinen mittels eines sogenannten La- beling-Werkzeugs bestimmt werden. Dies kann automatisiert erfolgen, allerdings muss im Allgemeinen durch eine Person geprüft werden, ob die Daten korrekt sind.

Die Testfahrtdaten, welche wiederum aus den Verkehrsszenarien abgeleitet werden 102, sind beispielsweise Umweltdaten, also insbesondere Daten anderer Sensoren, wie jener des zu untersuchenden Umgebungssensors US, statische Daten, insbesondere die Di- mension des Fahrzeugs sowie der Straße und Ego-Daten, insbesondere dynamische Daten des Fahrzeugs, sowie andere Zustandsdaten des Fahrzeugs, wie beispielsweise Blinken oder auch Aufblenden. Das Ableiten kann hierbei mittels von Mitteln 12 zum Ab- leiten durchgeführt werden. Ebenfalls auf der Grundlage der Verkehrsszenarien der Testfahrt R wird mittels Mitteln 13 ein Datenstrom, insbesondere ein Bildstrom, erzeugt 103, welcher die Verkehrssze- narien aus Sicht des Umgebungssensors US abbildet.

Im Falle des Bildstroms kann hierbei vorzugsweise eine handelsübliche Grafikkarte 13 bzw. eine spezielle Grafiksoftware für eine solche Grafikkarte als Mittel 13 zum Einsatz kommen.

Der so erzeugte Bildstrom wird auf einem Display 14 als Schnittstelle an die Kamera US ausgegeben 105.

Optional besteht vor dem Ausgeben die Möglichkeit, den Bildstrom zu verschlechtern, insbesondere Witterungsbedingungen vorzutäuschen 104-1. Hierdurch kann eine Reak- tion des Umgebungssensors US bzw. die Qualität der unter diesen Umständen durch den Umgebungssensor US bestimmten Sensordaten erreicht bzw. geprüft werden.

In einer alternativen Ausführungsform wird der Datenstrom, welcher die Verkehrsszena- rien aus Sicht des Umgebungssensors US abbildet, unmittelbar an ein Modell des physi- schen Teils des Sensors, also ein Modell der Sensor-Hardware, ausgegeben. Bei einer optischen Kamera bildet das Modell der Sensor-Hardware, also der Kamera-Hardware, im Wesentlichen eine Optik und einen Bildsensor ab. Alternativ oder zusätzlich ist es auch möglich, einen Datenstrom aus der Kamera- Hardware oder aus dem Modell der Kamera-Hardware vor der Verarbeitung durch einen Datenverarbeitungsalgorithmus des Umgebungssensors US, im vorliegenden Beispiel ein Objekterkennungsalgorithmus der Kamera, zu verschlechtern 104-2, 204-2, und erst dann an den Objekterkennungsalgorithmus auszugeben 105‘, 205‘. Mögliche Ver- schlechterungen des Bildstroms oder des Datenstroms, welche durch die Kamera- Hardware oder das Modell der Kamera-Hardware hervorgerufen bzw. simuliert werden können, sind beispielsweise Abbildungsfehler einer Optik oder Fehler oder Verschmut- zungen auf einem Bildsensor. Auf der Grundlage des ausgegebenen Bildstroms bzw. des verschlechterten Bildstroms oder des Datenstroms aus der Sensor-Hardware oder aus dem Modell der Sensor- Hardware erzeugt der Objekterkennungsalgorithmus Sensordaten, welche über eine wei- tere Schnittstelle 14‘ wieder in das System 10 eingelesen werden und über eine weitere Datenschnittstelle 15 zusammen mit den abgeleiteten Testfahrtdaten und den tatsächli- chen auszugebenden Sensordaten bereitgestellt werden.

Diese Daten, d.h. die Sensordaten, die abgeleiteten Testfahrtdaten und die tatsächlichen auszugebenden Sensordaten, können dann in das künstliche neuronale Netz KNN zum Training desselbigen eingelesen werden 106.

Vorzugsweise werden diese Arbeitsschritte mit verschiedenen Testfahrten und daher mit jeweils anderen Verkehrsszenarien zum Training des künstlichen neuronalen Netzes KNN so lange wiederholt, bis das künstliche neuronale Netz KNN die Funktion des Um- gebungssensors US möglichst genau abbildet.

Die Genauigkeit kann beispielsweise bestimmt werden, indem das trainierte künstliche neuronale Netz KNN mit Daten nicht zum Trainieren eingesetzter unbekannter Testfahr- ten R‘ konfrontiert wird und auf der Grundlage dieser Daten die tatsächlich auszugeben- den Sensordaten mit den durch das künstliche neuronale Netz KNN erzeugten Sensor- daten verglichen werden. Vorzugsweise sollten die auszugebenden Sensordaten und die mittels des künstlichen neuronalen Netzes KNN erzeugten Sensordaten mit einer Ge- nauigkeit von wenigstens 95 %, vorzugsweise mehr als 98 %, übereinstimmen, bevor das Verfahren 100 beendet wird.

Mittels des künstlichen neuronalen Netzes KNN wird eine Ausgleichsrechnung durchge- führt, deren Ergebnis ein Simulationsmodell des Umgebungssensors US ist. Je nach- dem, ob die Sensor-Hardware, im vorliegenden Ausführungsbeispiel also die Kamera- Hardware, dabei zum Training des künstlichen neuronalen Netzes KNN eingesetzt wur- de oder durch ein Modell der Sensor-Hardware simuliert wurde, bildet das künstliche neuronale Netz KNN den gesamten Umgebungssensor US oder eben nur einen Daten- verarbeitungsalgorithmus des Umgebungssensors US, insbesondere einen Objekter- kennungsalgorithmus der Kamera, ohne die Sensor-Hardware ab.

Anhand der Figuren 3 und 4 wird ein System 20 und ein mittels dieses Systems 20 aus- führbares Verfahren 200 erläutert, welche zur Analyse eines Umgebungssensors US eines erfindungsgemäßen Fahrerassistenzsystems dienen.

Die Figuren 3 und 4 betreffen insbesondere das Verfahren des dritten Aspekts der Erfin- dung und das entsprechende System gemäß dem vierten Aspekt der Erfindung.

Im Wesentlichen entspricht die Vorgehensweise jener, welche in Bezug auf die Figuren 1 und 2 zu dem ersten und zweiten Aspekt der Erfindung dargestellt wurde.

In das System zur Analyse des Umgebungssensors US eines Fahrerassistenzsystems werden über eine Schnittstelle 21 Verkehrsszenarien einer Vielzahl von Testfahrten ein- gelesen 201. Testfahrtdaten und von dem Umgebungssensor US auszugebende Sens- ordaten werden mittels Mitteln 22 zum Ableiten aus den Verkehrsszenarien abgeleitet 202. Eine Grafikkarte 23 erzeugt einen Bildstrom, welcher die Testfahrten aus Sicht des Um- gebungssensors US abbildet auf der Grundlage der Verkehrsszenarien. Mittels einer Schnittstelle 24, 24‘, insbesondere einem Display, wird der Bildstrom an den Umge- bungssensor US ausgegeben, welcher auf der Grundlage des Datenstroms Sensordaten erzeugt 205; 205‘.

Auch in einer alternativen Ausführungsform des Verfahrens 200 ist es möglich, den Da- tenstrom, welcher die Verkehrsszenarien aus Sicht des Umgebungssensors US abbildet, unmittelbar an ein Modell des physischen Teils des Sensors, also ein Modell der Sensor- Hardware, auszugeben. Bei einer optischen Kamera US bildet das Modell der Sensor- Hardware, also der Kamera-Hardware, im Wesentlichen eine Optik und einen Bildsensor ab.

Auch in dem Verfahren 200 ist es möglich, den Bildstrom oder Datenstrom zu ver- schlechtern, entweder durch simulierte Umweltbedingungen 204-1 , bevor der Bildstrom oder Datenstrom von einer Kamera-Hardware bzw. einem Modell der Kamera-Hardware erfasst wird, oder aber durch simulierte Fehler der Kamera-Hardware oder des Modells der Kamera-Hardware selbst 204-2, bevor der Bild- bzw. Datenstrom einem Objekter- kennungsalgorithmus zugeführt wird. Schließlich werden sämtliche Daten, d.h. die Sensordaten, die abgeleiteten Testfahrtda- ten und die tatsächlichen auszugebenden Sensordaten, einer Ausgleichsrechnung, wel- che insbesondere auf einemkünstlichen neuronalen Netz KNN basiert, zugeführt, wobei die Ausgleichsrechnung vorzugsweise mit entsprechenden Mitteln 25 zur Datenverarbei- tung durchgeführt wird 206. Auf diese Weise kann vorzugsweise das künstliche neurona- le Netz KNN trainiert werden.

Im Unterschied zum System 10 weist das System 20 nunmehr noch Mittel 26 zum Be- stimmen von Sensordaten mittels eines Simulationsmodells auf. Wird dieses Simulati- onsmodell, welches vorzugsweise das trainierte künstliche neuronale Netz KNN enthält, angewendet 207, so können Sensordaten des Umgebungssensors auf der Grundlage eines Datenstroms durch eine beliebige Testfahrt R‘ simuliert werden. Diese simulierten Sensordaten können schließlich über eine Datenschnittstelle 27 ausgegeben werden. Auch in diesem Ausführungsbeispiel bildet das Simulationsmodell den gesamten Sensor oder eben nur einen Datenverarbeitungsalgorithmus, insbesondere Objekterkennungsal- gorithmus, ohne die Sensor-Hardware ab - je nachdem, ob die Sensor-Hardware, im vorliegenden Ausführungsbeispiel also die Kamera-Hardware, zur Erzeugung der Sens- ordaten eingesetzt wurde oder dabei durch ein Modell der Sensor-Hardware simuliert wurde.

Ebenfalls anhand der Fig. 4 und der Fig. 5 werden schließlich ein Verfahren zur Simula- tion eines Umgebungssensors eines Fahrerassistenzsystems gemäß dem fünften As- pekt der Erfindung und ein entsprechendes System 30 gemäß dem sechsten Aspekt der Erfindung beschrieben.

Wie in Fig. 5 gezeigt, umfasst das System 30 Mittel 31 zum Erzeugen eines Bildstroms oder Datenstroms, welcher Testfahrten aus Sicht des Umgebungssensors US abbildet 301.

Dieser Bildstrom oder Datenstrom wird vorzugsweise mittels einer Kamera oder einer Datenschnittstelle 32 erfasst 302. Die Information des erfassten Bildstroms oder Daten- stroms wird einem Simulationsmodell zugeführt. Auf der Grundlage des erfassten Bildstroms oder Datenstroms werden mittels Mitteln 33 zur Datenverarbeitung Sensordaten durch das Simulationsmodell simuliert, wobei das Simulationsmodell vorzugsweise auf einer Ausgleichsrechnung mittels eines künstlichen neuronalen Netzes KNN auf der Grundlage von Testfahrtdaten und Datenströmen einer Vielzahl von verschiedenen Testfahrten sowie von bei diesen Testfahrten durch den Umgebungssensor US oder lediglich durch den Datenverarbeitungsalgorithmus des Um- gebungssensors US erzeugten Sensordaten beruht 303. Das Simulationsmodell entspricht vorzugsweise jeweils einem der verschiedenen Simu- lationsmodell, welche mittels der Verfahren des ersten und des dritten Aspekts der Erfin- dung erzeugt werden können. Die mittels des Simulationsmodells bestimmten Sensordaten werden schließlich über eine Datenschnittstelle 34 ausgegeben 304.

Die mittels eines erfindungsgemäßen Simulationsmodells simulierten Sensordaten eig- nen sich insbesondere für eine sogenannte Sensor-Fusion zum Testen eines Fahreras- sistenzsystems oder aber auch eines Fahrzeugs.

Hierbei werden die simulierten Sensordaten des Umgebungssensors US mit weiteren Sensordaten weiterer simulierter Umgebungssensoren oder auch realer Ausgaben realer Sensoren zusammengeführt, um das Fahrerassistenzsystem bzw. das Fahrzeug in ver- schiedenen Entwicklungsstadien unter möglichst realen Bedingungen testen zu können.

Es wird darauf hingewiesen, dass es sich bei den Ausführungsbeispielen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Be- Schreibung ein Leitfaden für die Umsetzung von mindestens eines Ausführungsbeispiels gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und An- ordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.