Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND GENERATOR FOR GENERATING DISTURBED INPUT DATA FOR A NEURAL NETWORK
Document Type and Number:
WIPO Patent Application WO/2020/249758
Kind Code:
A1
Abstract:
The invention relates to a method for generating disturbed input data (9) for a neural network (11) in order to analyze sensor data, in particular digital images, of a drive assistance system, wherein a first metric is defined which indicates how the magnitude of a change in sensor data is measured, a second metric is defined which indicates where a disturbance of sensor data is directed, and an optimization problem is generated from a combination of the first metric and the second metric, said optimization problem being solved by at least one solution algorithm. The solution is specified as a target disturbance of the input data (9), and input data (9) disturbed using the target disturbance is generated from sensor data for the neural network (11). The invention further relates to a generator (10) for carrying out the method and to a method for checking the robustness of a neural network (11) which uses the method in order to generate disturbed input data (9).

Inventors:
HÜGER FABIAN (DE)
SCHLICHT PETER (DE)
SCHMIDT NICO MAURICE (DE)
ASSION FELIX (DE)
GRESSNER FLORENS FABIAN (DE)
Application Number:
PCT/EP2020/066348
Publication Date:
December 17, 2020
Filing Date:
June 12, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
VOLKSWAGEN AG (DE)
NEUROCAT GMBH (DE)
International Classes:
G06K9/00; G06K9/62
Foreign References:
US20190180115A12019-06-13
Other References:
TALUKDAR JONTI ET AL: "Data Augmentation on Synthetic Images for Transfer Learning using Deep CNNs", 2018 5TH INTERNATIONAL CONFERENCE ON SIGNAL PROCESSING AND INTEGRATED NETWORKS (SPIN), IEEE, 22 February 2018 (2018-02-22), pages 215 - 219, XP033407771, DOI: 10.1109/SPIN.2018.8474209
CONNOR SHORTEN ET AL: "A survey on Image Data Augmentation for Deep Learning", JOURNAL OF BIG DATA, vol. 6, no. 1, 6 July 2019 (2019-07-06), XP055738703, DOI: 10.1186/s40537-019-0197-0
Attorney, Agent or Firm:
REITSTÖTTER KINZEBACH (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zum Erzeugen von gestörten Eingangsdaten (9) für ein neuronales Netz (11) zum Analysieren von Sensordaten, insbesondere digitalen Bildern, eines

Fahrassistenzsystems, bei dem

eine erste Metrik definiert wird, die angibt, wie das Ausmaß einer Veränderung von Sensordaten gemessen wird,

eine zweite Metrik definiert wird, die angibt, worauf eine Störung von Sensordaten gerichtet ist,

aus einer Kombination der ersten Metrik und der zweiten Metrik ein

Optimierungsproblem erzeugt wird,

das Optimierungsproblem mittels zumindest eines Lösungsalgorithmus gelöst wird, wobei die Lösung eine Ziel-Störung der Eingangsdaten (9) angibt, und

mittels der Ziel-Störung gestörte Eingangsdaten (9) von Sensordaten für das neuronale Netz (11) erzeugt werden.

2. Verfahren nach Anspruch 1 ,

dadurch gekennzeichnet, dass

die zweite Metrik auf eine Änderung der Klassifikation von Objekten gerichtet ist.

3. Verfahren nach Anspruch 1 oder 2,

dadurch gekennzeichnet, dass

die zweite Metrik auf ein Verschwinden von Objekten gerichtet ist.

4. Verfahren nach Anspruch 1 oder 2,

dadurch gekennzeichnet, dass

die zweite Metrik auf eine Veränderung eines Objekts einer bestimmten Klasse gerichtet ist.

5. Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet, dass

die Störungen, die durch die erste und/oder zweite Metrik beschrieben werden, natürlich vorkommende Störungen sind.

6. Verfahren nach Anspruch 5,

2020-06-12 ans.doc dadurch gekennzeichnet, dass

die ersten und/oder zweiten Metriken in einer Datenbank (16) gespeichert sind und ein Datensatz zu einer natürlich vorkommenden Störung, die mit der ersten und/oder zweiten Metrik gemessen wird, aus der Datenbank (16) geladen wird.

7. Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet, dass

eine dritte Metrik definiert wird, die angibt, auf was für Sensordaten eine Störung Anwendung findet und

aus einer Kombination zumindest zweier Metriken der ersten, der zweiten und der dritten Metrik das Optimierungsproblem erzeugt wird.

8. Verfahren nach Anspruch 7,

dadurch gekennzeichnet, dass

sich die dritte Metrik auf alle Sensordaten bezieht.

9. Verfahren nach Anspruch 7,

dadurch gekennzeichnet, dass

sich die dritte Metrik nur auf eine Teilmenge der Sensordaten bezieht.

10. Verfahren nach Anspruch 7,

dadurch gekennzeichnet, dass

die dritte Metrik nur Sensordaten beschreibt, die ein bestimmtes Objekt enthalten.

11. Verfahren nach einem der vorhergehenden Ansprüche,

dadurch gekennzeichnet, dass

der Lösungsalgorithmus iterative Verfahren unter Nutzung der Gradienten des neuronalen Netzes zur Bestimmung der Änderungsrichtungen umfasst.

12. Verfahren zum Erzeugen von gestörten Eingangsdaten (9) für ein neuronales Netz (11) zum Analysieren von Sensordaten, insbesondere digitalen Bildern, eines

Fahrassistenzsystems, bei dem

eine erste Menge definiert wird, die erste Metriken enthält, die jeweils unterschiedlich angeben, wie das Ausmaß einer Veränderung von Sensordaten gemessen wird, eine zweite Menge definiert wird, die zweite Metriken enthält, die jeweils unterschiedlich angeben, worauf eine Störung von Sensordaten gerichtet ist,

eine beliebige Kombination einer ersten Metrik der ersten Menge und einer zweiten Metrik der zweiten Menge gewählt wird,

aus der gewählten Kombination der ersten und zweiten Metrik ein

Optimierungsproblem erzeugt wird,

das Optimierungsproblem mittels zumindest eines Lösungsalgorithmus gelöst wird, wobei die Lösung eine Ziel-Störung der Eingangsdaten (9) angibt, und

mittels der Ziel-Störung gestörte Eingangsdaten (9) von Sensordaten für das neuronale Netz (11) erzeugt werden.

13. Verfahren nach Anspruch 12,

dadurch gekennzeichnet, dass

die ersten Menge zumindest zwei, insbesondere zumindest fünf, unterschiedliche erste Metriken umfasst.

14. Verfahren nach Anspruch 12 oder 13,

dadurch gekennzeichnet, dass

die zweite Menge zumindest zwei, insbesondere zumindest fünf, unterschiedliche zweite Metriken umfasst.

15. Verfahren nach einem der Ansprüche 12 bis 14,

dadurch gekennzeichnet, dass

eine dritte Metrik definiert wird, die angibt, auf was für Sensordaten eine Störung Anwendung findet und

eine beliebige Kombination einer ersten Metrik der ersten Menge, einer zweiten Metrik der zweiten Menge und der dritten Metrik gewählt wird,

aus der gewählten Kombination der ersten, zweiten und dritten Metrik ein Optimierungsproblem erzeugt wird,

16. Verfahren nach einem der Ansprüche 12 bis 15,

dadurch gekennzeichnet, dass

eine Lösungsalgorithmus-Menge definiert wird, die mehrere Lösungsalgorithmen enthält, die das Optimierungsproblem jeweils unterschiedlich lösen, um unterschiedliche Ziel-Störungen der Eingangsdaten zu erzeugen, ein beliebiger Lösungsalgorithmus der Lösungsalgorithmus-Menge ausgewählt wird, um gestörte Eingangsdaten (9) von Sensordaten für das neuronale Netz (11) zu erzeugen.

17. Verfahren zum Prüfen der Robustheit eines neuronalen Netzes (11) zum Analysieren von Sensordaten, insbesondere digitalen Bildern, gegenüber gestörten Eingangsdaten (9), bei dem folgende Schritte durchgeführt werden:

Bereitstellen eines neuronalen Netzes (11) mit einem zugehörigen Parametersatz, Erzeugen von Trainingsdaten mittels eines Beispiel-Sensordatensatzes,

Erzeugen einer ersten Analyse des Beispiel-Sensordatensatzes auf Basis der Trainingsdaten mittels des neuronalen Netzes (11),

Erzeugen von gestörten Eingangsdaten (9) als Trainingsdaten für den Beispiel- Sensordatensatzes mittels des Verfahrens nach einem der Ansprüche 1 bis 16,

Erzeugen einer zweiten Analyse des Beispiel-Sensordatensatzes auf Basis der gestörten Eingangsdaten (9) mittels des neuronalen Netzes (11),

Vergleichen der ersten und zweiten Analyse und

Ermitteln eines Robustheitswerts in Abhängigkeit von dem Ergebnis des Vergleichs der ersten und zweiten Analyse.

18. Verfahren zum Verbessern eines Parametersatzes eines neuronalen Netzes (11) zum Analysieren von Sensordaten, insbesondere digitalen Bildern, gegenüber gestörten Eingangsdaten (9), bei dem folgende Schritte durchgeführt werden:

Bereitstellen eines neuronalen Netzes (11) mit einem zugehörigen Parametersatz, Erzeugen von Trainingsdaten mittels eines Beispiel-Sensordatensatzes,

Erzeugen einer ersten Analyse des Beispiel-Sensordatensatzes auf Basis der Trainingsdaten mittels des neuronalen Netzes (11),

Erzeugen von gestörten Eingangsdaten (9) als Trainingsdaten für den Beispiel- Sensordatensatzes mittels des Verfahrens nach einem der Ansprüche 1 bis 16,

Erzeugen einer zweiten Analyse des Beispiel-Sensordatensatzes auf Basis der gestörten Eingangsdaten (9) mittels des neuronalen Netzes (11),

Vergleichen der ersten und zweiten Analyse und

Erzeugen eines verbesserten Parametersatzes für das neuronale Netz (11) auf Basis des Ergebnisses des Vergleichs der ersten und zweiten Analyse.

19. Generator (10) zum Erzeugen von gestörten Eingangsdaten (9) für ein neuronales Netz (11) zum Analysieren von Sensordaten, insbesondere digitalen Bildern, eines

Fahrassistenzsystems mit

einer ersten Metrikeinheit (1) mit einer ersten Metrik, die angibt, wie das Ausmaß einer Veränderung von Sensordaten gemessen wird,

einer zweiten Metrikeinheit (2) mit einer zweiten Metrik, die angibt, worauf eine Störung der Eingangsdaten (9) von Sensordaten gerichtet ist,

einer Verarbeitungseinheit (4), die mit der ersten (1) und zweiten (2) Metrikeinheit gekoppelt ist und die ausgebildet ist, aus der ersten und der zweiten Metrik ein

Optimierungsproblem zu erzeugen,

einer Lösungseinheit (5), die mit der Verarbeitungseinheit (4) gekoppelt ist und die ausgebildet ist, das Optimierungsproblem mittels zumindest eines Lösungsalgorithmus zu lösen, wobei die Lösung eine Ziel-Störung der Eingangsdaten (9) von Sensordaten angibt, und

einer Erzeugungseinheit (7), die mit der Lösungseinheit (5) gekoppelt ist und die ausgebildet ist, mittels der Ziel-Störung gestörte Eingangsdaten (9) von Sensordaten für ein neuronales Netz (11) zu erzeugen.

20. Generator (10) zum Erzeugen von gestörten Eingangsdaten (9) für ein neuronales Netz (11) zum Analysieren von Sensordaten, insbesondere digitalen Bildern, eines

Fahrassistenzsystems mit

einer ersten Metrikeinheit (1) mit einer ersten Menge, die erste Metriken enthält, die jeweils unterschiedlich angeben, wie das Ausmaß einer Veränderung von Sensordaten gemessen wird,

einer zweiten Metrikeinheit (2) mit einer zweiten Menge, die zweite Metriken enthält, die jeweils unterschiedlich angeben, worauf eine Störung der Eingangsdaten (9) von Sensordaten gerichtet ist,

einer Verarbeitungseinheit (4), die mit der ersten (1) und zweiten (2) Metrikeinheit gekoppelt ist und die ausgebildet ist, eine beliebige Kombination einer ersten Metrik der ersten Menge und einer zweiten Metrik der zweiten Menge ein Optimierungsproblem zu erzeugen,

einer Lösungseinheit (5), die mit der Verarbeitungseinheit (4) gekoppelt ist und die ausgebildet ist, das Optimierungsproblem mittels zumindest eines Lösungsalgorithmus zu lösen, wobei die Lösung eine Ziel-Störung der Eingangsdaten (9) von Sensordaten angibt, und einer Erzeugungseinheit (7), die mit der Lösungseinheit (5) gekoppelt ist und die ausgebildet ist, mittels der Ziel-Störung gestörte Eingangsdaten (9) von Sensordaten für ein neuronales Netz (11) zu erzeugen.

21. Generator (10) nach Anspruch 19 oder 20,

gekennzeichnet durch

eine dritte Metrikeinheit (3) mit einer dritten Metrik, die angibt, auf was für Sensordaten die Störung Anwendung findet,

wobei die Verarbeitungseinheit (4) ferner mit der dritten Metrikeinheit (3) gekoppelt ist und die ausgebildet ist, aus zumindest zwei Metriken der ersten, der zweiten und der dritten Metrik das Optimierungsproblem zu erzeugen.

Description:
Beschreibung

Verfahren und Generator zum Erzeugen von gestörten Eingangsdaten für ein neuronales

Netz

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen von gestörten Eingangsdaten für ein neuronales Netz zum Analysieren von Sensordaten, insbesondere zum Analysieren von digitalen Bildern, eines Fahrerassistenzsystems. Ferner betrifft die Erfindung ein Verfahren zum Prüfen der Robustheit eines solchen neuronalen Netzes und ein Verfahren zum Verbessern eines Parametersatzes eines solchen neuronalen Netzes. Des Weiteren betrifft die Erfindung einen Generator zum Erzeugen von gestörten Eingangsdaten für ein neuronales Netz zum Analysieren von Sensordaten, insbesondere zum Analysieren von digitalen Bildern, eines Fahrerassistenzsystems.

Moderne Fahrzeuge umfassen Fahrerassistenzsysteme, welche den Fahrer bei der Steuerung des Fahrzeugs unterstützen oder die Fahraufgabe teilweise oder vollständig übernehmen.

Durch die Verwendung von solchen Fahrerassistenzsystemen können verschiedene Grade der Automatisierung der Fahrzeugsteuerung erreicht werden. Bei einem niedrigen

Automatisierungsgrad werden dem Fahrer nur Informationen und Warnungen ausgegeben. Bei höheren Automatisierungsgraden greift das Fahrerassistenzsystem aktiv in die Steuerung des Fahrzeugs ein. Beispielsweise wird in die Lenkung des Fahrzeugs oder die Beschleunigung in positiver oder negativer Richtung eingegriffen. Bei einem noch höheren Grad der

Automatisierung wird so weit in Einrichtungen des Fahrzeugs eingegriffen, dass bestimmte Fortbewegungsarten des Fahrzeugs, zum Beispiel eine Geradeausfahrt, automatisch ausgeführt werden können. Beim höchsten Grad der Automatisierung kann das Fahrzeug autonom fahren.

Bei derartigen Fahrerassistenzsystemen ist die Analyse von digitalen Bildern, die von der Umgebung des Fahrzeugs während der Fahrt aufgenommen werden, von essentieller

Bedeutung. Nur wenn die digitalen Bilder korrekt analysiert werden, kann das

Fahrerassistenzsystem das Fahrzeug sicher steuern. Bei der Analyse von digitalen Bildern eines Fahrerassistenzsystems hat das maschinelle Lernen großes Potential. Die

Sensorrohdaten, die zum Beispiel von einer Kamera, einem Radarsensor oder einem Lidar- Sensor eines Fahrzeugs erzeugt werden, werden mittels eines tiefen neuronalen Netzes verarbeitet. Das neuronale Netz erzeugt Ausgangsdaten, aus denen das

Fahrerassistenzsystem relevante Informationen zum teilautomatisierten oder vollautomatisierten

2020-06-12 bes.doc Fahren ableitet. Beispielsweise wird die Art und Position von Objekten im Fahrzeugumfeld und deren Verhalten ermittelt. Ferner kann mittels neuronaler Netze die Fahrbahngeometrie und Fahrbahntopologie ermittelt werden. Für die Verarbeitung von digitalen Bildern sind

insbesondere Faltungsnetze (convolutional neuronal networks) besonders geeignet.

Für den Einsatz in einem Fahrerassistenzsystem werden solche tiefen neuronalen Netze trainiert. Dabei können die Parameter des neuronalen Netzes durch die Eingabe von Daten geeignet angepasst werden, ohne dass ein menschlicher Experte eingreifen muss. Für eine gegebene Parametrisierung wird dabei die Abweichung einer Ausgabe eines neuronalen Netzes von einer Grundwahrheit gemessen. Diese Abweichung wird auch als„Löss“

bezeichnet. Dabei wird eine so genannte Lossfunktion in einer Weise gewählt, dass die

Parameter differenzierbar von ihr abhängen. Im Rahmen eines Gradientenabstiegs werden in jedem Trainingsschritt dann die Parameter des neuronalen Netzes in Abhängigkeit von der Ableitung der Abweichung, die auf Basis mehrerer Beispiele ermittelt wird, angepasst. Diese Trainingsschritte werden sehr oft wiederholt, bis sich die Abweichung, d. h. der Löss, nicht mehr verringert.

Die Parameter werden bei dieser Vorgehensweise ohne die Einschätzung eines menschlichen Experten oder eine semantisch motivierte Modellierung ermittelt. Dies hat für die neuronalen Netze zur Folge, dass sie vielfach für Menschen weitgehend intransparent sind und ihre

Berechnungen nicht interpretierbar sind. Dies führt dazu, dass insbesondere tiefe neuronale Netze vielfach nicht systematisch getestet oder formell verifiziert werden können.

Des Weiteren ergibt sich das Problem, dass tiefe neuronale Netze anfällig für schädliche Störeinflüsse (adversial perturbations) sind. Kleine, für den Menschen kaum oder gar nicht wahrnehmbare Manipulationen an den Eingangsdaten oder Manipulationen, welche die

Situationseinschätzung nicht verändern, können zu Ausgangsdaten führen, welche sich erheblich von den Ausgangsdaten unterscheiden, welche sich ohne die Manipulation ergeben würden. Solche Manipulationen können sowohl mutwillig herbeigeführte Veränderungen der Sensordaten sein als auch zufällig auftretende Bildveränderungen aufgrund von

Sensorrauschen, Witterungseinflüssen oder bestimmten Farben und Kontrasten.

Es ist dabei nicht vorhersehbar, auf welche Eingangsmerkmale ein neuronales Netz so sensibel reagiert, dass sich die Ausgangsdaten auch bei geringfügigen Veränderungen der

Eingangsdaten erheblich ändern. Dies hat zur Folge, dass synthetische Daten nicht erfolgreich für das Training von neuronalen Netzen, die in solchen Fahrerassistenzsystemen eingesetzt werden, verwendet werden können. Es hat sich herausgestellt, dass neuronale Netze, die in Simulationen oder auf anderweitig synthetischen Daten trainiert wurden, eine schwache Performance beim Einsatz in einem Fahrerassistenzsystem mit reellen Sensordaten aufweisen. Außerdem hat sich herausgestellt, dass auch eine Ausführung eines Fahrerassistenzsystems mit einem neuronalen Netz in einer anderen Domäne die funktionale Güte stark reduzieren kann. Beispielsweise kann es passieren, dass ein Fahrerassistenzsystem mit einem neuronalen Netz, das im Sommer trainiert wurde, für die Ausführung im Winter ungeeignet ist. Die

Entwicklung und Freigabe von neuronalen Netzen für Fahrerassistenzsysteme auf der Basis einer Simulation ist daher problematisch.

Es besteht daher ein Bedürfnis neuronale Netze für Fahrerassistenzsysteme zu entwickeln, welche robust gegen Störungen sind. Die neuronalen Netze sollen auch dann für das

Fahrerassistenzsystem brauchbare Ausgangsdaten erzeugen, wenn die Eingangsdaten gestört sind.

Um dies zu erreichen, ist es bekannt, mittels bekannter Störungen gestörte Eingangsdaten für ein neuronales Netz zu erzeugen und zu testen, wie die Ausgangsdaten des neuronalen Netzes auf diese gestörten Eingangsdaten reagieren. Es gibt Sammlungen für Störungen der

Eingangsdaten, mittels derer getestet werden kann, wie robust ein neuronales Netz gegen solche Störungen ist. Dabei ergibt sich jedoch das Problem, dass gestörte Eingangsdaten nur in einem begrenzten Ausmaß durch bekannte Störungen erzeugt werden können. Es besteht somit ein Bedürfnis, gestörte Eingangsdaten für ein neuronales Netz zum Analysieren von Sensordaten, insbesondere digitalen Bildern, eines Fahrerassistenzsystems, zu erzeugen, um neuronale Netze zu testen und zu verbessern.

Der vorliegenden Erfindung liegt somit die Aufgabe zugrunde, ein Verfahren und einen

Generator zum Erzeugen von gestörten Eingangsdaten für ein neuronales Netz zum

Analysieren von Sensordaten, insbesondere von digitalen Bildern, eines

Fahrerassistenzsystems anzugeben, mit denen mittels bereits bekannter Störungen auf einfache Weise neue gestörte Eingangsdaten für das neuronale Netz erzeugt werden können.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und ein Verfahren mit den Merkmalen des Anspruchs 12 sowie einen Generator mit den Merkmalen des Anspruchs 14 und einen Generator mit den Merkmalen des Anspruchs 20 gelöst. Des Weiteren kann hierdurch ein Verfahren zum Prüfen der Robustheit eines neuronalen Netzes zum Analysieren von Sensordaten, insbesondere digitalen Bildern, gegenüber gestörten Eingangsdaten sowie ein Verfahren zum Verbessern eines Parametersatzes eines solche neuronalen Netzes angegeben werden. Vorteilhafte

Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.

Bei dem erfindungsgemäßen Verfahren zum Erzeugen von gestörten Eingangsdaten für ein neuronales Netz zum Analysieren von Sensordaten eines Fahrassistenzsystems wird eine erste Metrik definiert, die angibt, wie das Ausmaß einer Veränderung eines digitalen Bildes gemessen wird, und eine zweite Metrik definiert, die angibt, worauf eine Störung der

Eingangsdaten eines digitalen Bildes gerichtet ist. Aus einer Kombination der ersten Metrik und der zweiten Metrik wird ein Optimierungsproblem erzeugt. Das Optimierungsproblem wird mittels zumindest eines Lösungsalgorithmus gelöst, wobei die Lösung eine Ziel-Störung der Eingangsdaten angibt, und mittels der Ziel-Störung gestörte Eingangsdaten von Sensordaten für das neuronale Netz erzeugt werden.

Bei den Sensordaten handelt es sich insbesondere um digitale Bilder. Die Ziel-Störung erzeugt in diesem Fall somit gestörte, d. h. veränderte digitale Bilder, welche die Eingangsdaten für das neuronale Netz bilden, welches das digitale Bild analysiert.

Bei dem erfindungsgemäßen Verfahren werden mögliche schädliche Störungen eines neuronalen Netzes, welches zur Analyse von Sensordaten eingesetzt wird, auf einer strukturellen Ebene betrachtet. Die Störung wird als eine Komposition verschiedener Elemente betrachtet, für die verschiedene Metriken definiert werden. Überraschenderweise konnte hierdurch erreicht werden, dass nicht mehr nur willkürlich zusammengesetzte Störungen verwendet werden, sondern es wird möglich, eine große Anzahl neuer schädlicher Ziel- Störungen auf der Basis von bekannten Störungen zu generieren, indem die Struktur bekannter Störungen hinsichtlich der Metriken analysiert wird.

Bei dem erfindungsgemäßen Verfahren wird vorteilhafterweise aus zwei Metriken, welche Veränderungen von Sensordaten, insbesondere eines digitalen Bildes, messen, ein

Optimierungsproblem erzeugt. Für ein solches Optimierungsproblem gibt es eine große Anzahl von bekannten Lösungsalgorithmen. Mit diesen Lösungsalgorithmen kann das

Optimierungsproblem somit gelöst werden. Hierdurch wird eine Ziel-Störung der Eingangsdaten erzeugt. Mittels dieser Ziel-Störung können dann gestörte Eingangsdaten von Sensordaten für das neuronale Netz erzeugt werden. Auf Basis dieser gestörten Eingangsdaten kann das neuronale Netz dann getestet und trainiert werden. Vorteilhafterweise ermöglicht das erfindungsgemäße Verfahren, sehr schnell und auf einfache Weise neue Störungen zu generieren.

Die bei dem erfindungsgemäßen Verfahren eingesetzte erste Metrik gibt an, wie das Ausmaß einer Veränderung von Sensordaten gemessen wird. Handelt es sich bei den Sensordaten um ein digitales Bild einer Kamera, soll die Störung zum Testen des neuronalen Netzes üblicherweise möglichst klein sein. Die erste Metrik gibt an, wie das Ausmaß der Veränderung des digitalen Bildes quantifiziert werden kann. Ein digitales Bild kann beispielsweise dadurch verändert werden, dass die Pixel des Bildes verschoben werden, gedreht werden oder gespiegelt werden. Die erste Metrik gibt das Ausmaß der Veränderung bei derartigen

Transformationen an. Eine Rotation oder Translation eines digitalen Bildes kann nach der ersten Metrik durch einen Fixpunkt und den Rotationswinkel bzw. den Translationsabstand in horizontaler und vertikaler Richtung definiert sein. Ferner kann für jedes Pixel des Bildes die erste Metrik die Bildabstände dadurch bestimmen, dass die Summe der Differenzen aller Pixelwerte ermittelt wird. Der Pixelwert kann beispielsweise ein Graustufenwert oder ein Farbwert sein. Für jedes Pixel bildet man die Differenz des Pixelwerts für das ursprüngliche Bild und für das gestörte Bild. Diese Differenz wird für jedes Pixel bestimmt und die Differenzen werden dann addiert. Im Ergebnis ergibt sich ein Bildabstand, welcher den Unterschied der beiden Bilder nach der ersten Metrik angibt.

Des Weiteren kann man nach der ersten Metrik veränderte Bildbereiche betrachten. Die Bildbereiche können durch einen Ausgangspunkt und eine Ausdehnung in horizontaler und vertikaler Richtung, oder durch eine Liste von Pixeln definiert sein. Für diese Bildbereiche kann man nach der ersten Metrik Bildabstände bestimmen.

Des Weiteren kann die erste Metrik das Ausmaß einer Veränderung eines digitalen Bildes in Bezug auf Bildcharakteristika, wie z. B. Luminanz-, Kontrast- und/oder Strukturwerte, oder beliebige Kombinationen davon, angeben.

Bei der Definition der ersten Metrik können auch Einschränkungen enthalten sein,

beispielsweise dass die Veränderungen, welche bei der ersten Metrik betrachtet werden, nur solche Bildbereiche berücksichtigen, bei denen beispielsweise bestimmte Bildcharakteristika vorliegen. Beispielsweise können nur solche Bereiche betrachtet werden, bei denen der Kontrast einen bestimmten Schwellwert überschreitet. Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens ist die erste Metrik ausgewählt unter ersten Metriken, die potentielle natürlich vorkommende Störungen messen, da durch diese Metriken ermittelte Störungen tatsächlich in der Ausführung im Feld auftreten können. Solche natürlichen Störungen sind beispielsweise Veränderungen der Sensordaten, die aufgrund von Witterungseinflüssen, wie Nebel oder Schnee, Sensorrauschen oder durch Kameraverschmutzung erzeugt werden oder die durch Texturen erzeugt werden. Ferner sind natürlich vorkommende Störungen natürlich vorkommende Objekte in der Umgebung eines Fahrzeugs, wie beispielsweise gedruckte Plakate oder Aufkleber auf Objekten. Wenn beispielsweise die Störung der zweiten Metrik darauf gerichtet ist, Objekte einer bestimmten Klasse verschwinden zu lassen, ist es möglich in ein digitales Bild ein gedrucktes Plakat, einen Aufkleber auf einem Objekt, Nebel oder Texturen hinzuzufügen. Mittels derartiger Störungen, die gemäß der zweiten Metrik auf einen bestimmten Effekt bei den Sensordaten gerichtet ist, können vorteilhafterweise solche gestörten Eingangsdaten für ein neuronales Netz erzeugt werden, die für den Einsatz in einem Fahrerassistenzsystem besonders relevant sind.

Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens ist die zweite Metrik auf eine Änderung der Klassifikation von Objekten gerichtet. Sie misst insbesondere die Abweichung der wahren Modellausgabe vom der angestrebten falschen Modellausgabe, also das Ziel der adverserialen Störung. Bei einem digitalen Bild können beispielsweise kleine Bildbereiche oder eine kleine Anzahl von Pixeln so gestört werden, dass ein Objekt des digitalen Bildes nicht mehr als Verkehrsteilnehmer, wie beispielsweise als Fußgänger, erkannt wird, sondern als ein anders klassifiziertes Objekt, zum Beispiel ein Bereich einer Fahrbahn. Ferner kann die Störung darauf gerichtet sein, dass immer dann, wenn ein Bereich als Straße erkannt wird, diese Straße immer als leere Straße ohne andere Verkehrsteilnehmer erkannt wird.

Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens kann die zweite Metrik auf ein Verschwinden von Objekten gerichtet sein. Die Störung ist zum Beispiel darauf gerichtet, dass erkannte Objekte so verändert werden, dass sie verschwinden. Die zweite Metrik kann sich dabei auch nur auf bestimmte Bildbereiche beziehen. Beispielsweise kann die Störung, die durch die zweite Metrik beschrieben wird, darauf gerichtet sein, dass Objekte einer bestimmten Klasse in einem bestimmten Bildbereich nicht Vorkommen können.

Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens ist die zweiten Metrik auf eine Veränderung eines Objekts einer bestimmten Klasse gerichtet. Beispielsweise kann ein Objekt erkannt und klassifiziert werden. Beispielsweise kann ein Bildbereich einem

Verkehrsteilnehmer zugeordnet werden. Die zweite Metrik ist dann beispielsweise darauf gerichtet, dieses Objekt größer oder kleiner oder an einer anderen Position darzustellen.

Beispielsweise können als Fußgänger klassifizierte Objekte kleiner oder größer dargestellt werden. Die Vergrößerung wird in diesem Fall beispielsweise durch die absolute Angabe von Pixeln, durch die das Objekt durch die Störung links, rechts, oben und unten vergrößert bzw. verkleinert wird, definiert.

Es gibt eine große Anzahl möglicher Störungen, die durch die zweite Metrik beschrieben werden können. Es können beliebige Änderungen der Sensordaten herbeigeführt werden, um die Sensordaten so zu verändern, dass bei der Analyse der Sensordaten in einem

Fahrerassistenzsystem insbesondere sicherheitsrelevante Ergebnisse nicht mehr korrekt erzielt werden können. Beispielsweise kann ein Muster oder ein Raster auf die Sensordaten angewandt werden, damit bei einem digitalen Bild Objekte einer bestimmten Klasse, beispielsweise Fußgänger, verschwinden, andere Objekte jedoch weiterhin korrekt klassifiziert werden. Für die Anwendung des erfindungsgemäßen Verfahrens in einem

Fahrerassistenzsystem sind dabei insbesondere solche zweite Metriken relevant, welche die natürlich erscheinende Störungen bemessen: die Modellausgabe erscheint plausibel, weicht von der Wahrheit aber in bestimmten, sicherheitsrelevanten Einzelheiten ab.

Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens sind die Störungen, die durch die erste und/oder zweite Metrik beschrieben werden, natürlich vorkommende Störungen. Für die Anwendung in einem Fahrerassistenzsystem wird für die möglichen Störungen, die durch die erste und/oder zweite Metrik beschrieben werde, somit eine Auswahl getroffen, die für die Überprüfung und Verbesserung von neuronalen Netzen für einen Einsatz in einem

Fahrerassistenzsystem besonders relevant sind.

Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens sind die ersten und/oder zweiten Metriken in einer Datenbank gespeichert. Ein Datensatz zu einer natürlich vorkommenden Störung, die mit der ersten und/oder zweiten Metrik gemessen wird, wird dann aus der Datenbank geladen. Die Metriken für mögliche Störungen an den Eingangsdaten (erste Metriken) und für mögliche Veränderungen an den Modellausgaben (zweite Metriken) können beispielsweise in der Datenbank gespeichert sein. Gemäß einer Ausgestaltung des

erfindungsgemäßen Verfahrens wird dann ein Datensatz zu einer natürlich vorkommenden Störung (gemessen mit einer ersten Metrik) und für ein mögliches Ziel (eine avisierte

Veränderung der Modellausgabe - z.B. Übersehen aller Fußgänger - gemessen mit einer zweiten Metrik) aus der Datenbank geladen. Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird eine dritte Metrik definiert, die angibt, auf was für Sensordaten eine dritte Störung Anwendung findet. Z. B. wird die Störung auf allen Daten, auf nur einem Datenpunkt oder auf Daten mit bestimmten

Bedingungen, beispielsweise bei allen Daten mit mehrspurigen Straßen, angewendet. Das Optimierungsproblem wird dann aus einer Kombination zumindest zweier Metriken der ersten, der zweiten und der dritten Metrik erzeugt. Das Optimierungsproblem wird insbesondere aus einer Kombination der ersten, der zweiten und der dritten Metrik erzeugt. Bei den Sensordaten handelt es sich insbesondere um digitale Bilder. Diese werden insbesondere durch ein neuronales Netz in einem Fahrerassistenzsystem analysiert.

Die dritte Metrik kann sich insbesondere auf alle Sensordaten, zum Beispiel alle digitalen Bilder, beziehen. Beispielsweise kann die Störung bei allen digitalen Bildern ein Verschwinden von Objekten einer bestimmten Klasse zur Folge haben.

Ferner kann sich die dritte Metrik nur auf eine Teilmenge der Sensordaten, insbesondere der digitalen Bilder, auswirken. Die Störung kann beispielsweise nur solche digitalen Bilder beschreiben, die Objekte einer bestimmten Klasse, beispielsweise als Fußgänger klassifizierte Objekte, enthalten. Ferner kann die dritte Metrik digitale Bilder beschreiben, die an Tagen mit Schneefall oder Regen aufgenommen wurden. Hierdurch können die gestörten Eingangsdaten für das neuronale Netz bei einem Einsatz in einem Fahrerassistenzsystem beispielsweise eine andere Bewertung einer speziellen Verkehrssituation oder Umweltsituation bewirken.

Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens beschreibt die dritte Metrik nur Sensordaten, die ein bestimmtes Objekt enthalten. Alternativ oder zusätzlich kann die dritte Metrik nur ein bestimmtes digitales Bild auswählen.

Das Optimierungsproblem, welches auf Basis der Metriken erzeugt worden ist, kann sich beispielsweise wie folgt darstellen: Bei einer vorgegebenen maximalen Änderung eines digitalen Bildes, zum Beispiel durch Drehung eines bestimmten Bildbereichs, soll die Anzahl der als Personen klassifizierten Pixeln minimiert werden, und zwar für möglichst viele Bilder, in denen Personen Vorkommen.

Bei einem anderen Beispiel soll bei einer minimalen Änderung des Eingangsbildes in Bereichen mit hohem Kontrast die Anzahl der als Person klassifizierten Pixeln minimiert werden, und zwar für möglichst viele Bilder, in denen Personen Vorkommen. Für derartige Optimierungsprobleme wird bei dem erfindungsgemäßen Verfahren ein

Lösungsalgorithmus angegeben. Gemäß einer Ausgestaltung des erfindungsgemäßen

Verfahrens umfasst der Lösungsalgorithmus iterative Verfahren unter Nutzung der Gradienten des neuronalen Netzes zur Bestimmung der Änderungsrichtungen. Ferner können iterative Verfahren unter Nutzung von Sampling, Evaluation und Kombinationen davon eingesetzt werden.

Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird als

Lösungsalgorithmus eine Monte-Carlo-Methode verwendet, bei der beispielsweise ein

Rauschen für ein digitales Bild erzeugt wird, und das Ergebnis überprüft wird. Gemäß einer anderen Ausgestaltung kann ein genetischer Algorithmus zur Lösung des

Optimierungsproblems eingesetzt werden.

Die Lösung des Optimierungsproblems kann beispielsweise ein gestörtes digitales Bild oder eine Störung sein, mit der Sensordaten gestört werden können, um gestörte Eingangsdaten für ein neuronales Netz zu erzeugen. Die gestörten Sensordaten oder das gestörte digitale Bild stellen dann die Eingangsdaten für das neuronale Netz dar, welches überprüft werden soll. Eine Störung kann auch auf einen Satz von Eingangsdaten durch Kombination auf Pixelebene angewendet werden, zum Beispiel durch Summation.

Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen von gestörten

Eingangsdaten für ein neuronales Netz zum Analysieren von Sensordaten, insbesondere digitalen Bildern, eines Fahrassistenzsystems, bei dem eine erste Menge definiert wird, die erste Metriken enthält, die jeweils unterschiedlich angeben, wie das Ausmaß einer Veränderung von Sensordaten gemessen wird, eine zweite Menge definiert wird, die zweite Metriken enthält, die jeweils unterschiedlich angeben, worauf eine Störung von Sensordaten gerichtet ist, eine beliebige Kombination einer ersten Metrik der ersten Menge und einer zweiten Metrik der zweiten Menge gewählt wird, aus der gewählten Kombination der ersten und zweiten Metrik ein Optimierungsproblem erzeugt wird, das Optimierungsproblem mittels zumindest eines

Lösungsalgorithmus gelöst wird, wobei die Lösung eine Ziel-Störung der Eingangsdaten angibt, und mittels der Ziel-Störung gestörte Eingangsdaten 9 von Sensordaten für das neuronale Netz erzeugt werden.

Vorteilhaft an diesem Verfahren ist, dass eine beliebige erste Metrik der ersten Menge und eine beliebige zweite Metrik der zweiten Menge verwendet werden kann, um durch die Lösung des Optimierungsproblems zu einer Zielstörung zu gelangen. Je mehr Metriken die erste und zweite Menge enthält, desto mehr unterschiedliche Zielstörungen können von dem Verfahren generiert werden. Es kann somit eine sehr große Anzahl von Zielstörungen erzeugt werden.

Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens umfasst die erste Menge zumindest zwei, insbesondere zumindest fünf, unterschiedliche erste Metriken. Die erste Metrik kann jedoch auch mehr als 10, 20 oder mehr als 100 Metriken enthalten.

Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens umfasst die zweite Menge zumindest zwei, insbesondere zumindest fünf, unterschiedliche zweite Metriken. Die zweite Metrik kann jedoch auch mehr als 10, 20 oder mehr als 100 Metriken enthalten.

Die erste und/oder die zweite Metrik der ersten bzw. zweiten Menge können insbesondere einzeln oder in Kombination die Merkmale aufweisen, wie sie vorstehend beschrieben sind.

Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird eine dritte Metrik definiert, die angibt, auf was für Sensordaten eine Störung Anwendung findet und es wird eine beliebige Kombination einer ersten Metrik der ersten Menge, einer zweiten Metrik der zweiten Menge und der dritten Metrik gewählt. Aus der gewählten Kombination der ersten, zweiten und dritten Metrik wird dann ein Optimierungsproblem erzeugt.

Die dritte Metrik kann insbesondere einzeln oder in Kombination die Merkmale aufweisen, wie sie vorstehend beschrieben sind.

Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird eine

Lösungsalgorithmus-Menge definiert, die mehrere Lösungsalgorithmen enthält, die das

Optimierungsproblem jeweils unterschiedlich lösen, um unterschiedliche Ziel-Störungen der Eingangsdaten zu erzeugen. Ein beliebiger Lösungsalgorithmus der Lösungsalgorithmus- Menge wird dann ausgewählt, um gestörte Eingangsdaten von Sensordaten für das neuronale Netz zu erzeugen. Auf diese Weise kann eine noch größere Anzahl an Zielstörungen erzeugt werden, da auch der Lösungsalgorithmus variiert werden kann, wobei jeder

Lösungsalgorithmus zu unterschiedlichen Zielstörungen gelangt.

Die Lösungsalgorithmen der Lösungsalgorithmus-Menge kann iterative Verfahren unter Nutzung der Gradienten des neuronalen Netzes zur Bestimmung der Änderungsrichtungen sowie samplingbasierte Verfahren, gradientenbasierte Verfahren, gradientenbasierte Verfahren mit Momentum und/oder surrogate-Modell basierte Verfahren umfassen. Die vorliegende Erfindung betrifft außerdem ein Verfahren zum Prüfen der Robustheit eines neuronalen Netzes zum Analysieren von Sensordaten, insbesondere digitalen Bildern, gegenüber gestörten Eingangsdaten, bei dem folgende Schritte durchgeführt werden:

Bereitstellen eines neuronalen Netzes mit einem zugehörigen Parametersatz, Erzeugen von Trainingsdaten mittels eines Beispiel-Sensordatensatzes, Erzeugen einer ersten Analyse des Beispiel-Sensordatensatzes auf Basis der Trainingsdaten mittels des neuronalen Netzes, Erzeugen von gestörten Eingangsdaten als Trainingsdaten für den Beispiel-Sensordatensatzes mittels des vorstehend beschriebenen Verfahrens zum Erzeugen von gestörten Eingangsdaten für ein neuronales Netz, Erzeugen einer zweiten Analyse des Beispiel-Sensordatensatzes auf Basis der gestörten Eingangsdaten mittels des neuronalen Netzes, Vergleichen der ersten und zweiten Analyse und Ermitteln eines Robustheitswerts in Abhängigkeit von dem Ergebnis des Vergleichs der ersten und zweiten Analyse.

Die vorliegende Erfindung betrifft außerdem ein Verfahren zum Verbessern eines

Parametersatzes eines neuronalen Netzes zum Analysieren von Sensordaten, insbesondere digitalen Bildern, gegenüber gestörten Eingangsdaten. Bei dem Verfahren werden folgende Schritte durchgeführt: a. Bereitstellen eines neuronalen Netzes mit dem zugehörigen Parametersatz,

b. Erzeugen von Trainingsdaten mittels eines Beispiel-Sensordatensatzes,

c. Erzeugen einer ersten Analyse des Beispiel-Datensatzes auf Basis der Trainingsdaten mittels des neuronalen Netzes,

d. Erzeugen von gestörten Eingangsdaten als Trainingsdaten für den Beispiel- Sensordatensatz mittels des vorstehend beschriebenen Verfahrens zum Erzeugen von gestörten Eingangsdaten für ein neuronales Netz,

e. Erzeugen einer zweiten Analyse des Beispiel-Sensordatensatzes auf Basis der

gestörten Eingangsdaten mittels des neuronalen Netzes,

f. Vergleichen der ersten und zweiten Analyse und

g. Ermitteln eines Robustheitswertes in Abhängigkeit von dem Ergebnis des Vergleichs der ersten und zweiten Analyse.

Bei dem Beispiel-Sensordatensatz handelt es sich insbesondere um ein digitales Beispielbild.

Mittels des Verfahrens kann das eingangs beschriebene Verfahren zum Erzeugen von gestörten Eingangsdaten dazu verwendet werden, zu prüfen, wie robust ein neuronales Netz zum Analysen von Sensordaten gegenüber den gestörten Eingangsdaten ist. Wird das neuronale Netz in einem Verfahren zum Analysieren von Sensordaten eines

Fahrerassistenzsystems eingesetzt, ist es für die Sicherheit beim Betrieb des Fahrzeugs, auf welches das Fahrerassistenzsystem einwirkt, wichtig, dass das neuronale Netz robust gegenüber gestörten Eingangsdaten für das neuronale Netz ist. Das neuronale Netz ist robust gegen solche gestörten Eingangsdaten, wenn die Abweichung bei der ersten und der zweiten Analyse sehr gering ist. Die gestörten Eingangsdaten haben dann einen geringen Einfluss auf die Ausgabe des neuronalen Netzes. Wenn hingegen die gestörten Eingangsdaten, selbst wenn die Störungen auf die Sensordaten nur sehr gering sind, zu einer sehr großen

Abweichung der zweiten Analyse des Beispiel-Sensordatensatzes von der ersten Analyse führt, ist das neuronale Netz nicht robust gegen die Störung der Eingangsdaten.

Handelt es sich bei den Sensordaten um digitale Bilder, kann die erste und zweite Analyse ein semantisches Segmentieren des digitalen Bildes, ein Erkennen von Objekten des digitalen Bildes, ein Klassifizieren von Objekten des digitalen Bildes oder ein Erkennen der Position eines Objektes im digitalen Bild umfassen. Außerdem kann mittels der Analysen erkannt werden, wie sich ein Objekt im digitalen Bild verändert. Diese Analysen sind bei einem Einsatz des neuronalen Netzes in einem Fahrerassistenzsystem besonders relevant, so dass es wichtig ist, dass das neuronale Netz gegen Störungen, die bei solchen Analysen auftreten, robust ist, es somit zu geringen Veränderungen bei der Analyse kommt, wenn gestörte Eingangsdaten verwendet werden.

Die Erfindung betrifft des Weiteren ein Verfahren zum Verbessern eines Parametersatzes eines neuronalen Netzes zum Analysieren von Sensordaten, insbesondere digitalen Bildern, gegenüber gestörten Eingangsdaten. Das Verfahren umfasst die Schritte a. bis f., wie sie vorstehend angegeben sind. Anschließend wird in einem Schritt h. ein verbesserter

Parametersatz für das neuronale Netz auf Basis des Ergebnisses des Vergleichs der ersten und zweiten Analyse erzeugt.

Den verbesserten Parametersatz erhält man durch ein Training des neuronalen Netzes. Das Training wird für gestörte und ungestörte Sensordaten, d. h. insbesondere digitale Bilder, durchgeführt. Der verbesserte Parametersatz ergibt sich dann beispielsweise aus einem Gradientenabstieg (adverseriales Training).

Die Erfindung betrifft des Weiteren einen Generator zum Erzeugen von gestörten

Eingangsdaten für ein neuronales Netz zum Analysieren von Sensordaten, insbesondere digitalen Bildern, eines Fahrerassistenzsystems mit einer ersten Metrikeinheit mit einer ersten Metrik, die angibt, wie das Ausmaß einer Veränderung von Sensordaten gemessen wird, einer zweiten Metrikeinheit mit einer zweiten Metrik, die angibt, worauf eine Störung der

Eingangsdaten von Sensordaten gerichtet ist, einer Verarbeitungseinheit, die mit der ersten und zweiten Metrikeinheit gekoppelt ist und die ausgebildet ist, aus der ersten und der zweiten Metrik ein Optimierungsproblem zu erzeugen, einer Lösungseinheit, die mit der

Verarbeitungseinheit gekoppelt ist und die ausgebildet ist, das Optimierungsproblem mittels zumindest eines Lösungsalgorithmus zu lösen, wobei die Lösung eine Ziel-Störung der

Eingangsdaten von Sensordaten angibt, und einer Erzeugungseinheit, die mit der

Lösungseinheit gekoppelt ist und die ausgebildet ist, mittels der Ziel-Störung gestörte

Eingangsdaten von Sensordaten für ein neuronales Netz zu erzeugen.

Der erfindungsgemäße Generator ist insbesondere ausgebildet, das vorstehend beschriebene Verfahren zum Erzeugen von gestörten Eingangsdaten auszuführen. Er weist somit auch dieselben Vorteile wie dieses Verfahren auf.

Gemäß einer Ausgestaltung des erfindungsgemäßen Generators umfasst dieser ferner eine dritte Metrikeinheit mit einer dritten Metrik, die angibt, auf was für Sensordaten die Störung Anwendung findet. In diesem Fall ist die Verarbeitungseinheit ferner mit der dritten Metrikeinheit gekoppelt und ausgebildet, aus zumindest zwei Metriken der ersten, der zweiten und der dritten Metrik das Optimierungsproblem zu erzeugen.

Des Weiteren betrifft die Erfindung eine Vorrichtung zum Erzeugen eines Parametersatzes für ein neuronales Netz zum Analysieren von Sensordaten eines Fahrerassistenzsystems mit einer ersten Analyseeinheit zum Erzeugen einer ersten Analyse mittels des neuronalen Netzes auf Basis von Trainingsdaten für einen Beispiel-Sensordatensatz, dem vorstehend beschriebenen Generator zum Erzeugen von gestörten Eingangsdaten zum Erzeugen von gestörten

Eingangsdaten als Trainingsdaten für den Beispiel-Sensordatensatz, einer zweiten

Analyseeinheit zum Erzeugen einer zweiten Analyse des Beispiel-Sensordatensatzes auf Basis der gestörten Eingangsdaten mittels des neuronalen Netzes, einer Vergleichseinheit, die mit der ersten und der zweiten Analyseeinheit gekoppelt ist und die ausgebildet ist, die erste und zweite Analyse zu vergleichen, und einer Erzeugungseinheit, die mit der Vergleichseinheit gekoppelt ist und die ausgebildet ist, einen verbesserten Parametersatz für das neuronale Netz auf Basis des Ergebnisses des Vergleichs der ersten und zweiten Analyse zu erzeugen. Die Vorrichtung zum Erzeugen eines Parametersatzes ist insbesondere ausgebildet, das vorstehend beschriebene Verfahren zum Verbessern eines Parametersatzes eines neuronalen Netzes auszuführen. Sie weist somit auch dieselben Vorteile wie dieses Verfahren auf.

Die Erfindung wird nun anhand von Ausführungsbeispielen mit Bezug zu den Figuren erläutert.

Figur 1 zeigt schematisch den Aufbau eines Ausführungsbeispiels des erfindungsgemäßen

Generators,

Figur 2 zeigt schematisch den Ablauf eines Ausführungsbeispiels des erfindungsgemäßen

Verfahrens zum Erzeugen von gestörten Eingangsdaten,

Figur 3 zeigt schematisch den Aufbau eines Ausführungsbeispiels der erfindungsgemäßen

Vorrichtung zum Erzeugen eines Parametersatzes,

Figur 4 zeigt den Ablauf eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens zum Prüfen der Robustheit eines neuronalen Netzes,

Figur 5 zeigt den Ablauf des erfindungsgemäßen Verfahrens zum Verbessern eines

Parametersatzes eines neuronalen Netzes und

Figur 6 zeigt ein Beispiel einer Störung.

Bei den Ausführungsbeispielen der Erfindung werden Sensordaten von einem neuronalen Netz analysiert oder es werden aus solchen Sensordaten gestörte Eingangsdaten für ein neuronales Netz erzeugt. Bei den Sensordaten handelt es sich bei den Ausführungsbeispielen um

Rohdaten von Sensoren eines Fahrzeugs. Bei dem Sensor kann es sich um eine Kamera, einen Radarsensor, einen Lidar-Sensor oder einen beliebigen anderen Sensor handeln, welcher Sensordaten erzeugt, welche in einem Fahrerassistenzsystem weiter verarbeitet werden. Im Folgenden wird als Beispiel angenommen, dass es sich bei den Sensordaten um digitale Bilder handelt, welche von einer Kamera eines Fahrzeugs aufgenommen worden sind. Die Erfindung ist jedoch auf gleiche Weise auch auf andere Sensordaten anwendbar.

Mit Bezug zu Figur 1 wird zunächst ein Ausführungsbeispiel des Generators 10 zum Erzeugen von gestörten Eingangsdaten für ein neuronales Netz zum Analysieren von digitalen Bildern eines Fahrerassistenzsystems beschrieben.

Der Generator 10 umfasst eine erste Metrikeinheit 1 , eine zweite Metrikeinheit 2 und eine dritte Metrikeinheit 3. Die erst Metrikeinheit 1 umfasst eine erste Metrik, die angibt, wie das Ausmaß einer Veränderung von digitalen Bildern gemessen wird. Es ist von der ersten Metrikeinheit 1 definiert, wie das Ausmaß einer Veränderung von digitalen Bildern gemessen wird. Die Definition der ersten Metrik kann in die erste Metrikeinheit 1 eingegeben werden. Die erste Metrikeinheit 1 kann jedoch auch über eine Schnittstelle auf eine Datenbank 16 zugreifen, in welcher Daten mit einer Vielzahl möglicher Definitionen für Metriken gespeichert ist, die das Ausmaß einer Veränderung von digitalen Bildern messen. Beispielsweise kann die erste Metrik die Bildabstände zweier digitaler Bilder vergleichen und für diesen Bildabstand einen Wert ausgeben. Der Bildabstand kann beispielsweise durch die Summe der Differenzen aller Pixelwerte der zu vergleichenden digitalen Bilder definiert sein.

Bei dem Ausführungsbeispiel wählt die erste Metrikeinheit 1 aus der Datenbank 16 eine möglichst natürliche Störung aus. Unter einer natürlichen Störung wird eine Störung

verstanden, welche digitale Bilder der Umgebung eines Fahrzeugs so beeinflusst, wie dies auch durch natürlich vorkommende Phänomene in der Umgebung des Fahrzeugs auftreten kann. Die Veränderung eines digitalen Bildes durch eine natürliche Störung entspricht beispielsweise der Veränderung eines digitalen Bildes, wie es sich beim Auftreten von

Wetterphänomenen, wie beispielsweise beim Auftreten von Nebel, Schneefall oder Regen ergibt. Ferner werden unter natürlichen Störungen Bildveränderungen verstanden, bei denen Objekte in das Bild eingefügt werden oder aus dem Bild verschwinden, wie es auch in der Umgebung eines Fahrzeugs auftreten kann. Beispielsweise kann im Umfeld des Fahrzeugs ein Plakat oder ein Aufkleber auf einem Objekt eingefügt werden. Andere, nicht natürlich vorkommende Störungen, wie sie in der Datenbank 16 auch enthalten sein können, werden von der zweiten Metrikeinheit 1 nicht berücksichtigt, da sie für die Prüfung eines neuronalen Netzes, welches in einem Fahrerassistenzsystem eingesetzt wird, von geringerer Relevanz sind.

Die zweite Metrikeinheit 2 umfasst eine zweite Metrik, die angibt, worauf eine Störung der Eingangsdaten der digitalen Bilder gerichtet ist, d. h. die zweite Metrik definiert, worauf eine Störung eines digitalen Bildes gerichtet ist. Die Definition der zweiten Metrik kann durch eine Eingabe an die zweite Metrikeinheit 2 übertragen werden. Gleichermaßen kann auch die zweite Metrikeinheit 2 mit der Datenbank 16 gekoppelt sein, in welcher Daten zu einer Vielzahl von Störungen gespeichert sind, welche auf eine bestimmte Veränderung von digitalen Bildern gerichtet ist. Es kann sich hierbei um Sammlungen solcher Störungen handeln.

Bei dem Ausführungsbeispiel wählt die zweite Metrikeinheit 2 aus der Datenbank 16 eine möglichst plausible Störung aus. Unter einer plausiblen Störung wird eine Störung verstanden, welche scheinbar realistische Modellausgabe zur Folge hat, sich aber in relevanten

Einzelheiten von dieser unterscheidet. Bei einer plausiblen Störung erfolgt beispielsweise eine korrekte Segmentierung, bei der allerdings die Spurmarkierungen konsistent verschoben wurden. Andere, nicht plausible Störungen, wie sie in der Datenbank 16 auch enthalten sein können, werden von der zweiten Metrikeinheit 2 nicht berücksichtigt, da sie für die Prüfung eines neuronalen Netzes, welches in einem Fahrerassistenzsystem eingesetzt wird, von geringerer Relevanz sind. Gravierend unplausible Modellausgaben sind nämlich leicht detektierbar.

Die zweite Metrik kann beispielsweise darauf gerichtet sein, die Größe aller Objekte, die einer bestimmten Klasse zugeordnet sind, zum Beispiel der Klasse der Fußgänger, zu vergrößern. Die Störung erzeugt somit ein digitales Bild, bei welchem ein Objekt des Ausgangsbildes, welches als Fußgänger klassifiziert ist, iterativ in allen vier Richtungen vergrößert ist, wobei die sich ergebende Segmentierung des gestörten digitalen Bildes wieder miteinander kombiniert wird. Das Ergebnis ist ein digitales Bild, bei dem alle Objekte, die nicht zu der Klasse der Fußgänger gehören, unverändert bleiben, die Objekte, die zu der Klasse der Fußgänger gehören, jedoch vergrößert dargestellt sind. Die anderen Objekte sind nur insofern verändert, als dass sie durch die Vergrößerung der Objekte der Klasse Fußgänger verändert wurden.

Die dritte Metrikeinheit 3 umfasst eine dritte Metrik, die angibt, auf was für digitale Bilder die Störung Anwendung findet. Beispielsweise kann durch die Metrik definiert sein, dass die Störung nur auf digitale Bilder angewandt wird, welche andere Verkehrsteilnehmer zeigen, d. h. zum Beispiel Fußgänger, Fahrradfahrer und andere Fahrzeuge.

Die drei Metrikeinheiten 1 bis 3 sind mit einer Verarbeitungseinheit 4 verbunden. Die

Verarbeitungseinheit 4 ist ausgebildet, aus den drei Metriken der ersten bis dritten Metrikeinheit 1 bis 3 ein Optimierungsproblem zu erzeugen. Beispielsweise umfasst das

Optimierungsproblem eine Loss-Funktion für ein neuronales Netz, welches als Parameter einen Störungsparameter und ein sich durch die Störung ergebendes Bild enthält (zweite Metrik). Es soll bei dem Optimierungsproblem das Minimum des Störungsparameters gefunden werden, und zwar für die digitalen Bilder, die nach der dritten Metrik definiert sind und unter der

Bedingung, dass das Ausmaß der Veränderung des erzeugten Bildes relativ zu dem

Ausgangsbild gemäß der ersten Metrik unterhalb eines bestimmten Wertes liegt.

Die Verarbeitungseinheit 4 überträgt das Optimierungsproblem als Datensatz an eine

Lösungseinheit 5. Die Lösungseinheit 5 ist mit einer Datenbank 6 gekoppelt, in welcher zumindest ein Lösungsalgorithmus, bevorzugt eine Vielzahl von Lösungsalgorithmen, für Optimierungsprobleme gespeichert ist. Derartige Lösungsalgorithmen sind an sich bekannt. Beispielsweise können in der Datenbank 6 Monte-Carlo-Methoden, genetische Algorithmen und/oder Gradienten-basierte Methoden gespeichert sein, auf welche die Lösungseinheit 5 zugreifen kann. Mittels dieser Lösungsalgorithmen kann die Lösungseinheit 5 als die Lösung des Optimierungsproblems eine Ziel-Störung der Eingangsdaten von digitalen Bildern erzeugen. Die Ziel-Störung erzeugt somit ein gestörtes digitales Bild, welche als Eingangsdaten für ein neuronales Netz zum Analysieren von digitalen Bildern verwendet werden kann. Das neuronale Netz ist insbesondere eingerichtet, digitale Bilder eines Fahrerassistenzsystems zu analysieren.

Die Lösungseinheit 5 überträgt die Ziel-Störung an eine Erzeugungseinheit 7. Die

Erzeugungseinheit 7 ist ferner mit einer Datenbank 8 gekoppelt, in welcher eine Vielzahl von digitalen Bildern gespeichert sind. Mittels der Ziel-Störung kann die Erzeugungseinheit 7 digitale Bilder der Datenbank 8 so stören, dass gestörte Eingangsdaten 9 der digitalen Bilder für ein neuronales Netz erzeugt werden. Die gestörten Eingangsdaten 9 werden dann von der

Erzeugungseinheit 7 ausgegeben. Mit diesen gestörten Eingangsdaten 9 kann dann ein neuronales Netz getestet, trainiert oder der Parametersatz des neuronalen Netzes verbessert werden.

Mit Bezug zu Figur 2 wird ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens zum Erzeugen von gestörten Eingangsdaten 9 erläutert:

In einem Schritt S1 wird eine erste Metrik definiert, die angibt, wie das Ausmaß einer

Veränderung von digitalen Bildern gemessen wird. Die erste Metrik bzw. ein Datensatz, welcher die erste Metrik beschreibt, wird in der ersten Metrikeinheit 1 gespeichert.

In einem Schritt S2 wird eine zweite Metrik definiert, die angibt, worauf eine Störung der digitalen Bilder gerichtet ist. Auch diese zweite Metrik bzw. ein Datensatz, der die zweite Metrik beschreibt, wird in der zweiten Metrikeinheit 2 gespeichert.

Schließlich wird in einem Schritt S3 eine dritte Metrik definiert, die angibt, auf was für digitale Bilder eine Störung Anwendung findet. Diese dritte Metrik bzw. ein Datensatz, der diese dritte Metrik beschreibt, wird in der dritten Metrikeinheit 3 gespeichert.

In einem Schritt S4 werden die Datensätze, welche die drei Metriken beschreiben, an die Verarbeitungseinheit 4 übertragen. ln einem Schritt S5 erzeugt die Verarbeitungseinheit 4 aus einer Kombination der drei Metriken ein Optimierungsproblem. In einem Schritt S6 überträgt die Verarbeitungseinheit 4 einen Datensatz, welcher das erzeugte Optimierungsproblem beschreibt, an die Lösungseinheit 5.

In einem Schritt S7 löst die Lösungseinheit 5 das Optimierungsproblem mittels zumindest eines Lösungsalgorithmus, welcher der Lösungseinheit 5 beispielsweise durch Zugriff auf die

Datenbank 6 übertragen worden ist. Die Lösung ist eine Ziel-Störung für digitale Bilder.

In einem Schritt S8 wird ein Datensatz für diese Ziel-Störung an die Erzeugungseinheit 7 übertragen.

In einem Schritt S9 erzeugt die Erzeugungseinheit 7 durch Zugriff auf die Datenbank 8 gestörte digitale Bilder als Eingangsdaten 9 für ein neuronales Netz. Diese gestörten Eingangsdaten 9 werden in einem Schritt S10 ausgegeben.

Im Folgenden wird das erfindungsgemäße Verfahren anhand eines Beispiels, bei welchem Objekte der Klasse Fußgänger vergrößert werden, im Detail mit Bezug zu den Figuren 6A bis 6C erläutert:

Gegeben ist ein Modell M. Für dieses Modell gibt es den Input x. Dieser Input x ist ein digitales Bild, wie es in Fig. 6A gezeigt ist. Des Weiteren ist der Output M(x) = y definiert. Eine Störung wird mit D bezeichnet, so dass sich als geänderter Input c' = x + D ergibt. Der geänderte Output ist dann y' = M(x + D). Der Zieloutput wird mit y" bezeichnet.

In Fig. 6B ist der Output y des Modells M dargestellt. Das digitale Bild x wurde segmentiert, d. h. den Pixeln des digitalen Bildes x wurden, wie in Fig. 6B gezeigt, Klassen zugeordnet. Folgende Klassenzuordnungen haben sich dabei ergeben:

K1 : Himmel;

K2: Natur;

K3: Gebäude;

K4: Fußgänger;

K5: Verkehrsschild;

K6: Straße;

K7: Markierung. Der Zieloutput y", welcher durch die Störung D erzeugt werden soll, ist in Fig. 6C dargestellt. Das Ziel der Störung D ist es, dass der Fußgänger vergrößert dargestellt wird. Als Zielstörung wird definiert, dass höchstens eine Verschiebung einzelner Pixelwerte um den Wert 3 erfolgen darf. Die Zieldaten bestehen aus einem konkreten Bild x.

Die erste Metrik ist dann wie folgt definiert:

Die Größe der Störung wird also bemessen als der maximale Pixelwert zwischen 0 und 255 in der Störung D.

Die zweite Metrik ist wie folgt definiert:

Sie definiert die Summe der Pixelabweichungen vom Zieloutput.

Die dritte Metrik ist wie folgt definiert:

Gemäß dieser dritten Metrik hat also nur das Inputbild x eine kleine Größe. Folglich bezieht sich der Angriff nur auf das Inputbild x, wenn man d3(x‘) < 1 fordert. Der Fokus in Hinsicht auf die anzugreifenden Daten ändert sich dramatisch, wenn man d3(x‘) < 2 fordert: dann bezieht sich die Attacke auf alle Bilder.

Aus diesen drei Metriken wird dann das Optimierungsproblem wie folgt gebildet:

D= argmin (d 2 (Ä)) Gemäß dem Optimierungsproblem soll ein D gefunden werden, so dass d (Ä) minimal ist, wobei di(Ä) < 3 auf x ist.

Dieses Optimierungsproblem kann anhand an sich bekannter Lösungsalgorithmen gelöst werden. Hierdurch erhält man eine neue adverseriale Störung aus bereits bekannten (di, d ß ) und neuartigen (d ) Metriken. Auch durch Rekombination bereits bekannter Metriken (di,..,d ) auf neuartige Weise oder deren Verbindung mit einem anderen Lösungsalgorithmus entstehen neue adverseriale Störungen. Das erfindungsgemäße Verfahren erlaubt so auf einfache Weise eine Konstruktion quasi beliebig vieler neuartiger adverserialer Störungen.

Gemäß einer Variante dieses Beispiels kann man bei der ersten Metrik nur Pixeländerungen in einem Bildbereich zulassen, die als„Baum“ klassifiziert werden. Als Optimierungsproblem ergibt sich dann folgendes: Es soll ein D in Bildbereichen„Baum“ in dem digitalen Bild x gefunden werden, so dass d (A) minimal ist, wobei di(A) < 3 ist.

Gemäß einer weiteren Variation dieses Beispiels kann man für die dritte Metrik eine Störung für alle Bilder suchen, wobei die erste Metrik di und die zweite Metrik d unverändert gelassen wird. Das Optimierungsproblem kann dann wie folgt formuliert werden: Es soll ein D gefunden werden, so dass d (A) für alle Bilder minimal ist, wobei di(A) < 3 ist. Mit anderen Worten: Es soll ein D mit di(A) < 3 gefunden werden, so dass die Modellausgabe für alle Inputbilder x wie y" aussieht.

Im Folgenden wird ein weiteres Ausführungsbeispiel des erfindungsgemäßen Generators 10 und des erfindungsgemäßen Verfahrens zum Erzeugen von gestörten Eingangsdaten 9 erläutert:

Der Generator 10 des weiteren Ausführungsbeispiels umfasst wie beim ersten Ausführungsbeispiel eine erste Metrikeinheit 1 und eine zweite Metrikeinheit 2. Die erste Metrikeinheit 1 umfasst in diesem Fall jedoch eine erste Menge mit einer Vielzahl von ersten Metriken, die jeweils unterschiedlich angeben, wie das Ausmaß einer Veränderung von Sensordaten gemessen wird. Die zweite Metrikeinheit 2 umfasst in diesem Fall eine zweite Menge mit einer Vielzahl von zweiten Metriken, die jeweils unterschiedlich angeben, worauf eine Störung der Eingangsdaten 9 von Sensordaten gerichtet ist. Die mit der ersten 1 und zweiten 2 Metrikeinheit gekoppelte Verarbeitungseinheit 4 ist in diesem Fall ausgebildet, aus einer beliebigen Kombination einer ersten Metrik der ersten Menge und einer zweiten Metrik der zweiten Menge das Optimierungsproblem zu erzeugen. Die mit der Verarbeitungseinheit 4 gekoppelte Lösungseinheit 5 ist dann ausgebildet, das Optimierungsproblem mittels zumindest eines Lösungsalgorithmus zu lösen, wobei die Lösung eine Ziel-Störung der Eingangsdaten 9 von Sensordaten angibt. Analog zum ersten Ausführungsbeispiel ist auch die Erzeugungseinheit 7 ausgebildet, mittels der Ziel-Störung gestörte Eingangsdaten 9 von Sensordaten für ein neuronales Netz 11 zu erzeugen.

Das Verfahren des weiteren Ausführungsbeispiels läuft analog zu dem Verfahren des ersten Ausführungsbeispiels ab. Jedoch wird in diesem Fall eine erste Menge definiert, welche die ersten Metriken enthält, die jeweils unterschiedlich angeben, wie das Ausmaß einer Veränderung von Sensordaten gemessen wird. Ferner wird eine zweite Menge definiert, welche die zweiten Metriken enthält, die jeweils unterschiedlich angeben, worauf eine Störung von Sensordaten gerichtet ist. Es wird dann eine beliebige Kombination einer ersten Metrik der ersten Menge und einer zweiten Metrik der zweiten Menge gewählt und aus der gewählten Kombination der ersten und zweiten Metrik das Optimierungsproblem erzeugt. Dieses wird dann wie bei dem Verfahren des ersten Ausführungsbeispiels mittels zumindest eines Lösungsalgorithmus gelöst, wobei die Lösung eine Ziel-Störung der Eingangsdaten 9 angibt. Mittels der Ziel-Störung werden gestörte Eingangsdaten 9 von Sensordaten für das neuronale Netz 11 erzeugt.

Mit Bezug zu Figur 3 wird ein Ausführungsbeispiel einer Vorrichtung zum Erzeugen eines Parametersatzes für ein neuronales Netz beschrieben:

Die Vorrichtung umfasst die Datenbank 8 mit digitalen Bildern. Mit dieser Datenbank 8 ist der mit Bezug zu Figur 1 beschriebene Generator 10 verbunden. Mit der Datenbank 8 und dem Generator 10 ist ein neuronales Netz 11 gekoppelt. Der Ausgang des neuronalen Netzes 11 ist mit einer ersten Analyseeinheit 12 und einer zweiten Analyseeinheit 13 gekoppelt. Die erste Analyseeinheit 12 erzeugt eine erste Analyse mittels des neuronalen Netzes 11 auf Basis von digitalen Bildern, welche als Eingangsdaten von der Datenbank 8 dem neuronalen Netz 11 zugeführt werden. Die zweite Analyseeinheit 13 erzeugt eine zweite Analyse auf Basis von gestörten Eingangsdaten 9, die von dem Generator 10 dem neuronalen Netz 11 zugeführt werden. Zum Erzeugen der gestörten Eingangsdaten 9 greift der Generator 10 auf die

Datenbank 8 mit den digitalen Bildern zu und wendet auf diese die von dem Generator 10 erzeugte Ziel-Störung an. Die erste Analyseeinheit 12 und die zweite Analyseeinheit 13 sind mit einer Vergleichseinheit 14 gekoppelt. Diese ist ausgebildet, die erste und die zweite Analyse miteinander zu vergleichen.

Die Vergleichseinheit 14 ist mit einer Parametersatz-Erzeugungseinheit 15 gekoppelt. Die Parametersatz-Erzeugungseinheit 15 ist ausgebildet, einen verbesserten Parametersatz für das neuronale Netz 11 auf Basis des Ergebnisses des Vergleichs der ersten und der zweiten Analyse zu erzeugen, welcher von der Vergleichseinheit 14 übertragen wurde. Der

Parametersatz für das neuronale Netz 11 wird von der Parametersatz-Erzeugungseinheit 15 so erzeugt, dass die von dem Generator 10 erzeugten gestörten Eingangsdaten 9 der digitalen Bilder einen geringen Einfluss auf die Analyse dieser Eingangsdaten mittels des neuronalen Netzes 11 haben. Insbesondere wird der verbesserte Parametersatz so erzeugt, dass die Auswirkungen der gestörten Eingangsdaten 9 auf die semantische Segmentierung des digitalen Bildes mittels des neuronalen Netzes 11 für die gestörten Eingangsdaten nicht dazu führt, dass für ein Fahrerassistenzsystem sicherheitsrelevante Objekte falsch klassifiziert werden, diese Objekte verschwinden oder verändert dargestellt werden. Das neuronale Netz 11 kann somit mittels der gestörten Eingangsdaten 9, welche von dem Generator 10 erzeugt werden, trainiert werden.

Mit Bezug zu Figur 4 wird ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens zum Prüfen der Robustheit eines neuronalen Netzes beschrieben:

In einem Schritt R1 wird ein neuronales Netz mit einem zugehörigen Parametersatz

bereitgestellt. Dieses neuronale Netz soll überprüft werden.

In einem Schritt R2 werden Trainingsdaten mittels einer Vielzahl von digitalen Bildern erzeugt.

In einem Schritt R3 wird das neuronale Netz auf an sich bekannte Weise mit Trainingsdaten trainiert und es wird eine erste Analyse der digitalen Bilder auf Basis der Trainingsdaten mittels des neuronalen Netzes erzeugt.

In einem Schritt R4 werden gestörte Eingangsdaten als Trainingsdaten für die digitalen Bilder mittels des Verfahrens erzeugt, wie es mit Bezug zu Figur 2 erläutert wurde. ln einem Schritt R5 wird eine zweite Analyse der digitalen Bilder auf Basis der gestörten Eingangsdaten, das heißt auf Basis der digitalen Bilder, auf welche die Ziel-Störung angewandt wurde, mittels des neuronalen Netzes erzeugt.

In einem Schritt R6 wird die erste und die zweite Analyse miteinander verglichen.

In einem Schritt R7 wird schließlich ein Robustheitswert in Abhängigkeit von dem Ergebnis des Vergleichs der ersten und zweiten Analyse ermittelt. Der Robustheitswert ist hoch, wenn die Abweichung der zweiten Analyse von der ersten Analyse gering ist, insbesondere im Hinblick auf Abweichungen, die für den Betrieb eines Fahrerassistenzsystems relevant sind,

insbesondere sicherheitskritisch sind.

Mit Bezug zu Figur 5 wird ein Verfahren zum Verbessern eines Parametersatzes eines neuronalen Netzes beschrieben:

Zunächst werden die Schritte R1 bis R6 durchgeführt, wie es mit Bezug zu Figur 4 erläutert wurde. Anschließend wird in einem Schritt R8 ein verbesserter Parametersatz für das neuronale Netz auf Basis des Ergebnisses des Vergleichs und zweiten Analyse erzeugt.

Bezugszeichenliste

erste Metrikeinheit

zweite Metrikeinheit

dritte Metrikeinheit

Verarbeitungseinheit

Lösungseinheit

Datenbank mit Lösungsalgorithmen

Erzeugungseinheit

Datenbank mit digitalen Bilddaten

gestörte Eingangsdaten

Generator

neuronales Netz

erste Analyseeinheit

zweite Analyseeinheit

Vergleichseinheit

Parametersatz-Erzeugungseinheit

Datenbank mit Störung