Verfahren zur Unterstützung eines Betriebs eines Fahrzeuges mit einer Sensoreinheit, Computerprogrammprodukt sowie System

Die Erfindung betrifft ein Verfahren zur Unterstützung eines Betriebs eines Fahrzeuges mit einer Sensoreinheit zum Erfassen von Sensordaten zur Auswertung in einem trainierten, künstlichen neuronalen Netz, ein Computerprogrammprodukt sowie ein System.

Der Einsatz von künstlichen, neuronalen Netzen zur Analyse von Daten ist aus dem Stand der Technik grundsätzlich bekannt. Aus der US 2016/0328643 A1 ist es beispielsweise bekannt, Bilddaten durch ein neuronales Netz auszuwerten, wobei ein Verhalten des Netzes analysiert wird, um Vereinfachungen des neuronalen Netzes zu ermöglichen.

Insbesondere beim Einsatz von neuronalen Netzen zur Analyse von Sensordaten für ein Fahrzeug, ist die Qualität der Sensordaten beim Betrieb des Fahrzeuges aufgrund verschiedener Umwelteinflüsse jedoch häufig nicht stabil. Beispielsweise können Störungen, wie Nebel, Schnee und/oder Starkregen, zu einer reduzierten Datenqualität führen. Werden diese Störungen nicht erkannt, kann dies zu Fehlinterpretationen durch das neuronale Netz führen. Insbesondere, wenn die Sensordaten zum autonomen Fahren oder für Fahrassistenzsysteme interpretiert werden sollen, ist es daher wünschenswert, Störungen von Sensordaten zu erkennen.

Es ist eine Aufgabe der vorliegenden Erfindung, voranstehende, aus dem Stand der Technik bekannte Nachteile zumindest teilweise zu beheben. Insbesondere ist es eine Aufgabe der vorliegenden Erfindung, eine Sicherheit bei einem Betrieb eines Fahrzeuges in Hinblick auf Sensorstörungen, vorzugsweise bei einem geringen Rechenaufwand, zu verbessern.

Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1, ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 14, sowie ein System mit den Merkmalen des Anspruchs 15. Weitere Merkmale und Details der Erfindung ergeben sich aus den jeweiligen Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit dem erfindungsgemäßen Computerprogrammprodukt und/oder dem erfindungsgemäßen System und jeweils umgekehrt, so dass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann.

Gemäß einem ersten Aspekt der Erfindung ist ein Verfahren zur Unterstützung eines Betriebs eines Fahrzeuges vorgesehen. Das Fahrzeug weist eine Sensoreinheit zum Erfassen von Sensordaten auf, die für eine Auswertung in einem trainierten, künstlichen neuronalen Netz vorgesehen sind. Das künstliche neuronale Netz weist eine Vielzahl von Netzelementen für Zwischenauswertungen der Sensordaten, insbesondere innerhalb des neuronalen Netzes, auf. Das Verfahren umfasst ferner folgende Schritte:

Bereitstellen der Sensordaten für das neuronale Netz, insbesondere durch die Sensoreinheit,

- Auswerten der Sensordaten zum Erkennen zumindest eines Ereignisses durch das neuronale Netz, insbesondere im Fahrzeug,

Überwachen eines Auswerteverhaltens der Zwischenauswertungen beim Auswerten der Sensordaten, insbesondere durch eine Recheneinheit,

Bewerten der Sensordaten zum Erkennen einer Sensorstörung in Abhängigkeit von dem Auswerteverhalten, insbesondere durch die Recheneinheit,

Durchführen einer Reaktionsmaßnahme in Abhängigkeit von dem Bewerten der Sensordaten, insbesondere durch die Recheneinheit und/oder ein Fahrassistenzsystem des Fahrzeuges.

Das Fahrzeug kann vorteilhafterweise in einem zumindest teilweise automatisierten Betriebsmodus mit einem Fahrassistenzsystem und/oder in einem autonomen Betriebsmodus betrieben werden. Die Sensoreinheit kann einen oder mehrere Fahrzeugsensoren umfassen. Insbesondere umfasst die Sensoreinheit eine vorausschauende Sensorik zum Erfassen einer Fahrzeugumgebung des Fahrzeuges. Bei den Sensordaten kann es sich z.B. um Bilddaten, Radardaten und/oder Lidardaten handeln.

Das neuronale Netz kann auch als neuronales Netzwerk bezeichnet werden. Bei dem neuronalen Netz handelt es sich insbesondere um ein sog. deep neural network. Vorzugsweise ist das neuronale Netz ein machine-learning basiertes Netzwerk mit mehreren, vorzugsweise drei oder mehr, Schichten und/oder Parametern zur Verarbeitung von Eingangsdaten und zur Ausgabe von Ausgangsdaten. Das neuronale Netz kann vorzugsweise in trainierter Form in die Recheneinheit implementiert sein. Dabei kann das neuronale Netz Teil eines Erkennungsmoduls der Recheneinheit sein. Beispielsweise kann das neuronale Netz während eines Entwicklungsprozesses durch Referenzdaten der Sensordaten trainiert sein, um das Ereignis erkennen zu können. Bei dem Ereignis kann es sich vorzugsweise um ein Ereignis in einer Fahrzeugumgebung bei dem Betrieb des Fahrzeuges handeln. Beispielsweise kann unter dem Ereignis ein Erscheinen eines anderen Verkehrsteilnehmers, wie eines Fußgängers oder eines anderen Fahrzeuges, umfassen. Es ist jedoch ebenso denkbar, dass beim Erkennen des Ereignisses ein Verkehrsschild erkannt wird, welchem sich das Fahrzeug nähert. Insbesondere kann vorgesehen sein, dass beim Auswerten der Sensordaten zum Erkennen des Ereignisses eine Objekterkennung ausgeführt wird. Dazu kann ein Rendern von Boxen um Objekte in der Fahrzeugumgebung erfolgen. Vorzugsweise können die Sensordaten beim Auswerten nach Ereignissen klassifiziert werden. Insbesondere kann beim Auswerten der Sensordaten eine pixelweise Auswertung der Sensordaten erfolgen. Das Auswerten der Sensordaten kann vollständig durchgeführt werden, bis eine Gesamtauswertung feststeht. Es ist jedoch ebenso denkbar, dass das Auswerten der Sensordaten unterbrochen wird, wenn eine Sensorstörung beim Bewerten der Sensordaten erkannt wird.

Die Netzelemente können beispielsweise Netzknoten des neuronalen Netzes sein. Vorzugsweise können die Netzelemente Kernel, Netzschichten, Netzfilter und/oder Gewichtungen des neuronalen Netzes umfassen. Die Zwischenauswertungen können beispielsweise Skalare umfassen, die von den Netzelementen beim Auswerten der Sensordaten ausgegeben werden. Beim Überwachen des Auswerteverhaltens kann das Auswerteverhaltens der Zwischenauswertungen eines Teils oder aller Netzelemente des neuronalen Netzes überwacht, insbesondere analysiert, werden. Beim Bewerten der Sensordaten zum Erkennen der Sensorstörung kann insbesondere ein Vorhandensein der Sensorstörung überprüft und/oder bestimmt werden. Beispielsweise kann festgestellt werden, ob das Vorhandensein der Sensorstörung anhand des Auswerteverhaltens hinreichend wahrscheinlich ist. Insbesondere können die Sensordaten beim Bewerten in störungsbehaftete und/oder störungsfreie oder in stabile und/oder instabile Sensordaten klassifiziert werden. Es ist somit denkbar, dass beim Bewerten der Sensordaten festgestellt wird, ob das neuronale Netz beim Auswerten der Sensordaten aufgrund einer Datenqualität der Sensordaten eine hohe Fehlerquote aufweist.

Bei der Sensorstörung kann es sich insbesondere um eine externe Störung der Sensordaten handeln. Insbesondere kann die Sensorstörung durch einen Wettereinfluss der Fahrzeugumgebung bedingt sein. Beispielsweise kann die Sensorstörung einen Nebel, einen Starkregen und/oder dergleichen umfassen. Die Reaktionsmaßnahme kann ein Einwirken auf den Betrieb des Fahrzeuges umfassen. Es ist jedoch ebenso denkbar, dass die Reaktionsmaßnahme einen Hinweis an den Fahrer des Fahrzeuges umfasst, um dem Fahrer mitzuteilen, dass die Sensoreinheit gestört ist. Weiterhin kann die Reaktionsmaßnahme eine Anforderung weiterer Sensordaten umfassen, um die Sensorstörung zu validieren oder zu falsifizieren.

Durch das Überwachen des Auswerteverhaltens kann somit das neuronale Netz selbst analysiert werden, um anhand des Verhaltens des neuronalen Netzes die Sensorstörung zu erkennen. Dadurch kann ein Fehlverhalten des neuronalen Netzes erkannt und/oder vorhergesagt werden. Dadurch können Fehlinterpretationen der Sensordaten vermieden werden, wodurch eine Sicherheit beim Betrieb des Fahrzeuges verbessert wird.

Es ist ferner bei einem erfindungsgemäßen Verfahren denkbar, dass das Verfahren folgenden Schritt umfasst:

Identifizieren von Schlüsselelementen der Vielzahl der Netzelemente, insbesondere durch die Recheneinheit, einen Server und/oder das Fahrzeug.

Vorzugsweise werden beim Überwachen des Auswerteverhaltens die Zwischenauswertungen der Schlüsselelemente überwacht. Unter den Schlüsselelementen können insbesondere sensitive Netzelemente verstanden werden, deren Zwischenauswertungen sich bei Vorliegen einer Sensorstörung charakteristisch verhalten. Insbesondere können beim Überwachen des Auswerteverhaltens nur die Zwischenauswertungen der Schlüsselelemente überwacht werden. Dadurch kann eine erforderliche Rechenkapazität reduziert werden. Es ist denkbar, dass das Identifizieren der Schlüsselelemente in einem separaten Prozess erfolgt. Es ist jedoch ebenso denkbar, dass zum Identifizieren der Schlüsselelemente eine Sammlung, insbesondere in Form einer Liste und/oder eines Kataloges, der Schlüsselelemente vom Fahrzeug erhalten wird. Beispielsweise kann die Sammlung der Schlüsselelemente durch einen Server bereitgestellt werden. Somit kann ein Verhalten der Zwischenauswertungen der Schlüsselelemente ein Charakteristikum zum Erkennen der Sensorstörung darstellen. Ferner kann durch das Identifizieren der Schlüsselelemente eine erforderliche Rechenleistung beim Überwachen des Auswerteverhaltens und/oder beim Bewerten der Sensordaten reduziert werden.

Es ist ferner bei einem erfindungsgemäßen Verfahren denkbar, dass zum Identifizieren der Schlüsselelemente und/oder zum Bewerten der Sensordaten ein Kalibrierungsvorgang ausgeführt wird, bei welchem störungsbehaftete Referenzdaten und störungsfreie Referenzdaten durch das neuronale Netz ausgewertet werden, vorzugsweise wobei beim Kalibrierungsvorgang Verhaltensabweichungen der Zwischenauswertungen beim Auswerten der störungsbehafteten und störungsfreien Referenzdaten erfasst werden. Der Kalibrierungsvorgang kann iterativ durchgeführt werden. Unter den störungsbehafteten Referenzdaten können exemplarische Sensordaten verstanden werden, die eine Sensorstörung aufweisen, durch welche das Auswerten der Sensordaten fehlerhaft oder fehleranfällig erfolgt. Unter den störungsfreien Referenzdaten können exemplarische Sensordaten verstanden werden, die beim Auswerten der Sensordaten zu einem fehlerfreien Gesamtergebnis oder einem Gesamtergebnis innerhalb eines Toleranzbereiches führen. Beispielsweise kann ein weiteres künstliches neuronales Netz beim Kalibrierungsvorgang trainiert werden, indem das weitere neuronale Netz die Zwischenauswertungen und die Referenzdaten als Eingangsdaten erhält, um Ausgangsdaten in Form einer Bewertung zum Erkennen der Sensorstörung und/oder die Schlüsselelemente auszugeben. Durch den Kalibrierungsvorgang kann somit eine Genauigkeit beim Erkennen der Sensorstörung verbessert werden.

Weiterhin ist es bei einem erfindungsgemäßen Verfahren denkbar, dass der Kalibrierungsvorgang durch einen Server ausgeführt wird, wobei das Auswerten der Sensordaten, das Überwachen des Auswerteverhaltens und das Bewerten der Sensordaten durch das Fahrzeug erfolgt. Dazu können die identifizierten Schlüsselelemente, das neuronale Netz und/oder eine Architektur des neuronalen Netzes vom Server an das Fahrzeug übertragen werden. Dadurch können mehreren Fahrzeugen die Ergebnisse des Kalibrierungsvorgangs bereitgestellt werden. Ferner kann dadurch eine Rechenlast im Fahrzeug reduziert werden. Dadurch, dass das Auswerten der Sensordaten, das Überwachen des Auswerteverhaltens und das Bewerten der Sensordaten durch das Fahrzeug erfolgt, kann gleichzeitig eine Echtzeit- Bewertung der Sensordaten im Fahrzeug erfolgen, um in einer, insbesondere kritischen, Fahrsituation schnell reagieren zu können.

Es ist ferner bei einem erfindungsgemäßen Verfahren denkbar, dass beim Identifizieren der Schlüsselelemente eine Wichtung der Schlüsselelemente erfolgt, wobei die Wichtung beim Bewerten der Sensordaten berücksichtigt wird. Die Wichtung kann beispielsweise Gewichtungsfaktoren beim Bewerten der Sensordaten zum Erkennen der Sensorstörung umfassen. Die Wichtungen können beim Kalibrierungsvorgang festgelegt werden. Beispielsweise kann beim Kalibrierungsvorgang erkannt werden, dass ein Verhalten der Zwischenauswertungen von bestimmten Schlüsselelementen einen stärkeren Einfluss auf die Bewertung der Sensordaten hinsichtlich der Sensorstörung hat, als ein Verhalten der Zwischenauswertungen von anderen Schlüsselelementen. Dies kann durch die Wichtung berücksichtigt werden, wodurch das Erkennen der Sensorstörung mit einer höheren Genauigkeit erfolgen kann.

Ferner kann bei einem erfindungsgemäßen Verfahren vorteilhafterweise vorgesehen sein, dass beim Bewerten der Sensordaten und/oder beim Überwachen eines Auswerteverhaltens der Zwischenauswertungen eine Mittelung für mehrere Zwischenauswertungen erfolgt. Die Mittelung der Zwischenauswertungen kann für mehrere Netzelemente erfolgen. Es ist jedoch ebenso denkbar, dass bei der Mittelung zeitlich aufeinanderfolgende Zwischenauswertungen für jedes Netzelement oder Schlüsselelement eine Mittelwertbildung erfolgt. Dadurch kann beispielsweise ein Einfluss von Messfehlern reduziert werden.

Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass beim Bewerten der Sensordaten ein Vergleich des Auswerteverhaltens mit einem Referenzverhalten der Zwischenauswertungen erfolgt, wobei für die Bewertung der Sensordaten zumindest ein Grenzwert für eine Abweichung des Auswerteverhaltens von dem Referenzverhalten zum Erkennen der Sensorstörung, d.h. insbesondere zum Erkennen eines Vorliegens der Sensorstörung, vorgegeben wird. Das Referenzverhalten kann beim Kalibrierungsvorgang anhand der störungsfreien Referenzdaten ermittelt werden. Der Grenzwert kann beim Kalibrierungsvorgang anhand der störungsbehafteten Referenzdaten, insbesondere durch einen Vergleich des Auswerteverhaltens bei einer Auswertung der störungsbehafteten und störungsfreien Referenzdaten ermittelt werden. Beispielsweise kann vorgesehen sein, dass die Sensorstörung erkannt wird, wenn der Grenzwert erreicht oder überschritten wird. Insbesondere können mehrere Grenzwerte für die Zwischenauswertungen vorgegeben werden. Somit kann eine vorteilhafte Erkennung der Sensorstörung realisiert sein.

Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass die Sensordaten beim Bewerten der Sensordaten hinsichtlich einer Störungsklassifikation klassifiziert werden, wobei die Reaktionsmaßnahme in Abhängigkeit von der Störungsklassifikation erfolgt. Beispielsweise kann die Störungsklassifikation die Art der Sensorstörung umfassen. So ist es denkbar, dass Sensordaten mit einem Nebel eine andere Störungsklassifikation erhalten, als Sensordaten mit einem Starkregen. Somit kann die Reaktionsmaßnahme individuell für die Störungsklassifikation erfolgen. Es kann z. B. vorgesehen sein, dass die Reaktionsmaßnahme eine Ansteuerung von Fahrassistenzsystemen in Abhängigkeit von der Störungsklassifikation umfasst. Insbesondere kann für eine bestimmte Störungsklassifikation eine Ansteuerung eines vorbestimmten Fahrassistenzsystems erfolgen. Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass die Reaktionsmaßnahme einen Validierungsvorgang zum Validieren der Bewertung und/oder der Auswertung der Sensordaten umfasst. Durch den Validierungsvorgang kann ein Eingriff in das Fahrverhalten des Fahrzeuges vermieden oder aufgeschoben werden. Insbesondere kann dadurch eine zusätzliche Sicherheit beim Erkennen der Sensorstörung gewonnen werden.

Beispielsweise ist es denkbar, dass der Validierungsvorgang ein Einspeisen der Sensordaten in ein weiteres, künstliches neuronales Netz umfasst, welches zum Auswerten von Sensordaten der Störungsklassifikation zum Erkennen des Ereignisses trainiert ist. Beispielsweise kann das weitere neuronale Netz auf die Auswertung von Sensordaten, die durch Nebel gestört sind, spezialisiert sein. Dadurch können in Abhängigkeit von der Störungsklassifikation auch Sensordaten, die eine Sensorstörung aufweisen, hinsichtlich des Ereignisses ausgewertet werden. Das weitere neuronale Netz kann in das Fahrzeug oder im Server implementiert sein.

Im Rahmen der Erfindung ist es weiterhin denkbar, dass der Validierungsvorgang ein Einspeisen der Sensordaten in mehrere, weitere, trainierte künstliche neuronale Netze umfasst, wobei ein Konsolidierungsvorgang ausgeführt wird, um eine Gesamtbewertung der Sensordaten hinsichtlich des Ereignisses und/oder hinsichtlich der Sensorstörung zu erhalten. Beim Konsolidierungsvorgang kann ein Überwachen des Auswerteverhaltens von Zwischenauswertungen der weiteren neuronalen Netze und ein Bewerten der Sensordaten zum Erkennen der Sensorstörung in Abhängigkeit von dem Auswerteverhalten aller weiteren neuronalen Netze erfolgen. Beispielsweise kann bei der Bewertung berücksichtigt werden, ob eine Mehrheit der weiteren neuronalen Netze die Sensordaten als störungsbehaftet oder störungsfrei klassifiziert. Dadurch kann eine Validierung durch eine Konsolidierung erfolgen. Beispielsweise können die weiteren, neuronalen Netze durch unterschiedliche Trainingsdaten trainiert sein. Dadurch kann sich das Auswerteverhalten der Zwischenauswertungen der weiteren, neuronalen Netze unterscheiden. Dadurch können Fehler beim Erkennen der Sensorstörung erkannt und/oder eine Genauigkeit beim Erkennen der Sensorstörung verbessert werden.

Ferner kann bei einem erfindungsgemäßen Verfahren vorteilhafterweise vorgesehen sein, dass die Reaktionsmaßnahme ein automatisches Auslösen eines Fahrmanövers des Fahrzeuges umfasst. Dazu kann beispielsweise ein Fahrassistenzsystem des Fahrzeuges angesteuert werden. Beispielsweise kann beim Erkennen der Sensorstörung eine Geschwindigkeit des Fahrzeuges reduziert werden und/oder ein Fahrmanöver, insbesondere zum Durchführen eines Nothaltes des Fahrzeuges, ausgeführt werden. Somit kann ein sicherer Betrieb des Fahrzeuges erfolgen, indem beim Erkennen der Sensorstörung in einen Normalbetrieb des Fahrzeuges eingegriffen wird, um ein Fehlverhalten des Fahrzeuges aufgrund einer durch die Sensorstörung bedingten, fehlerhaften Auswertung durch das neuronale Netz zu vermeiden.

Gemäß einem weiteren Aspekt der Erfindung ist ein Computerprogrammprodukt vorgesehen. Das Computerprogrammprodukt umfasst Befehle, die bei einer Ausführung durch eine Recheneinheit die Recheneinheit veranlassen, ein erfindungsgemäßes Verfahren auszuführen.

Somit bringt ein erfindungsgemäßes Computerprogrammprodukt die gleichen Vorteile mit sich, wie sie bereits ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren beschrieben worden sind. Bei dem Verfahren kann es sich insbesondere um ein computerimplementiertes Verfahren handeln. Das Computerprogrammprodukt kann als computerlesbarer Anweisungscode in jeder geeigneten Programmiersprache wie beispielsweise in JAVA, C++, C# und/oder Python implementiert sein. Das Computerprogrammprodukt kann auf einem computerlesbaren Speichermedium wie einer Datendisk, einem Wechsellaufwerk, einem flüchtigen oder nichtflüchtigen Speicher, oder einem eingebauten Speicher/Prozessor abgespeichert sein. Der Anweisungscode kann einen Computer oder andere programmierbare Geräte wie ein Steuergerät derart beeinflussen und/oder ansteuern, dass die gewünschten Funktionen ausgeführt werden. Ferner kann das Computerprogrammprodukt in einem Netz wie beispielsweise dem Internet bereitstellbar oder bereitgestellt sein, von dem es bei Bedarf von einem Nutzer heruntergeladen werden kann. Das Computerprogrammprodukt kann sowohl mittels einer Software, als auch mittels einer oder mehrerer spezieller elektronischer Schaltungen, d. h. in Hardware oder in beliebig hybrider Form, d. h. mittels Software- Komponenten und Hardware-Komponenten, realisiert sein.

Gemäß einem weiteren Aspekt der Erfindung ist ein System vorgesehen. Das System weist ein Fahrzeug mit einer Sensoreinheit zum Erfassen von Sensordaten auf. Ferner umfasst das System eine Recheneinheit zum Ausführen eines erfindungsgemäßen Verfahrens.

Somit bringt ein erfindungsgemäßes System die gleichen Vorteile mit sich, wie sie bereits ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren und/oder ein erfindungsgemäßes Computerprogrammprodukt beschrieben worden sind. Die Recheneinheit kann vorteilhafterweise einen Prozessor und/oder Mikroprozessor aufweisen. Ferner kann die Recheneinheit in das Fahrzeug und/oder einen Server integriert sein. Insbesondere kann die Recheneinheit mehrere Rechenmodule aufweisen, die dezentral verteilt sind. Beispielsweise kann ein Rechenmodul der Recheneinheit in das Fahrzeug und ein weiteres Rechenmodul der Recheneinheit in den Server integriert sein. Vorzugsweise weist das Fahrzeug ein Fahrassistenzsystem zum automatischen Durchführen eines Fahrmanövers auf.

Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen schematisch:

Figur 1 ein künstliches, neuronales Netz, Figur 2 ein erfindungsgemäßes Verfahren zur Unterstützung eines Betriebs eines Fahrzeuges,

Figur 3 ein Validierungsvorgang des Verfahrens, Figur 4 ein System mit dem Fahrzeug, Figuren 5, 6 Referenzdaten für einen Kalibrierungsvorgang des Verfahrens.

In der nachfolgenden Beschreibung zu einigen Ausführungsbeispielen der Erfindung werden für die gleichen technischen Merkmale auch in unterschiedlichen Ausführungsbeispielen die identischen Bezugszeichen verwendet.

Figur 1 zeigt ein trainiertes, künstliches neuronales Netz 10 zum Auswerten 103 von Sensordaten 200 einer Sensoreinheit 4 eines Fahrzeuges 2. Ein erfindungsgemäßes System 1 mit dem Fahrzeug 2 und der Sensoreinheit 4 ist in Figur 4 dargestellt. Das neuronale Netz 10 kann in eine Recheneinheit 3 implementiert sein. Die Recheneinheit 3 ist vorzugsweise in das Fahrzeug 2 und/oder einen Server 5 integriert. Wie in Figur 1 dargestellt, weist das neuronale Netz 10 eine Vielzahl von Netzelementen 11 für Zwischenauswertungen 210 für die Auswertung der Sensordaten 200 auf. Die Netzelemente 11 können beispielsweise Netzschichten, Netzfilter und/oder Gewichtungen des neuronalen Netzes 10 umfassen.

In Figur 2 ist ein erfindungsgemäßes Verfahren 100 zur Unterstützung eines Betriebs des Fahrzeuges 2 mit der Sensoreinheit 4 in schematischer Darstellung von Verfahrensschritten dargestellt. Das Verfahren 100 wird vorzugsweise durch die Recheneinheit 3 ausgeführt. Vorteilhafterweise ist dazu ein Computerprogrammprodukt vorgesehen, das Befehle umfasst, die bei einer Ausführung durch die Recheneinheit 3 die Recheneinheit 3 dazu veranlassen, das Verfahren 100 auszuführen.

Zum Erstellen einer Gesamtauswertung 211 für eine Interpretation und/oder Klassifikation der Sensordaten 200 in Hinblick auf ein Ereignis umfasst das Verfahren 100 ein Bereitstellen 102 der Sensordaten 200 für das neuronale Netz 10 und ein Auswerten 103 der Sensordaten 200 zum Erkennen des Ereignisses durch das neuronale Netz 10. Beispielsweise kann es sich bei dem Ereignis um ein Auftreten eines Objektes, wie z. B. eines anderen Verkehrsteilnehmers, in einer Fahrzeugumgebung handeln.

Zunächst ist jedoch ein Identifizieren 101 von Schlüsselelementen 11.1 der Vielzahl der Netzelemente 11 vorgesehen. Dabei wird zum Identifizieren 101 der Schlüsselelemente 11.1 ein Kalibrierungsvorgang 101.1 ausgeführt, bei welchem störungsbehaftete Referenzdaten 201 und störungsfreie Referenzdaten 202 durch das neuronale Netz 10 ausgewertet werden. Beispielsweise, wenn die Sensoreinheit 4 eine Kamera aufweist, können die Referenzdaten 201, 202 Bilddaten umfassen. Ein Beispiel für störungsfreie Referenzdaten 202 ist in Figur 5 dargestellt, während ein Beispiel für störungsbehaftete Referenzdaten 201 mit einer Sensorstörung in Form von Regen in Figur 6 gezeigt ist. Die störungsfreien Referenzdaten 202 können beispielsweise den Trainingsdaten des neuronalen Netzes 10 entsprechen. Es kann vorgesehen sein, dass beim Kalibrierungsvorgang 101.1 fernerweitere Referenzparameter 203 in das neuronale Netz 10 eingespeist werden. Somit kann es sich bei der Sensorstörung insbesondere um eine externe Störung, wie z. B. einen Umwelteinfluss, handeln. Insbesondere werden bei dem Kalibrierungsvorgang 101.1 Verhaltensabweichungen der Zwischenauswertungen 210 beim Auswerten 103 der störungsbehafteten und störungsfreien Referenzdaten 201, 202 erfasst. Dadurch kann ein charakteristisches Verhalten des neuronalen Netzes 10 in Form von charakteristischen Zwischenauswertungen 210 oder einer charakteristischen Änderung der Zwischenauswertungen 210 erkannt werden, um die Sensorstörung zu erkennen. Vorzugsweise kann beim Identifizieren 101 der Schlüsselelemente 11.1 ferner eine Wichtung der Schlüsselelemente 11.1 erfolgen, wobei beispielsweise Schlüsselelemente 11.1, deren Zwischenauswertungen 210 sich charakteristischer verhalten gegenüber anderen Schlüsselelementen 11.1, ein stärkeres Gewicht für das Erkennen der Sensorstörung erhalten. Dadurch kann insbesondere eine Anzahl der Schlüsselelemente 11.1 reduziert werden. Zum Erkennen der Sensorstörung erfolgt bei dem Verfahren 100 ferner ein Überwachen 104 eines Auswerteverhaltens der Zwischenauswertungen 210 beim Auswerten 103 der Sensordaten 200. Dabei werden insbesondere nur die Zwischenauswertungen 210 der Schlüsselelemente 11.1 überwacht, welche das charakteristische Verhalten bei der Sensorstörung aufweisen.

Daraufhin folgt ein Bewerten 105 der Sensordaten 200 zum Erkennen der Sensorstörung in Abhängigkeit von dem Auswerteverhalten, insbesondere unter Berücksichtigung der Wichtung der Schlüsselelemente 11.1. Zusätzlich oder alternativ kann beim Bewerten 105 der Sensordaten 200 und/oder beim Überwachen 104 des Auswerteverhaltens eine, insbesondere zeitliche und/oder elementübergreifende, Mittelung für mehrere Zwischenauswertungen 210 durchgeführt werden. Die Sensorstörung wird beim Bewerten 105 der Sensordaten 200 insbesondere durch einen Vergleich des Auswerteverhaltens mit einem Referenzverhalten der Zwischenauswertungen 210 erkannt. Das Referenzverhalten kann dabei aus den, insbesondere störungsfreien, Referenzdaten 201, 202 abgeleitet werden. Weiterhin kann vorgesehen sein, dass für die Bewertung der Sensordaten 200 zumindest ein Grenzwert 212 für eine Abweichung des Auswerteverhaltens von dem Referenzverhalten vorgegeben wird. Die Sensorstörung wird dabei insbesondere erkannt, wenn der Grenzwert 212 erreicht oder überschritten wird. Ferner ist es denkbar, dass mehrere Grenzwerte 212 vorgesehen sind, durch welche ein Toleranzkorridor gebildet wird, in welchem die Sensordaten 200 als störungsfrei angesehen werden. Es kann vorgesehen sein, dass die Sensordaten 200 hinsichtlich einer Störungsklassifikation 213 klassifiziert werden.

Um eine Echtzeit-Auswertung bei gleichzeitig geringer, notwendiger Rechenkapazität im Fahrzeug 2 zu ermöglichen, wird der Kalibrierungsvorgang 101.1 vorzugsweise durch den Server 5 und das Auswerten 103 der Sensordaten 200, das Überwachen 104 des Auswerteverhaltens und das Bewerten 105 der Sensordaten 200 durch das Fahrzeug 2 ausgeführt. Dazu können der Server 5 und das Fahrzeug 2 jeweils Rechenmodule der Recheneinheit 3 umfassen.

In Abhängigkeit von dem Bewerten 105 der Sensordaten 200 erfolgt ein Durchführen einer Reaktionsmaßnahme 106, wie z. B. ein automatisches Auslösen eines Fahrmanövers des Fahrzeuges 2 durch ein Fahrassistenzsystem 6. Beispielsweise kann das Fahrzeug 2 abgebremst werden, wenn die Sensorstörung vorliegt, um eine Beeinträchtigung des Fahrzeuges 2 durch eine Fehlinterpretation der Sensordaten 200 zu vermeiden. Ferner kann vorgesehen sein, dass die Reaktionsmaßnahme 106 einen Validierungsvorgang 106.1 zum Validieren der Bewertung und/oder der Auswertung der Sensordaten 200 umfasst. Wie in Figur 3 dargestellt, kann der Validierungsvorgang 106.1 ein Einspeisen der Sensordaten 200 in ein weiteres, künstliches neuronales Netz 10.1 umfassen. Das weitere künstliche, neuronale Netz 10.1 kann dabei speziell zum Erkennen des Ereignisses beim Auswerten 103 von Sensordaten 200 der Störungsklassifikation 213 trainiert sein. Zusätzlich oder alternativ kann der Validierungsvorgang 106.1 ein Einspeisen der Sensordaten 200 in mehrere, weitere, trainierte künstliche neuronale Netze 10.2 umfassen. Durch die weiteren, trainierten künstlichen neuronalen Netze 10.2 wird dabei ein Konsolidierungsvorgang ausgeführt, um eine Gesamtbewertung der Sensordaten 200 hinsichtlich des Ereignisses und/oder hinsichtlich der Sensorstörung zu erhalten.

Durch das Überwachen 104 des Auswerteverhaltens kann somit das neuronale Netz 10 selbst zur Erkennung der Sensorstörung analysiert werden. Dadurch kann ein Fehlverhalten des neuronalen Netzes 10 erkannt und/oder vorhergesagt werden, um Fehlinterpretationen der Sensordaten 200 zu vermeiden. Dadurch kann folglich die Sicherheit des Fahrzeuges 2, insbesondere in einem zumindest teilweise automatisierten oder autonomen Fahrmodus, verbessert werden, insbesondere ohne, dass eine hohe Rechenkapazität im Fahrzeug 2 erforderlich ist.

Bezugszeichenliste System Fahrzeug Recheneinheit Sensoreinheit Server Fahrassistenzsystem trainiertes, künstliches neuronales Netz trainiertes, künstliches neuronales Netz trainiertes, künstliches neuronales Netz Netzelementen Schlüsselelementen Verfahren Identifizieren Kalibrierungsvorgang Bereitstellen Auswerten Überwachen Bewerten Reaktionsmaßnahme Validierungsvorgang Sensordaten störungsbehaftete Referenzdaten störungsfreie Referenzdaten Referenzparameter Zwischenauswertungen Gesamtauswertung Grenzwert Störungsklassifikation