Die Erfindung betrifft ein Trainingsverfahren zum Trainieren eines künstlichen maschinellen Lernsystems zur Erkennung von Fehlfunktionen eines Sensors während des Betriebs eines Fahrzeugs mit mehreren Sensoren.

Es ist bekannt, insbesondere autonom betriebene Fahrzeuge während des operativen Betriebs kontinuierlich zu überwachen. Dies hat im Wesentlichen zwei Gründe: Einerseits können sich während des Betriebs die örtlichen Betriebs- und Umweltbedingungen schleichend verändern, was zu bislang unbekannten sicherheitsrelevanten Fehlwirkungen führen kann.

Andererseits ist es technisch ausgeschlossen eine 100%ige Konfidenz hinsichtlich der Robustheit der Fahrzeugvorrichtung gegen unbekannte, sicherheitskritische Fehler nachzuweisen. Dazu müsste der Testumfang jedoch unendlich groß sein, was praktisch ausgeschlossen ist.

Dies bedeutet aber gleichzeitig, dass ein Fahrzeug mit einer Fahrzeugvorrichtung in den operativen Betrieb überführt werden muss, welches definitionsgemäß mit Restrisiken behaftet ist und daher kontinuierlich überwacht werden müssen. Aufgrund des technischen Aufwands und den damit verbundenen Kosten ist es jedoch praktisch unmöglich, weiterhin alle relevanten Daten in den autonom betriebenen Fahrzeugen kontinuierlich aufzuzeichnen und auszuwerten.

Hieraus erwächst die Notwendigkeit der fortgeführten Beobachtung während des operativen Einsatzes um etwaige bislang nicht entdeckte systembedingte Schwachstellen oder Designlücken geeignet zu identifizieren und zu beheben.

Es ist daher eine Aufgabe der Erfindung, Mittel anzugeben, welche vorhandene Schwachstellen und Fehlfunktionen insbesondere in einem autonom fahrenden Fahrzeug entdecken. Die Aufgabe wird gelöst durch ein Trainingsverfahren zum Trainieren eines künstlichen maschinellen Lernsystems zur Erkennung von Fehlfunktionen eines Sensors mit den Merkmalen des Anspruchs 1 sowie eine Fahrzeugvorrichtung mit den Merkmalen des Anspruchs 8.

In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.

Die Aufgabe wird gelöst durch ein Trainingsverfahren zum Trainieren eines künstlichen maschinellen Lernsystems zur Erkennung von Fehlfunktionen eines Sensors während des Betriebs eines Fahrzeugs mit mehreren Sensoren umfassend der Schritte:

- Bereitstellen von bekannten Objekten als zusammenhängende Objektattribute sowie deren zeitliches Objektverhalten als Trainingsdaten,

- Bereitstellen zumindest eines künstlichen maschinellen Lernsystems,

- Trainieren des künstlichen maschinellen Lernsystems für jeden der Sensoren kontinuierlich anhand der bekannten Objekte mit dem jeweiligen, zu dem Objekten gehörenden zeitlichen Objektverhalten, so dass das künstliche maschinelle Lernsystem für jeden der Sensoren ein individuelles sensorbezogenes Muster des zeitlichen Objektverhaltens der einzelnen Objekte als auch der unkritischen Abweichungen der einzelnen Objekte erlernt.

Unter einem Objekt kann jedes zusammenhängende Set von Attributen bzw. Eigenschaften der zeitlichen Verläufe verstanden werden. Objekte können beispielsweise Fahrzeuge, Fußgänger, Spuren oder Verkehrszeichen sein. Beispielsweise kann hierunter auch die Beschreibung kontinuierlicher, stationärer Strukturen / bzw. der statische Freiraum verstanden werden. Die zeitlichen Verläufe der Objekte können beispielsweise als Bahn bzw. Track des Objektes bezeichnet werden. Ein solcher zeitlicher Verlauf setzt sich beispielsweise aus der Objektposition, sowohl longitudinal als auch lateral, und der Objektgeschwindigkeit zusammen.

Objekte werden somit durch ihre Objektattribute angegeben, welche von einem künstlichen maschinellen Lernsystem verwertbar sind (beispielsweise die erkannte Länge, Form). Objektparameter sind beispielsweise die Geschwindigkeit, oder Ausrichtung.

Erfindungsgemäß wurde erkannt, dass kritische sensorische Fehlwirkungen sich häufig zunächst gar nicht in kritischen verkehrlichen Szenarien niederschlagen. Werden daher lediglich reale verkehrliche Szenarien betrachtet, so werden sensorische Fehler häufig übersehen, die häufig zunächst nur ein latentes Sicherheitsrisiko darstellen, sich auf Dauer aber mit großer Sicherheit in einen Unfall niederschlagen. Weiter wurde erkannt, dass die kritischen sensorischen Fehlerkennungen sporadisch auftreten. Als Ursachen sind hauptsächlich sensorspezifische Messmehrdeutigkeiten und unerwartete Sensorartefakte. Zusätzlich wurde erkannt, dass filterbasierte Trackingansätze das Auftreten unvorhersehbarer, sporadisch auftretender Fehlwirkungen erhöhen. Selbst kleinste Veränderungen der von den Sensoren interpretierten Umfeldbedingungen lassen Sensorartefakte auftreten, die von der nachgelagerten Verarbeitung nicht abgedeckt sind und so zu sicherheitskritischen Fehlerkennungen führen.

Dieses Problem wird mit dem erfindungsgemäßen Trainingsverfahren als auch der Fahrzeugvorrichtung mit dem erfindungsgemäßen Trainingsverfahren nun gelöst. Erfindungsgemäß wird ein Trainingsverfahren zum Trainieren eines künstlichen maschinellen Lernsystems zur Erkennung von Fehlfunktionen eines Sensors während des Betriebs eines Fahrzeugs mit mehreren Sensoren angegeben.

Dieses künstliche maschinelle Lernsystem erlernt kontinuierlich das zeitliche Objektverhalten der einzelnen Sensoren. Hierzu wird in einer Trainingsphase das künstliche maschinelle Lernsystem mit ausgesuchten Objekten bzw. deren Objektattributen der einzelnen Sensoren stimuliert und so das natürliche Objektverhalten einschließlich aller kontinuierlichen und diskontinuierlichen Abweichungen trainiert.

Ferner können für das Training des künstlichen maschinellen Lernsystems die gleichen Daten herangezogen werden wie für den initialen Robustheitsnachweis vor Betriebsstart so dass gesichert ist, dass das zeitliche Objektverhalten, mit denen das künstliche maschinelle Lernsystem trainiert wird, nicht sicherheitskritisch ist. Dadurch kann ein stabiles künstliches maschinelles Lernsystem erzeugt werden, mit dem unbekanntes zeitliches Objektverhalten in Bezug auf eine sensorisch relevante Situation erkannt werden kann.

Während der Trainingsphase wird erfindungsgemäß das künstliche maschinelle Lernsystem für jeden Sensor mit dem jeweiligen Objekt und dessen zeitlichen Verhalten trainiert. Für jeden Sensor entsteht so ein zeitliches Muster der ausgesuchten Objekte bzw. der Objektattribute.

Durch das so antrainierte künstliche maschinelle Lernsystem wird quasi das Meßrauschen, das jedem Sensor zugrunde liegt, mittrainiert, so dass diese Abweichungen nicht mehr als kritische Abweichungen erkannt werden. Dabei ist das Meßrauschen umso stärker je weiter die Entfernung zum Objekt ist. Ferner werden durch das so trainierte künstliche maschinelle Lernsystem Eigenschaften der jeweiligen Sensoren, wie die limitierte Auflösung der einzelnen Sensoren, berücksichtigt. Auch die durch die Sensoren bedingte in jedem einzelnen Verarbeitungsschritt bei den einzelnen Objektattributen zwangsläufig entweder kontinuierliche und/oder sporadische auftauchende Fehler können durch ein so trainiertes künstliches maschinelles Lernsystem berücksichtigt werden.

Erfindungsgemäß wird durch ein solches trainiertes künstliches maschinelles Lernsystem insbesondere das natürliche, aber unkritische Fehlverhalten der einzelnen Objekte und deren Objektattribute und zeitlichen Verläufe über der Zeit modelliert. Durch das so antrainierte maschinelle Lernsystem können echte Abweichungen in dem zeitlichen Objektverhalten sowie beim Objekt selber gezielt erkannt werden, ohne dass die Gefahr besteht, dass tatsächlich sicherheitskritische Sensorevents in der Masse von systembedingten (Messrauschen) Abweichungen übersehen werden. Ferner können als Trainingsdaten zudem die unkritischen Abweichungen des zeitlichen Objektverhaltens eines Objektes bereitgestellt werden.

Dabei können diese Abweichungen beispielsweise selbst durch das künstliche maschinelle Lernsystem erkannt werden, wenn beispielsweise eine durch das künstliche maschinelle Lernsystem erkannte Abweichung in einem manuellen Bewertungsprozess als unkritisch eingestuft wurde. Somit werden als Trainingsdaten Objekte beispielsweise Objektattribute mit Abweichung herangezogen und so die „natürlich“ auftretenden Abweichungen trainiert. Dadurch erlernt das künstliche maschinelle Lernsystem beispielsweise auch ein kontinuierlich abweichendes Objektverhalten bei einzelnen Sensoren.

Durch ein solches antrainiertes maschinelles Lernsystem können sensorische Fehlwirkungen schnell erkannt werden, ohne dass der Parameterraum die derartige Fehlwirkungen beschreiben bekannt ist. Ferner können die wirklich relevanten Fehlwirkungen ohne eine Vielzahl von falsch-positiven Ergebnissen gezielter erkannt werden.

Ferner kann das zumindest eine künstliche maschinelle Lernsystem, für jeden Sensor individuell angelernt werden.

In bevorzugter Ausgestaltung wird für jeden Sensor ein jeweiliges separates künstliches maschinelles Lernsystem bereitgestellt, und für jeden Sensor das separate künstliche maschinelle Lernsystem antrainiert, wobei jedes individuelle künstliche maschinelle Lernsystem anhand von bekannten Objekten und dem jeweiligen Objektverhalten kontinuierlich trainiert wird, um ein Muster des zeitlichen Objektverhaltens als auch der unkritischen Abweichungen der einzelnen Objekte anzulernen. Es entsteht dadurch vorteilhafterweise ein Modell, dass die Diskrepanzmuster der einzelnen Sensoren ganzheitlich abbildet.

Ferner können als Trainingsdaten zudem die unkritischen Abweichungen vom zeitlichen Objektverhalten eines Objektes verwendet werden. Dadurch erlernt jedes künstliche maschinelle Lernsystem beispielsweise auch ein kontinuierlich abweichendes Objektverhalten bei einzelnen Sensoren.

In weiterer Ausgestaltung werden für zumindest zwei auf unterschiedlichen Messprinzipien beruhende Sensoren zwei künstliche maschinelle Lernsysteme unterschiedlicher Art verwendet. Diese können auf die jeweiligen Sensoren wie beispielsweise optischer Sensor (Kamera) oder Radarsensor / Lidarsensor abgestimmt werden. So können beispielsweise als künstliche maschinelle Lernsysteme künstliche neuronale Netze mit verschiedenen hidden layers , unterschiedliche Arten von künstlichen neuronalen Netzen oder aber für die optischen Sensoren Generative Adversarial Networks (GAN) oder Convolutional Neural Networks (CNN) verwendet werden.

Dadurch kann auf die speziellen Sensorsignale, welche die unterschiedlichen Sensoren liefern besonders gut eingegangen werden.

In weiterer Ausgestaltung werden mehrere künstliche maschinelle Lernsysteme bereitgestellt, wobei jeweils ein künstliches maschinelles Lernsystem mit der unkritischen Abweichung von einzelnen vorhandenen Objektparametern trainiert wird, um ein Muster des zeitlichen Objektverhaltens als auch der unkritischen Abweichungen der einzelnen Objekte zu erlernen.

Ferner können mehrere künstliche maschinelle Lernsysteme bereitgestellt werden, wobei jeweils ein künstliches maschinelles Lernsystem mit einzelnen Objektattributen trainiert wird, um ein Muster des zeitlichen Objektverhaltens als auch der unkritischen Abweichungen der einzelnen Objekte zu erlernen.

Dies bedeutet, dass alle künstlichen maschinellen Lernsysteme für alle Sensoren bereitgestellt werden. Somit ist jeweils ein Sensor an mehrere künstliche maschinelle Lernsysteme gekoppelt. Als Trainingsdaten für jeweils ein künstliches maschinelles Lernsystem wird jeweils eine Abweichung von einem Objektparameter, wie beispielsweise die Abweichung von der Geschwindigkeit für alle Objekte herangezogen, um das abweichende Objektverhalten der einzelnen Sensoren zu erlernen. Ferner können auch einzelne Objektattribute als Trainingsdaten herangezogen werden. Dies bedeutet, dass jeweils zwei künstliche maschinelle Lernsysteme unterschiedliche Objektparameter oder Objektattribute zum Training erhalten.

Ferner wird die Aufgabe gelöst durch eine Fahrzeugvorrichtung zur Erkennung von Fehlfunktionen eines Sensors während des Betriebs eines Fahrzeugs, umfassend mehrere Sensoren zur Aufnahme von Objekten des Umfelds und deren zeitlicher Objektverlauf als jeweilige Eingangsdaten, sowie einer Prozessoreinheit aufweisend zumindest ein wie oben beschriebenes trainiertes künstliches maschinelles Lernsystem, wobei die Prozessoreinheit dazu ausgebildet ist, das zumindest eine trainierte künstliche maschinelle Lernsystem zumindest auf die Eingangsdaten anzuwenden, und wobei die Prozessoreinheit ferner dazu ausgebildet ist, ein Überprüfen auf Vorliegen einer unbekannten Abweichung eines zeitlichen Objektverhaltens eines von den Sensoren erkannten Objektes in den Umfelddaten während des Betriebes des Fahrzeugs anhand des trainierten künstlichen maschinellen Lernsystems für jeden der Sensoren zu bewerkstelligen.

Das Fahrzeug ist insbesondere als ein autonom fahrendes Fahrzeug ausgebildet. Insbesondere ist das Fahrzeug Teil einer autonom fahrenden Flotte.

Ferner ist die Fahrzeugvorrichtung dazu ausgebildet, ein Triggersignal bei Erkennung einer nicht bekannten Abweichung bei einem der Sensoren zu generieren. Das trainierte künstliche maschinelle Lernsystem wird während der operativen Phase in dem Fahrzeug mit ausgewählten Objekten der einzelnen Sensoren stimuliert. Wenn das beobachtete zeitliche Muster der Objekte von dem Gelernten abweicht, wird ein Triggersignal ausgelöst. Als Triggersignal für potenziell sicherheitskritische Sensorszenarien werden während der operativen Betriebsphase somit nur die zeitlichen Objektmuster herangezogen, die nicht auf das antrainierte Muster passen. Durch die so ausgebildete Fahrzeugvorrichtung können nun effizient potenziell kritische Sensorfehler erkannt werden.

Zusätzlich oder alternativ ist die Fahrzeugvorrichtung dazu ausgebildet, das zeitliche erkannte Objektverhalten der verschiedenen Sensoren zu vergleichen und ein Triggersignal bei Erkennen von dauerhaften inkonsistenten zeitlichen Objektverhalten von zumindest einem der Sensoren zu generieren. Dies bedeutet, dass alternativ o- der zusätzlich anstatt des Abbildens des Objektverhaltens der einzelnen Sensoren auch inkonsistentes Verhalten der Objekte bei unterschiedlichen Sensoren als Trigger für potenziell sicherheitskritische Sensorszenarien herangezogen werden können.

Ferner kann ein Speicher vorgesehen sein, wobei die Fahrzeugvorrichtung dazu ausgebildet ist, bei Vorhandensein einer nicht bekannten Abweichung die zugehörigen, zu der nicht bekannten Abweichung führenden, Objekte und deren zeitlichen Objektverlauf in den Speicher zu speichern. Dies bedeutet, dass bei einem Auslösen eines Signaltriggers, die für eine sensorbezogene Analyse des Szenarios erforderlichen Daten daraufhin beispielsweise aus einem in dem Fahrzeug vorhandenen Ringpuffer geladen und persistent auf einem mitgeführten Speicher im Fahrzeug abgelegt werden. Dadurch stehen diese Daten für weitere Analysen zur Verfügung, mit denen das trainierte künstliche maschinelle Lernsystem weiter trainiert werden kann.

In weiterer Ausgestaltung ist eine Sendeeinrichtung vorhanden, welche zur Übermittlung der zugehörigen, zu der nicht bekannten Abweichung führenden, Objekte und deren zeitlichen Objektverlauf ausgebildet ist. Somit können die Daten beispielsweise einfach an eine externe Analyseeinheit gesendet werden, welche beispielsweise mehr Rechenkapazität zur Verfügung hat. Dadurch kann eine genauere Untersuchung stattfinden.

In weiterer Ausbildung ist die Fahrzeugvorrichtung dazu ausgebildet, die durch die Sensoren erzeugten kontinuierlichen Sensorsignale kontinuierlich dem trainierten künstlichen maschinellen Lernsystem zuzuführen. Dies bedeutet, dass während des gesamten Betriebes des Fahrzeugs die Sensordaten dem künstlichen maschinellen Lernsystem zugeführt werden. Dadurch können Sensorfehler schnell erkannt werden.

In weiterer Ausgestaltung ist die Fahrzeugvorrichtung dazu ausgebildet, bei Erkennen einer nicht bekannten Abweichung eines Objektes und dessen zeitlichen Objektverlaufs das Objekt als auch dessen Objektverlauf in eine kritische Abweichung und eine unkritische Abweichung einzuteilen, und das Objekt und dessen zeitlichen Ob- jektverlauf bei einer unkritischen Abweichung als weitere Trainingsdaten für das trainierte künstliche maschinelle Lernsystem zur Verfügung zu stellen.

Die durch Triggersignale erhaltene Daten werden beispielsweise analysiert. Handelt es sich um ein nicht sicherheitskritisches Objekt/ Objektverläufe, kann somit das künstliche maschinelle Lernsystem um das Objektmuster erweitert und auf der Prozessoreinheit installiert werden, welches den Trigger im Fahrzeug ausgelöst hat. Dadurch wird die Anzahl der Falsch-Positiv-Ergebnisse über der Zeit weiter reduziert. Weitere Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:

FIG 1 : ein erfindungsgemäßes Trainingsverfahren zum Trainieren eines künstlichen maschinellen Lernsystems zur Erkennung von Fehlfunktionen in einer ersten Ausgestaltung, und

FIG 2: ein erfindungsgemäßes Trainingsverfahren zum Trainieren eines künstlichen maschinellen Lernsystems zur Erkennung von Fehlfunktionen in einer zweiten Ausgestaltung, und

FIG 3: ein erfindungsgemäßes Trainingsverfahren zum Trainieren eines künstlichen maschinellen Lernsystems zur Erkennung von Fehlfunktionen in einer dritten Ausgestaltung, und

FIG 4: eine erfindungsgemäße Fahrzeugvorrichtung,

FIG 5: das Trainingsverfahren und die Fahrzeugvorrichtung in einer Übersicht.

FIG 1 zeigt ein erfindungsgemäßes Trainingsverfahren zum Trainieren eines künstlichen maschinellen Lernsystems zur Erkennung von Fehlfunktionen eines Sensors 2a 2n (FIG 4).

Dabei werden in einem nicht zum Trainingsverfahren gehörenden Vorschritt SO Daten bereitgestellt, durch welche die Robustheit der Fahrzeugvorrichtung 1 (FIG 4) bezogen auf den operativen Betrieb quantitativ nachgewiesen wird. Diese Daten werden beispielsweise durch Simulation oder Aufnahmen eines Realverkehrs erzeugt. Unter einem Objekt kann jedes zusammenhängende Set von Attributen bzw. Eigenschaften der Verläufe verstanden werden. Objekte können Fahrzeuge, Fußgänger, Spuren oder Verkehrszeichen sein. Beispielsweise kann hierunter auch die Beschreibung kontinuierlicher, stationärer Strukturen / bzw. der statische Freiraum verstanden werden. Die zeitlichen Verläufe der Objekte können beispielsweise die Bahn bzw. Track des Objektes sein. Ein solcher zeitlicher Verlauf setzt sich beispielsweise aus der Objektposition, sowohl longitudinal als auch lateral, und der Objektgeschwindigkeit zusammen.

Objekte werden somit durch ihre Objektattribute angegeben, welche von einem künstlichen maschinellen Lernsystem verwertbar sind (beispielsweise die erkannte Länge, Form). Objektparameter sind beispielsweise die Geschwindigkeit, oder Ausrichtung.

In einem Schritt S1 wird ein künstliches maschinelles Lernsystem, hier ein künstliches neuronales Netz bereitgestellt, welches zur Erkennung von Fehlfunktionen eines Sensors 2a,..., 2n (FIG 4) während des Betriebs eines Fahrzeugs 1 (FIG 4) mit mehreren Sensoren 2a,..., 2n (FIG 4) antrainiert werden soll.

Dazu werden in dem ersten Schritt S1 bekannte Objekte als zusammenhängende Objektattribute sowie deren zeitliches Objektverhalten als Trainingsdaten bereitgestellt. Dazu können vorzugsweise dieselben Daten verwendet werden, welche für die Robustheitsprüfung herangezogen werden.

Das Training des künstlichen neuronalen Netzes basiert somit auf den Daten, die vor der operativen Phase sowieso gesammelt werden müssen, um die initiale Robustheit des Systems nachzuweisen. Es sind also keine zusätzlichen Daten erforderlich.

In einem Schritt S2 wird auf Grundlage der für die Robustheitsprüfung gesammelten Daten das zeitliche Objektverhalten der einzelnen Sensoren 2a,.., 2n (FIG 4) kontinuierlich gelernt. Hierzu wird in einer Lernphase die Eingangsschicht des einen künstlichen neuronalen Netzes mit den erfassten unkritischen Objekten der einzelnen Sensoren stimuliert und so das natürliche Objektverhalten einschließlich aller kontinuierlichen und diskontinuierlichen Abweichungen trainiert. Dadurch erlernt das eine künstliche neuronale Netz das zeitliche Objektverhalten der einzelnen Sensoren 2a,..,2n (FIG 4) auf Grundlage der für die Robustheitsprüfung gesammelten Daten. Dies bedeutet, dass in einer Lernphase die Eingangsschicht des einen künstlichen neuronalen Netzes mit den unkritischen Objekten, welche durch die einzelnen Sensoren 2a 2n (FIG 4) erfasst wurden, stimuliert und so das natürliche unkritische Objektverhalten einschließlich aller kontinuierlichen und diskontinuierlichen Abweichungen trainiert wird. Aufgrund der Tatsache, dass für das Training die gleichen Daten herangezogen werden wie für den initialen Robustheitsnachweis vor Betriebsstart kann sichergestellt werden, dass das zeitliche Objektverhalten, das in das gelernte Muster fällt, nicht sicherheitskritisch ist.

Zum Anlernen werden je Sensor 2a,..2n (FIG 4) daher geeignete Objekte ausgewählt, um damit das künstliche neuronale Netz kontinuierlich mit dem jeweiligen zeitlichen Verhalten anzutrainieren. Für jeden Sensor 2a,..2n (FIG 4) entsteht so ein zeitliches Muster der ausgesuchten Objekte. Ferner werden für jeden Sensor 2a .2n

(FIG 4) die typischen systembedingten auftretenden kontinuierlichen und/oder sporadischen Fehler bei jedem einzelnen Verarbeitungsschritt eines einzelnen Objektes zwangsläufig als unkritisches Muster mittrainiert. Diese Fehler in den Sensoren 2a,..2n (FIG 4) treten zwangsläufig alleine schon wegen des Meßrauschens auf, das sich mit zunehmender Entfernung genauso verstärkt auswirkt, wie die limitierte Auflösung der einzelnen Sensoren 2a,..., 2n (FIG 4). Aufgrund des Messrauschens ist ein über die Verarbeitungszyklen hinweg völlig konsistentes Verhalten aller durch die Sensoren 2a,..,2n (FIG 4) erfassten Objekte also somit ausgeschlossen. Dies kann durch das künstliche neuronale Netz aufgefangen werden.

Durch das Training des künstlichen neuronalen Netzes wird insbesondere das natürliche aber unkritische Fehlverhalten der durch die Sensoren 2a,.. ,2n (FIG 4) erfassten einzelnen Objekte über der Zeit modelliert.

Ferner können auch als Trainingsdaten zudem die unkritischen Abweichungen vom zeitlichen Objektverhalten eines Objektes verwendet werden, so dass das künstliche neuronale Netz für jeden der Sensoren 2a,...,2n ein individuelles sensorbezogenes Muster des zeitlichen Objektverhaltens als auch der unkritischen Abweichungen der einzelnen Objekte erlernt.

Dadurch können weitere falsch-positive Ergebnisse ausgeschlossen werden. FIG 2 zeigt eine weitere Ausgestaltung eines erfindungsgemäßen Trainingsverfahrens.

Dabei werden wie in FIG 1 in einem nicht zum Trainingsverfahren gehörenden Vorschritt AO, welcher identisch zu dem Schritt SO (FIG 1 ) ist, Daten bereitgestellt, durch welche die Robustheit der Fahrzeugvorrichtung 1 bezogen auf den operativen Betrieb quantitativ nachgewiesen wird. Diese Daten werden beispielsweise durch Simulation oder Aufnahme eines Realverkehrs erzeugt.

In einem Schritt A1 wird für jeden der Sensoren 2a, . ,2n (FIG 4) ein künstliches maschinelles Lernsystem hier ein künstliches neuronales Netz bereitgestellt, welche zur Erkennung von Fehlfunktionen des jeweiligen Sensors 2a,..2n (FIG 4) während des Betriebs eines Fahrzeugs 1 antrainiert werden sollen.

In einem Schritt A2 wird auf Grundlage der für die Robustheitsprüfung gesammelten Daten das zeitliche Objektverhalten der einzelnen Sensoren 2a,.., 2n kontinuierlich gelernt. Hierzu wird in einer Lernphase die Eingangsschicht aller künstlichen neuronalen Netze mit den Objekten des jeweiligen zu dem Netz gehörenden einzelnen Sensoren 2a,..2n (FIG 4) stimuliert und so das natürliche Objektverhalten einschließlich aller kontinuierlichen und diskontinuierlichen Abweichungen trainiert.

Dabei können für zumindest zwei auf unterschiedlichen Messprinzipien beruhenden Sensoren 2a 2n (FIG 4), wie Bildsensoren oder Lidarsensoren oder Radarsensoren zwei künstliche neuronale Netze unterschiedlicher Art verwendet werden.

So kann für optische Sensoren beispielsweise ein Generative Adversarial Networks (GAN) oder Convolutional Neural Networks (CNN) verwendet werden. Für Radar- o- der Lidarsignale können beispielsweise rekurrente bzw. tiefe vorwärtsgerichtete neuronale Netze verwendet werden.

Dadurch kann auf die Besonderheiten der Sensorsignale der unterschiedlichen Sensorarten besser eingegangen werden. Ferner können auch als Trainingsdaten zudem die unkritischen Abweichungen vom zeitlichen Objektverhalten eines Objektes verwendet werden, so dass jedes der künstlichen neuronalen Netze ein individuelles sensorbezogenes Muster des zeitlichen Objektverhaltens als auch der unkritischen Abweichungen der einzelnen Objekte erlernt.

FIG 3 zeigt eine weitere Ausgestaltung eines erfindungsgemäßen Trainingssystems. Dabei werden, wie in FIG 1 in einem nicht zum Trainingsverfahren gehörenden Vorschrift CO, welcher identisch zum Schritt SO ist, Daten bereitgestellt, durch welche die Robustheit der Fahrzeugvorrichtung 1 bezogen auf den operativen Betrieb quantitativ nachgewiesen wird. Diese Daten werden beispielsweise durch Simulation oder Aufnahme eines Realverkehrs erzeugt.

Aus den so bereitgestellten Objektdaten sind die einzelnen Objektattribute bekannt. In einem Schritt C1 werden mehrere künstliche neuronale Netze bereitgestellt, welche zur Erkennung von Fehlfunktionen des jeweiligen Sensors 2a,..2n (FIG 4) während des Betriebs eines Fahrzeugs 3 antrainiert werden sollen.

In einem Schritt C2 wird auf Grundlage der für die Robustheitsprüfung gesammelten Daten das zeitliche Objektverhalten der einzelnen Sensoren 2a,.., 2n (FIG 4) kontinuierlich gelernt. Hierzu werden in einer Lernphase die Eingangsschicht jeweils eines künstlichen neuronalen Netzes mit einem einzelnen ausgesuchten Objektattribut, welches durch die einzelnen Sensoren 2a,..., 2n (FIG 4) erfasst worden ist, stimuliert und so das natürliche Objektverhalten einschließlich aller kontinuierlichen und diskontinuierlichen Abweichungen trainiert.

Dies bedeutet, dass mehrere neuronale Netze vorhanden sind, um die Abweichung von ausgesuchten Objektattributen für jeden Sensor 2a,.., 2n (FIG 4) zu erlernen. Dadurch wird für jeden Sensor 2a,.., 2n (FIG 4) das natürliche Objektverhalten in Bezug auf das eine Objektattribut anhand eines neuronalen Netzes erlernt. FIG 4 zeigt ein Fahrzeug 3 mit einer erfindungsgemäßen Fahrzeugvorrichtung 1 zur

Erkennung von Fehlfunktionen eines Sensors 2a,..., 2n während des Betriebs des

Fahrzeugs 3 mit einem solchen trainierten neuronalen Netz.

Das oder die so trainierten neuronalen Netze werden während des operativen Betriebs des Fahrzeugs 3 dauerhaft mit dabei aufgenommenen Objekten stimuliert. Wenn das beobachtete zeitliche Diskrepanzmuster der Sensoren 2a,...2n von dem Gelernten abweicht, wird ein Triggersignal 8 (FIG 5) ausgelöst.

Ferner kann die Fahrzeugvorrichtung 1 dazu ausgebildet sein, das zeitliche erkannte Objektverhalten der Sensoren 2a,...2n untereinander zu vergleichen und ein Triggersignal 8 (FIG 5) bei Erkennen von dauerhaften inkonsistenten zeitlichen Objektverhalten von zumindest einem der Sensoren 2a, ...2n zu generieren.

Wird ein Triggersignal 8 (FIG 5) ausgelöst, so werden die für eine sensorbezogene Analyse des Szenarios erforderlichen Daten persistent auf einem mitgeführten Speicher 4 im Fahrzeug 3 abgelegt . Das heißt, dass fehlerhafte Objektverhalten führt dazu, dass alle für eine weitere Analyse erforderlichen Informationen, das heißt die Objekte /Objektattribute und andere Umfelddaten in einem Speicher 4 statisch gespeichert werden.

Anschließend werden diese Daten analysiert und als unkritisches oder kritisches Szenario bewertet.

Wird ein Szenario als unkritisch bewertet (falsch-positiv), so wird das betreffende neuronale Netz für den Sensor mit diesem Muster antrainiert um weitere unnötige Triggersignale 8 zu vermeiden. Dadurch wird das künstliche neuronale Netz fortlaufend weiter trainiert.

D.h. handelt es sich um ein nicht sicherheitskritisches Ereignis wird das Training des oder der neuronalen Netze um das Objektmuster erweitert, welches das Triggersignal 8 im Fahrzeug 3 ausgelöst hat. Dadurch wird die Anzahl der „Falsch-Positiv-Er- gebnisse" über der Zeit weiter reduziert. FIG 5 zeigt das Trainingsverfahren und die Fahrzeugvorrichtung 1 in einer Übersicht.

Dazu wird zum quantitativen Nachweis der Robustheit der Umfelderkennung gegen unbekannte Fehlwirkungen (SOTIF Area 3) die Fahrzeugvorrichtung 1 zunächst mit Rohsensordaten 6 stimuliert, die zuvor in einem Dauerlauf mit statistisch signifikantem Umfang aufgezeichnet wurden.

Aus diesen Rohsensordaten 6 sind die Objekte/Objektattribute sowie deren zeitlicher Objektverlauf als auch die Objektparameter bekannt und können für das Anlernen eines maschinellen Lernsystems 7 oder der mehreren maschinellen Lernsysteme 7 herangezogen werden. Aufgrund der Tatsache, dass für das Training der oder des maschinellen Lernsystems 7 die gleichen Daten herangezogen werden wie für den initialen Robustheitsnachweis vor Betriebsstart, wird angenommen, dass das zeitliche Objektverhalten nicht sicherheitskritisch ist.

Auf Grundlage der für die Robustheitsprüfung gesammelten Objekte/ Objektattribute wird das zeitliche Objektverhalten der einzelnen Sensoren 2a,.., 2n der Fahrzeugvorrichtung 1 kontinuierlich gelernt. Hierzu wird in einer Lernphase das oder die maschinellen Lernsysteme 7 mit Objekten, welche durch die einzelnen Sensoren 2a,..,2n erzeugt wurden, stimuliert und so das natürliche Objektverhalten einschließlich aller kontinuierlichen und diskontinuierlichen Abweichungen trainiert. Durch das Training der oder des maschinellen Lernsystems 7 wird somit das natürliche, aber unkritische Fehlverhalten der einzelnen Objekte über der zeit modelliert.

Da in der initialen Robustheitsprüfung keine sicherheitskritischen Fehlwirkungen aufgetreten sind, sind die modellierten zeitlichen Inkonsistenzen der einzelnen Objekte daher ebenfalls nicht sicherheitskritisch, so dass ein sicheres gezieltes Training möglich ist.

Der oder die trainierten maschinellen Lernsysteme 7 werden während der operativen Phase in dem Fahrzeug 3 mit den ausgewählten Objekten der einzelnen Sensoren 2a,.., 2n in der Fahrzeugvorrichtung 1 stimuliert. Wenn das beobachtete zeitliche Muster der Objekte von dem Gelernten abweicht, wird ein Triggersignal 8 ausgelöst. Daraufhin werden die Daten (Objekte/Objektattribute/Umfelddaten) welche für das Auslösen des Triggersignals 8 Ursache waren, für eine sensorbezogene Analyse auf einem mitgeführten Speicher 4 gespeichert.

Diese Daten werden nun analysiert. Handelt es sich um ein nicht sicherheitskritisches Ereignis wird das Training des oder der trainierten maschinellen Lernsysteme 7 um das Objektmuster erweitert, welches das Triggersignal 8 in der Fahrzeugvorrichtung 1 ausgelöst hat. Dadurch wird die Anzahl der Falsch-Positiv-Kandidaten über der Zeit weiter reduziert.

Anschließend kann ein Update 5 des oder der trainierten maschinellen Lernsysteme 7 in der Fahrzeugvorrichtung 1 vorgenommen werden .

Bezuqszeichen

1 Fahrzeugvorrichtung

2a . 2n Sensor

3 Fahrzeug

4 Speicher

5 Update

6 Rohsensordaten

7 maschinelles Lernsystem

8 Triggersignal

S.A.C Schritte