Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD, APPARATUS AND COMPUTER PROGRAM FOR ENABLING A SENSOR SYSTEM FOR DETECTING OBJECTS IN AN ENVIRONMENT OF A VEHICLE
Document Type and Number:
WIPO Patent Application WO/2021/089787
Kind Code:
A1
Abstract:
The invention relates to a method for enabling a sensor system (10) for detecting objects in an environment of a vehicle (1), the method comprising the steps of: providing a common probability distribution for deviations (a) between output data from the sensor system (10) and reference data at the level of program sections for detecting objects of the sensor system (10), at the level of sensors (11) in the sensor system (10) and/or at the fusion level of the sensor system (10) (V1), sampling combinations of deviations and calculating probabilities of occurrence (p) for the sampled combinations of deviations by means of the common probability distribution (V2), applying the sampled combinations of deviations to the reference data, processing the reference data, to which said combinations of deviations have been applied, by means of a fusion unit (12) of the sensor system (10) and obtaining fusion results (V3), removing those probabilities of occurrence (p), the underlying combinations of deviations of which result in those fusion results which satisfy a predefined condition, from the common probability distribution and obtaining a residual probability distribution (V4), integrating the residual probability distribution and obtaining an absolute error probability (P) (V5), and enabling the sensor system (10) on the basis of the absolute error probability (P) (V6).

Inventors:
RUCHTI MARTIN (DE)
NÄGELE THOMAS (DE)
RINKENAUER STEFAN (DE)
KLIMKE JENS (DE)
MOERS TOBIAS (DE)
RAUDSZUS DOMINIK (DE)
WEBER HENDRIK (DE)
SCHOLTES MAIKE (DE)
ECKSTEIN LUTZ (DE)
Application Number:
PCT/EP2020/081301
Publication Date:
May 14, 2021
Filing Date:
November 06, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ZAHNRADFABRIK FRIEDRICHSHAFEN (DE)
International Classes:
G01S13/931; G01S7/40; G01S7/497; G01S17/931; G05B23/02
Foreign References:
DE102004052242A12005-06-30
Other References:
MELTZ DANIEL ET AL: "Functional Safety Verification for Autonomous UGVs-Methodology Presentation and Implementation on a Full-Scale System", IEEE TRANSACTIONS ON INTELLIGENT VEHICLES, IEEE, vol. 4, no. 3, 1 September 2019 (2019-09-01), pages 472 - 485, XP011742977, ISSN: 2379-8858, [retrieved on 20190826], DOI: 10.1109/TIV.2019.2919460
DUTTA RAJ GAUTAM ET AL: "Quantifying trust in autonomous system under uncertainties", 2016 29TH IEEE INTERNATIONAL SYSTEM-ON-CHIP CONFERENCE (SOCC), IEEE, 6 September 2016 (2016-09-06), pages 362 - 367, XP033086820, DOI: 10.1109/SOCC.2016.7905511
J. KAPINSKI: "Simulation-Based Approaches for Verification of Embedded Control Systems: An Overview of Traditional and Advanced Modeling, Testing, and Verification Techniques", IEEE CONTROL SYSTEMS, vol. 36, no. 6, 1 December 2016 (2016-12-01), USA, pages 45 - 64, XP055763632, ISSN: 1066-033X, DOI: 10.1109/MCS.2016.2602089
KALRA NIDHI ET AL: "Driving to safety: How many miles of driving would it take to demonstrate autonomous vehicle reliability?", TRANSPORTATION RESEARCH PART A: POLICY AND PRACTICE, vol. 94, 10 September 2016 (2016-09-10), pages 182 - 193, XP029815485, ISSN: 0965-8564, DOI: 10.1016/J.TRA.2016.09.010
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur Freigabe eines Sensorsystems (10) zur Erfassung von Objekten in einem Umfeld eines Fahrzeuges (1 ), das Verfahren umfassend die Schritte:

• Bereitstellen einer gemeinsamen Wahrscheinlichkeitsverteilung für Abwei chungen (a) zwischen Ausgangsdaten des Sensorsystems (10) und Refe renzdaten auf Ebene von Programmabschnitten zum Erfassen von Objekten des Sensorsystems (10), auf Ebene von Sensoren (11 ) des Sensorsystems (10) und/oder auf Fusionsebene des Sensorsystems (10) (V1 ),

• Abtasten von Abweichungskombinationen und Berechnen von Auftrittswahr scheinlichkeiten (p) für die abgetasteten Abweichungskombinationen mittels der gemeinsamen Wahrscheinlichkeitsverteilung (V2),

• Beaufschlagen der Referenzdaten mit den abgetasteten Abweichungskombi nationen, Prozessieren der beaufschlagten Referenzdaten mittels einer Fusi onseinheit (12) des Sensorsystems (10) und Erhalten von Fusionsergebnis sen (V3),

• Entfernen derjenigen Auftrittswahrscheinlichkeiten (p) aus der gemeinsamen Wahrscheinlichkeitsverteilung, aus deren zugrundeliegenden Abweichungs kombinationen solche Fusionsergebnisse resultieren, welche eine vorgege bene Bedingung erfüllen, und Erhalten einer Restwahrscheinlichkeitsvertei lung (V4),

• Integration der Restwahrscheinlichkeitsverteilung und Erhalten einer absolu ten Fehlerwahrscheinlichkeit (P) (V5) und

• Freigabe des Sensorsystems (10) in Abhängigkeit der absoluten Fehlerwahr scheinlichkeit (P) (V6).

2. Verfahren nach Anspruch 1, wobei die Abweichungen zwischen den Ausgangsda ten des Sensorsystems (10) und Referenzdaten Abweichungen von Distanzmessun gen, Wetter abhängige oder Fahrzeugzustand abhängige Abweichungen umfassen.

3. Verfahren nach Anspruch 1 oder 2, wobei für jeden Sensor (11 ) des Sensorsys tems (10) eine Wahrscheinlichkeitsverteilung für die Abweichungen dieses Sensors (11) bereitgestellt wird und die Abweichungskombinationen mittels der einzelnen Wahrscheinlichkeitsverteilungen der Sensoren (11 ) abgetastet werden.

4. Verfahren nach einem der Ansprüche 1 bis 3, wobei die gemeinsamen Wahr scheinlichkeitsverteilung als eine mehrdimensionale Normalverteilung für Abweichun gen der einzelnen Sensoren (11) des Sensorsystems (10) bereitgestellt wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, wobei die Ausgangsdaten des Sen sorsystems (10) und die Referenzdaten während Fahrten mit dem Fahrzeug (1 ) er halten werden, wobei die Referenzdaten von einem Referenzsensorsystem (20) auf genommene Referenzdaten und/oder mittels Sensormodellen erzeugte Referenzda ten umfassen.

6. Verfahren nach einem der Ansprüche 1 bis 5, wobei die beaufschlagten Referenz daten in Model in the Loop, Software in the Loop oder Hardware in the Loop Simula tionen oder mittels Ersatzmodellen prozessiert werden.

7. Verfahren nach einem der Ansprüche 1 bis 6, wobei die Fusionsergebnisse unter Verwendung einer Redundanz des Sensorsystems (10) erhalten werden.

8. Verfahren nach einem der Ansprüche 1 bis 7, wobei Abweichungen zwischen den Fusionsergebnissen und den Referenzdaten mit einer Grenzzustandsfunktion ausge wertet werden, um die Auftrittswahrscheinlichkeiten (p) aus der Wahrscheinlichkeits verteilung zu entfernen.

9. Verfahren nach einem der Ansprüche 1 bis 8, wobei eine Menge der Ausgangsda ten und der Referenzdaten inkrementeil vergrößert wird.

10. Vorrichtung zur Freigabe eines Sensorsystems (10) zur Erfassung von Objekten in einem Umfeld eines Fahrzeuges (1 ), umfassend wenigstens eine Prozessierein heit (30), die derart angepasst ist, dass sie die Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 ausführt.

11. Sensorsystem (10) zur Erfassung von Objekten in einem Umfeld eines Fahrzeu ges (1), umfassend mehrere Sensoren (11) einer Sensortechnologie oder je Sensor technologie wenigstens einen Sensor (11) und eine Vorrichtung nach Anspruch 10.

12. Computerprogramm zur Freigabe eines Sensorsystems (10) zur Erfassung von Objekten in einem Umfeld eines Fahrzeuges (1 ), umfassend Befehle, die bei der Ausführung des Computerprogramms durch eine Prozessiereinheit (30) diese veran lassen, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 auszuführen.

13. Fahrzeug (1) umfassend

wenigstens ein Sensorsystem (10) nach Anspruch 11, wenigstens ein Steuergerät und Aktuatoren, wobei das Sensorsystem (10), das Steuergerät und die Aktuatoren derart Signal übertragend verbunden sind, dass das Fahrzeug (1 ) wenigstens be dingt autonom fährt,

• eine Schnittstelle zu wenigstens einem Referenzsensorsystem (20), und

• eine Vorrichtung nach Anspruch 10, wobei während Fahrten des Fahrzeuges (1) eine absolute Fehlerwahrscheinlichkeit (P) nach den Schritten des Verfahrens nach einem der Ansprüche 1 bis 9 erhalten und diese in eine Fahrstrategie des Fahrzeu ges (1 ) rückgekoppelt wird.

Description:
Verfahren. Vorrichtung und Computerproqramm zur Freigabe eines Sensorsvstems zur Erfassung von Objekten in einem Umfeld eines Fahrzeuges

Die Erfindung betrifft ein Verfahren, eine Vorrichtung und ein Computerprogramm zur Freigabe eines Sensorsystems zur Erfassung von Objekten in einem Umfeld eines Fahrzeuges. Die Erfindung bezieht sich insbesondere auf die Freigabe bezüglich systematisch und statistisch auftretender SOTIF Risiken. SOTIF bedeutet safety of the intended functionality. Ferner betrifft die Erfindung ein Sensorsystem zur Erfas sung von Objekten in einem Umfeld eines Fahrzeuges.

Für den Übergang eines technischen Systems von der Entwicklungsphase in die Se rienproduktion ist die Freigabe dieses Systems notwendig. Die Freigabe erfolgt erst dann, wenn die zuvor definierten Anforderungen, insbesondere die Anforderungen an die Sicherheit des technischen Systems, von diesem technischen System erfüllt werden. Freigabekonzepte, die aktuell in der Automobilindustrie eingesetzt werden, erzielen Freigaben für verschiedene Automatisierungsstufen, bei denen stets die Kontrollierbarkeit durch einen menschlichen Fahrer, sei es durch direkte Kontrolle des Fahrers oder durch Rückfallebene auf den Fahrer, gegeben ist.

Eine Besonderheit des autonomen Fahrens ist der Wegfall der Rückfallebene auf den menschlichen Fahrer ab einer bestimmten Automatisierungsstufe, beispiels weise SAE Level 3+. Die Sicherheit ergibt sich dann ausschließlich aus dem techni schen System Fahrroboter und Fahrzeug. In „Autonomes Fahren - Technische, rechtliche und gesellschaftliche Aspekte“, Springer Vieweg, 2015, offenbaren Wa chenfeld und Winner in ihrem Beitrag „Die Freigabe des autonomen Fahrens“, dass ausgehend von 3375 polizeilich erfassten Unfällen mit Getöteten in Deutschland im Jahr 2012 und einer Fahrleistung von 709 Milliarden Kilometer in Deutschland be deutet diese Zahl als Durchschnittswert bedeutet, dass zwischen zwei Unfällen mit Getöteten 210 Millionen Kilometer liegen. Ausgehend von einer Poisson-Verteilung dieser Zahlen und der Anforderung, dass das autonome Fahrzeug zweimal so gut sein soll wie aktuelle, von menschlichen Fahrern gefahrene Fahrzeuge, müsste das autonome Fahrzeug eine Teststrecke von mindestens 2,1 Milliarden Kilometer zu rücklegen. In diesem Fall wäre der Nachweis mit 50%iger Wahrscheinlichkeit er bracht. Allerdings werden mit derselben Wahrscheinlichkeit fünf Unfälle erfahren. Ein weiteres statistisches Modell, das sich mit der Frage befasst, wie viele Testkilometer ein autonomes Fahrzeug fahren müsste, um zu zeigen, dass es hinsichtlich Sicher heit und Risiko zuverlässig ist, ist das RAND Modell, siehe http://www.jstor.Org/stable/10.7249/j.ctt1btc0xw. Das Rand Modell liefert eine Zahl von 8,8 Milliarden Testkilometer. Ein weiteres Modell ist das Minimal Endogenous Mortality, abgekürzt MEM, Modell zur Risikoanalyse für sicherheitsrelevante Systeme wie Bahnanlagen oder Kraftwerken. Für einen Autobahnpiloten liefert das MEM Mo dell als Schwellenwert für die Mortalität 10 9 /Stunde.

Eine derartig extrem hohe Anzahl an Absicherungskilometer stellt eine Herausforde rung an die Freigabe. Zusätzlich fehlen gesetzliche Anforderungen an die Freigabe autonomer Fahrzeuge. Dadurch werden autonome Fahrzeuge in absehbarer Zeit mittels Stands der Technik nicht freigegeben werden können. Für die Freigabe und die Berechnung des zu erwartenden Restrisikos eines Systems fehlen im Stand der Technik anwendbare Verfahren, obwohl in dem SOTIF-Standard ISO/PAS 21448:2019 „Road vehicles -- Safety of the intended functionality” solche Verfahren gefordert werden.

Die aus dem Stand der Technik bekannten statistischen Modelle beziehen sich auf das Gesamtsystem autonomes Fahrzeug und sind nicht ohne Weiteres ausschließ lich auf die Perzeption, das heißt Erfassung oder Wahrnehmung von Objekten in ei nem Umfeld eines Fahrzeuges, anwendbar. Mittels der Statistiken ist keine Abgren zung von Unfällen, die auf Fehler in der Erfassung beruhen, möglich. Es ist nicht da von auszugehen, dass kein Fehler in der Erfassung zu keinem Unfall führt. Das For schungsprojekt PEGASUS, das bedeutet Projekt zur Etablierung von generell akzep tierten Güterkriterien, Werkzeugen und Methoden sowie Szenarien und Situationen zur Freigabe hochautomatisierter Fahrfunktionen, bietet zwar einen umfassenden Ansatz zu Absicherung von SAE J 3016 Level 3 Systemen. Der szenenbasierte An- satz ist allerdings mangels valider Sensormodelle nicht zur Absicherung der Perzep tion, sondern nur zur Absicherung der Entscheidungs- und Planungsalgorithmen für eine Fahrstrategie anwendbar.

Eine Aufgabe der vorliegenden Erfindung war es, für die Freigabe eines Sensorsys tems zur Erfassung von Objekten in einem Umfeld eines Fahrzeuges eine Anzahl an Absicherungskilometern zu reduzieren.

Die Gegenstände der Erfindung lösen diese Aufgabe durch Betrachtung von Abwei chungskombinationen einzelner Sensoren des Sensorsystems und Berechnung einer Versagenswahrscheinlichkeit. Damit wird ein vorhandenes Restrisiko eines autono men Fahrzeugs analysiert. Weitere Aspekte einer Freigabe, beispielsweise funktio nale Tests, Fehlerreaktionstests oder Hardwaretests, sind mitumfasst.

Gemäß einem Aspekt stellt die Erfindung ein Verfahren bereit zur Freigabe eines Sensorsystems zur Erfassung von Objekten in einem Umfeld eines Fahrzeuges. Das Verfahren umfasst die folgenden Verfahrensschritte:

• Bereitstellen einer gemeinsamen Wahrscheinlichkeitsverteilung für Abwei chungen zwischen Ausgangsdaten des Sensorsystems und Referenzdaten auf Ebene von Programmabschnitten zum Erfassen von Objekten des Sen sorsystems, auf Ebene von Sensoren des Sensorsystems und/oder auf Fusi onsebene des Sensorsystems,

• Abtasten von Abweichungskombinationen und Berechnen von Auftrittswahr scheinlichkeiten für die abgetasteten Abweichungskombinationen mittels der gemeinsamen Wahrscheinlichkeitsverteilung,

• Beaufschlagen der Referenzdaten mit den abgetasteten Abweichungskombi nationen, Prozessieren der beaufschlagten Referenzdaten mittels einer Fusi onseinheit des Sensorsystems und Erhalten von Fusionsergebnissen,

• Entfernen derjenigen Auftrittswahrscheinlichkeiten aus der gemeinsamen Wahrscheinlichkeitsverteilung, aus deren zugrundeliegenden Abweichungs kombinationen solche Fusionsergebnisse resultieren, welche eine vorgege bene Bedingung erfüllen, und Erhalten einer Restwahrscheinlichkeitsvertei lung, • Integration der Restwahrscheinlichkeitsverteilung und Erhalten einer absolu ten Fehlerwahrscheinlichkeit und

• Freigabe des Sensorsystems in Abhängigkeit der absoluten Fehlerwahr scheinlichkeit.

Das erfindungsgemäße Verfahren ist nach einem Aspekt der Erfindung computerim plementiert.

Gemäß einem weiteren Aspekt stellt die Erfindung eine Vorrichtung bereit zur Frei gabe eines Sensorsystems zur Erfassung von Objekten in einem Umfeld eines Fahr zeuges. Die Vorrichtung umfasst wenigstens eine Prozessiereinheit, die derart ange passt ist, dass sie die Schritte des erfindungsgemäßen Verfahrens ausführt. Die Pro zessiereinheit ist nach einem Aspekt der Erfindung eine Hardware, beispielsweise ein Computer oder Teile davon, eines Steuergeräts des Fahrzeuges. Die Prozessie reinheit ist auch ausgeführt, Ausgangsdaten einzelner Sensoren des Sensorsystems zu fusionieren.

Gemäß einem weiteren Aspekt stellt die Erfindung ein Sensorsystem bereit zur Er fassung von Objekten in einem Umfeld eines Fahrzeuges. Das Sensorsystem um fasst mehrere Sensoren einer Sensortechnologie oder je Sensortechnologie wenigs tens einen Sensor, eine erfindungsgemäße Vorrichtung und eine Fusionseinheit, die Daten fusioniert.

Gemäß einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit zur Freigabe eines Sensorsystems zur Erfassung von Objekten in einem Umfeld eines Fahrzeuges. Das Computerprogramm umfasst Befehle, die bei der Ausführung des Computerprogramms durch eine Prozessiereinheit diese veranlassen, die Schritte des erfindungsgemäßen Verfahrens auszuführen. Die Befehle sind in einer Program miersprache, beispielsweise einer objektorientierten Programmiersprache, zum Bei spiel C++, formuliert. Nach einem Aspekt der Erfindung wird das Computerprogramm von der Prozessiereinheit der erfindungsgemäßen Vorrichtung ausgeführt. Gemäß einem weiteren Aspekt stellt die Erfindung einen computerlesbaren Datenträ ger, auf dem das erfindungsgemäße Computerprogramm gespeichert ist, bereit. Der Datenträger ist beispielsweise ein Halbleiterspeicher in Form eines Speichermoduls, beispielsweise einer Speicherkarte. Der Halbleiterspeicher ist beispielsweise ein Flash Speicher. Der Datenträger wird beispielsweise mit einer Eingangsschnittstelle eines Steuergeräts des Fahrzeuges verbunden. Damit kann das Steuergerät des Fahrzeuges das Verfahren ausführen.

Gemäß einem weiteren Aspekt stellt die Erfindung ein Fahrzeug bereit. Das Fahr zeug umfasst wenigstens ein erfindungsgemäßes Sensorsystem, wenigstens ein Steuergerät und Aktuatoren, wobei das Sensorsystem, das Steuergerät und die Ak tuatoren derart Signal übertragend verbunden sind, dass das Fahrzeug wenigstens bedingt autonom fährt. Ferner umfasst das Fahrzeug eine Schnittstelle zu wenigs tens einem Referenzsensorsystem. Außerdem umfasst das Fahrzeug eine erfin dungsgemäße Vorrichtung. Während Fahrten des Fahrzeuges wird eine absolute Fehlerwahrscheinlichkeit nach den Schritten des erfindungsgemäßen Verfahrens er halten und diese in eine Fahrstrategie des Fahrzeuges rückgekoppelt. Nach einem Aspekt der Erfindung wird eine Aussage über die absolute Fehlerwahrscheinlichkeit in Abhängigkeit des Systemzustandes des Sensorsystems, der Umgebungsbedin gungen und de Objekte in der Nähe des Fahrzeuges in die Fahrstrategie rückgekop pelt. Bedingt autonom fahren bedeutet, dass das autonome Fahrzeug Quer- und Längsführung und Umfeldbeobachtung durchführt, ein menschlicher Fahrer aber als Rückfallebene auf Anforderung zum Eingreifen reagieren muss. Das Fahrzeug ist beispielsweise ein Straßenfahrzeug. Nach einem Aspekt der Erfindung ist das Fahr zeug ein autonomer people mover.

Gemäß einem weiteren Aspekt der Erfindung stellt die Erfindung ein Datenträgersig nal bereit, das das erfindungsgemäße Computerprogramm überträgt. Beispielsweise ist das Computerprogramm in einer Datenbank, beispielsweise einem Cloud-Spei- cher, hinterlegt. Mittels des Datenträgersignals kann eine ganze Flotte von Fahrzeu gen erreicht werden, um Sensorsysteme der einzelnen Fahrzeuge zu validieren.

Dazu wird das erfindungsgemäße Computerprogramm mittels des Datenträgersig nals beispielsweise von dem Cloud-Speicher auf Steuergeräte der Fahrzeuge der Fahrzeugflotte übertragen und das erfindungsgemäße Verfahren wird ausgeführt.

Die Steuergeräte umfassen nach einem Aspekt der Erfindung Mittel für einen Netz werkbetrieb, beispielsweise einen transmission control protocol, abgekürzt TCP, oder internet protocol, abgekürzt IP, Netzwerk-Stack. Dadurch wird eine größere Testba sis erhalten, da von jedem Fahrzeug der Flotte eingefahrene Daten verwendet wer den können.

Weitere Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.

Das Sensorsystem oder auch Umfeldwahrnehmungssystem genannt ist ein System zur Perzeption von Umfeld- und/oder Fahrzeugzustandsgrößen. Das Sensorsystem ist ein ADAS oder AD Sensorsystem. ADAS bedeutet Advanced Driver Assistance System, das heißt Fahrerassistenzsystem, das sind elektronische Zusatzeinrichtun gen zur Unterstützung des Fahrers in bestimmten Fahrersituationen. AD bedeutet Autonomous Driving, das heißt autonomes Fahren. Das Sensorsystem umfasst meh rere Sensoren einer Sensortechnologie oder je Sensortechnologie wenigstens einen Sensor. Mittels mehrerer Sensoren ist das Sensorsystem ein redundantes System. Sensortechnologien sind beispielsweise optische Technologien. Sensoren aus dem Bereich der optischen Technologien umfassen beispielsweise Bildsensoren, bei spielsweise für den Sichtbereich oder Infrarotbereich, Kamerasysteme mit Bildsenso ren, beispielsweise Mono-, Stereo-, 3D- Kameras, oder Lichtlaufzeitsensoren, im Englischen time off light genannt, beispielsweise Lidarsensoren oder Lidarsysteme. Eine weitere Sensortechnologie ist Radartechnologie mit Radarsensoren und Radar systemen. Eine weitere Sensortechnologie beruht auf Luft- und/oder Körperschall. Sensoren dieser Sensortechnologie sind beispielsweise Ultraschallsensoren oder Mikrofone. Die Sensoren messen beispielsweise x-y-z Positionen von Objekten, Ele- vations-, Azimutwinkel und Abstand von Objekten zu einem Sensorbezugspunkt oder Geschwindigkeitsvektoren von Objekten. Die Messungen der einzelnen Sensoren werden von Programmabschnitten, die beispielsweise von einer Hardware des Sen sors prozessiert werden, in diesem Fall ist der Sensor ein System-on-a-Chip, abge kürzt SoC, als Objektlisten ausgegeben. Die Programmabschnitte sind beispiels weise Teile von Merkmalsextraktionsalgorithmen. Das Sensorsystem umfasst auch eine Fusionseinheit, beispielsweise eine Rechnerplattform umfassend Prozessoren, beispielsweise CPUs und/oder GPUs. Die Rechnerplattform führt Programme, bei spielsweise Fusionsalgorithmen, aus, die aus den Objektlisten der einzelnen Senso ren fusionierte Objektlisten erzeugen. Das Sensorsystem ist ein reales Sensorsystem zur Verwendung im Straßenverkehr. Die Ausgangsdaten des Sensorsystems sind re ale Testdaten, das heißt Daten, die in einem Feldversuch aufgenommen wurden. Mittels des erfindungsgemäßen Verfahrens werden auch Sensormodelle und/oder Modelle von Sensorsystemen validiert. Sensormodelle beschreiben einen Sensor in einer virtuellen Testumgebung. Ein Sensormodell beschreibt und/oder simuliert die Interaktion zwischen einem Sensor und der virtuellen Testumgebung.

Die Referenzdaten werden mittels eines Referenzsensorsystems erhalten. Das Refe renzsensorsystem überprüft oder validiert die Ausgangsdaten des Sensorsystems. Das Referenzsensorsystem ist ebenfalls ein Sensorsystem, das beispielsweise an dem Fahrzeug angeordnet ist. Alternativ werden die Referenzdaten ausgehend von synthetischen Sensorsituationen innerhalb eines definierten Parameterraums simu liert. Die Referenzdaten sind Ausgangsdaten einzelner Sensoren des Referenz sensorsystems oder Fusionsergebnisse des Referenzsensorsystems. Die Sensoren des Referenzsensorsytems sind insbesondere hochauflösende Sensoren, beispiels weise umfasst das Referenzsensorsystem einen Velodyne HDL-64E Lidar Sensor.

Die Abweichungen umfassen Existenzfehler, beispielsweise Erkennungsfehler. Zum Beispiel wurde ein Objekt vom Sensorsystem erkannt, obwohl kein Objekt in den Re ferenzdaten vorhanden ist. Ein derartiger Fehler ist ein false positive Fehler. Oder ein Objekt wurde vom Sensorsystem nicht erkannt, obwohl ein Objekt in den Referenz daten vorhanden ist. Ein derartiger Fehler ist ein false negative Fehler. Ferner umfas sen die Abweichungen Klassifizierungsfehler. Beispielsweise hat das Sensorsystem einen Fußgänger erkannt, obwohl das Objekt tatsächlich ein Fahrzeug ist. Außerdem umfassen die Abweichungen Messfehler in kontinuierlichen und/oder diskreten Messgrößen. Beispielsweise hat das Sensorsystem die Position eines erkannten Ob jekts um x Meter in Fahrtrichtung falsch erkannt oder die Breite einer Straße um y Meter falsch gemessen. Diese Arten der Abweichungen, einzeln oder kumuliert, kön nen in einem Sensorsystem einen kritischen Fehler auslösen, beispielsweise einen Fehler, der ein Risiko für die SOTIF, darstellt. Die Sicherheit der beabsichtigten Funktionalität liegt vor bei Fehlen eines unangemessenen Risikos aufgrund von Ge fährdungen durch Funktionsmängel der beabsichtigten Funktionalität oder durch ver nünftigerweise vorhersehbaren Missbrauch durch Personen. Ein SOTIF Risiko be steht zum Beispiel dann, wenn ein Objekterkennungsalgorithmus eine Person, die auf einem Skateboard fährt, als Person erkennt, aber diese Erkennung als Fehler verwerft aufgrund der nicht plausiblen Geschwindigkeit der Person. Erfindungsge mäß werden diese Abweichungen validiert, um mittels der absoluten Fehlerwahr scheinlichkeit eine Freigabe Sensorsystems zu rechtfertigen. Damit stellt das erfin dungsgemäße Verfahren auch eine Lösung zur Validierung von SOTIF bereit. Die Abweichungen werden mit einer Auswertelogik ausgewertet. Die Auswertelogik um fasst beispielsweise ein IC, ASIC oder FPGA Bauteil oder ist als Programm in Form von Softwarecodeabschnitten realisiert. Das Programm wird beispielsweise von ei nem Daten lesegerät, das die Auswertelogik umfasst, ausgeführt. Das Programm er hält als Dateneingang die Messungen der Sensoren des Sensorsystems und die Re ferenzdaten. Als Datenausgang werden die Abweichungen bereitgestellt.

Die gemeinsame Wahrscheinlichkeitsverteilung, auch joint probability genannt, gibt die statistische Abhängigkeit der Abweichungen der einzelnen Sensoren zueinander an. Durch die gemeinsame Wahrscheinlichkeitsverteilung ist es möglich, Sensorsys teme auszuwerten, bei denen Abweichungen nicht statistisch unabhängig sind. Die gemeinsame Wahrscheinlichkeitsverteilung wird beispielsweise mittels modellierten Wahrscheinlichkeitsverteilungen für die Abweichungen der einzelnen Sensoren des Sensorsystems bereitgestellt. Beispielsweise wird die gemeinsame Wahrscheinlich keitsverteilung mit MathWorks ® bereitgestellt. Die modellierten Wahrscheinlichkeits verteilungen approximieren die Abweichungen der einzelnen Sensoren. Die Abbil dungsgüte der Modelle bezogen auf die beobachteten Abweichungen wird mittels so genannten Goodness of Fit, abgekürzt GoF, Metriken, die beispielsweise computer implementiert ausgeführt werden, bestimmt. GoF Metriken sind beispielsweise x2 , An derson Darling test, negative log likelihood, Bayesian Information criterion, Akaike In formation criterion, normalized root mean squared error oder root mean squared er ror. Beispielsweise ist die normalized root mean squared error GoF wie folgt definiert: wobei x(i) die Werte der Wahrscheinlichkeitsverteilung und Xref(i) die Modellwerte sind.

Der Wert der GoF gibt an, wie repräsentativ ein Modell bezogen auf Daten ist. Ist der Wert schlecht, sind die Aussagen des Modells weniger sicher. Ist der Wert gut, kann der Aussage des Modells vertraut werden. In der GoF ist damit eine Aussage der Modellgenauigkeit bezogen auf die Auswahl der Modellparameter abgebildet.

Die Wahrscheinlichkeit, Abweichungen einzelner Sensoren, das heißt einzelne Sen sorfehler, im Feldversuch zu finden, ist höher als gleichzeitig auftretende Fehler meh rerer Sensoren zu finden. Aus diesem Grund werden Abweichungen einzelner Sen soren im Feld erfasst und als Abweichungskombinationen miteinander kombiniert. Kombiniert wird beispielsweise, dass bei einer Distanzerfassung ein Radar eine Ab weichung von p% Wahrscheinlichkeit, eine Kamera eine Abweichung von q% Wahr scheinlichkeit und ein Lidar eine Abweichung von r% Wahrscheinlichkeit aufweist. Er findungsgemäß werden auch Abweichungsarten einzelner Sensoren kombiniert, bei spielsweise dass eine Kamera ein false positive Ereignis erfasst hat, bei dem ein Fahrzeug als ein Fußgänger erkannt wurde und die Position des Fußgängers um x Meter in Fahrtrichtung falsch erkannt wurde. Durch die Abtastung von Abweichungs kombinationen und Berechnung derer Auftrittswahrscheinlichkeiten werden kritische Bereiche in einem kombinierten Fehlerraum bewertet, obwohl diese Abweichungs kombinationen im Feldversuch nur einzeln, aber nie gleichzeitig zu beobachten wa ren. Im Gegensatz zu den Daten, welche aus dem Feldversuch kommen, können durch das Abtasten der Abweichungskombinationen damit kombinierte Fälle erzeugt werden, die im Feldversuch nur sehr selten, teilweise bis zu einem Fehler pro x Milli arden Betriebsstunden, auftreten würden.

Die Abweichungskombinationen werden beispielsweise dadurch abgetastet, dass Abweichungen einzelner Sensoren schrittweise abgetastet werden. Nach einem As- pekt der Erfindung wird je Sensor nah um den Mittelwert der jeweiligen Abweichun gen in dichteren Abständen abgetastet als an Stellen, die weiter vom Mittelwert ent fernt liegen. Nach einem weiteren Aspekt der Erfindung werden uniforme oder Mar- kov-Chain-Monte-Carlo Verfahren/Algorithmen eingesetzt, um Stichproben aus den Abweichungen zu ziehen. Ein derartiges Sampling wird beispielsweise derart ge wählt, dass die Auswertung bezüglich kumuliertem Fehlerbereich optimal ist.

Beaufschlagen der Referenzdaten mit den abgetasteten Abweichungskombinationen wird beispielsweise dadurch realisiert, dass die Referenzdaten in Form von Objektlis ten als Vektoren behandelt werden. Die Abweichungskombinationen werden als Feh lervektoren dargestellt. Die zu den Referenzdaten zugehörigen Vektoren und die Fehlervektoren werden addiert.

Die Fusionseinheit, auch high-level-object-fusion, abgekürzt HOF, genannt, führt ei nen Fusionsalgorithmus aus. Die Fusionseinheit erhält beispielsweise low-level-fea- tures von einzelnen Sensoren. Low-level-features sind beispielsweise Punkte oder Kanten. Aus diesen low-level-features erzeugt die Fusionseinheit high-level-features, beispielsweise semantisch zusammenhängende Bereiche, die ein Objekt ergeben. Jeder einzelne Sensor kann eine eigene Fusionseinheit umfassen, die Sensor spezi fische high-level-features erzeugt. Die Fusionseinheit des Sensorsystems fusioniert dann die high-level-features der einzelnen Sensoren. Dadurch werden die einzelnen Sensoren plausibilisiert. Der Fusionsalgorithmus umfasst beispielsweise Befehle, die die Fusionseinheit veranlassen, Mittelwerte von Referenzdaten einzelner Sensoren zu fusionieren. Nach einem Aspekt der Erfindung wertet die Fusionseinheit zusätzlich die zeitliche Abhängigkeit des Fusionseingangs aus.

Die Restwahrscheinlichkeitsverteilung wird dadurch erhalten, dass aus einer Anfor derung an die Fusionsergebnisse, auch requirement genannt, eine Beschreibung er zeugt wird. Zum Beispiel lautet die Anforderung „Objekte dürfen nur +-1 % der Dis tanz falsch positioniert wahrgenommen werden“ oder „Objekte dürfen nicht länger als x Zyklen nicht erkannt werden“. Die Beschreibung lautet „erfüllt die Anforderung“ o- der „erfüllt die Anforderung nicht“. Ist das erfindungsgemäße Verfahren computerim plementiert, werden solche Anforderungen und Beschreibungen beispielsweise mit Befehlen für bedingte Anweisungen und Verzweigungen, beispielsweise if/else Kon strukten, realisiert. Die gemeinsame Wahrscheinlichkeitsverteilung wird mittels der Anforderungen und Bedingungen gefiltert.

Die Restwahrscheinlichkeitsdichte wird mittels bekannten numerischen Verfahrens, die computerimplementiert sind, integriert, beispielsweise mittels trapezoid numeri scher Integration:

Für die so erhaltene absolute Fehlerwahrscheinlichkeit werden Konfidenzintervalle bestimmt. Nach einem Aspekt der Erfindung werden Konfidenzintervalle auch auf den Verteilungsparametern der einzeln Sensor-Charakteristiken definiert. Die Kon- fidenz pflanzt sich dann in die Gesamtaussage fort. Bei einer hohen Konfidenz sind die Modellparameter sicher aus den einzelnen Abweichungen zu identifizieren. Sind die Modellparameter aus den Abweichungen nicht eindeutig zu identifizieren, ist die Konfidenz niedrig. Mittels der Konfidenzintervalle wird die Konvergenz der Fehler wahrscheinlichkeit dargestellt. Die Konvergenz der Fehlerwahrscheinlichkeit gibt an, wie viele Testkilometer noch zu erfahren sind, damit die Fehlerwahrscheinlichkeit in einem bestimmten Konfidenzintervall liegt. In Abhängigkeit der Konfidenzintervalle und/oder der Konvergenz der Fehlerwahrscheinlichkeit wird das Sensorsystem frei gegeben. Die Konfidenz ist für eine Aussage über die Leistungsfähigkeit und das Restrisiko des Sensorsystems notwendig, andernfalls ist die Aussage unsicher.

Die Restwahrscheinlichkeitsdichte entspricht einer Akkumulation von Fehlerberei chen des Sensorsystems. Mittels der absoluten Fehlerwahrscheinlichkeit entsteht eine Aussage über das dem System anhängende Restrisiko.

Diese Aussage wird dann im offline Fall als Legitimation der Testbasis beispielsweise hinsichtlich verwendeter Daten und/oder Szenarien herangezogen. Die Aussage lau tet beispielsweise, dass ist die absolute Fehlerwahrscheinlichkeit gering ist. Da durch die Beobachtung der einzelnen Fehlerbilder nicht die in der Literatur aktuell geforder ten 2 Milliarden Kilometer oder Stundenäquivalente notwendigerweise real eingefah ren werden müssen, kann die Legitimation einer kleineren Testbasis die Freigabe ei ner autonomen Fahrzeugtechnologie überhaupt erst technisch möglich machen.

Im Online-Fall, das heißt während realen Fahrten des Fahrzeuges, kann die Auswer tung des Restrisikos zur Risikominimierung des aktuellen System zu stand es genutzt werden. Dies geschieht durch Rückkopplung der Risikoaussage in die Fahrstrategie oder in die Safety-Strategie.

Nach einem Aspekt der Erfindung werden zu Beginn des Verfahrens wenige Daten, das heißt Ausgangsdaten der Sensoren, Referenzdaten, jeweils real oder synthe tisch, in das Verfahren eingebracht und eine erste Aussage erstellt. Zusätzlich wird eine Extrapolation der statistischen Aussagekraft vorgenommen. Damit kann unter Definition einer Ziel-Konfidenz eine Abschätzung einer Versuchsplanung stattfinden. Damit können in der Entwicklung von autonomen Fahrzeugen erhebliche Kosten ge spart werden. Eine Aussage über die Leistungsfähigkeit des Sensorsystems ist erst nach tatsächlichem Fahren einer ausreichenden Strecke oder Zeit statisch abgesi chert. Das Verfahren liefert die Ziel-Konfidenz. Die Extrapolation liefert eine Abschät zung vorweg. Wird das Verfahren in Inkrementen (oder laufend) mit neuen Daten des Feldversuchs gespeist, kann jeweils eine angepasste Berechnung durchgeführt wer den. Damit wird einerseits die Planung genauer, weil die Extrapolation auf einer grö ßeren Datenbasis angepasst wird. Andererseits wird die Aussage über das System statistisch aussagekräftiger durch aktuelle Konfidenz. Ist keine Konvergenz des Mo dells zu beobachten, ist die Modellierung unzureichend oder die Wahl der Approxi mationen unzureichend. In derartigen Fällen wird das Verfahren angepasst und die Berechnungen werden wiederholt.

Die Auswertung der Daten unterliegt der Ungenauigkeit der für die Analyse herange zogenen Referenz. Um diesem Umstand Rechnung zu tragen, wird nach einem As pekt der Erfindung diese Ungenauigkeit für alle Referenzdaten berechnet oder abge schätzt und den Referenzdaten zugeordnet. Mittels dieser Ungenauigkeit wird die maximal zu erreichende Genauigkeit der Gesamtabbildung des Sensorsystems be stimmt. Beispielsweise ist das Referenzsensorsystem ungenau, die Referenzdaten des Referenzsensorsystems entsprechen aber genau denen des Sensorsystems. Dadurch wird der Eindruck von Genauigkeit erweckt, die in diesem Fall nicht existiert. Durch die Bestimmung der Ungenauigkeit des Referenzsensorsystems ist die maxi male Genauigkeit begrenzt und es wird in dem Beispiel keine hohe Genauigkeit er rechnet.

Gemäß einer Ausgestaltung der Erfindung umfassen die Abweichungen zwischen den Ausgangsdaten des Sensorsystems und Referenzdaten Abweichungen von Dis tanzmessungen, Wetter abhängige oder Fahrzeugzustand abhängige Abweichun gen. Beispielsweise werden die Abweichungen je Sensor des Sensorsystems über die Distanz betrachtet. Die Abweichungen werden in verschiedenen Szenarien be trachtet, beispielsweise „Zielobjekt bremst“ oder „Anhalten und Weitefahren eines Ego- und/oder Fremdfahrzeuges“. Durch die Wetter abhängigen Abweichungen wird beispielsweise auch ein Restrisiko in Abhängigkeit von Vorhandensein von Nieder schlag, beispielsweise Regen oder Schnee, und dessen Intensität erhalten. Fahr zeugzustand abhängige Abweichungen bedeutet beispielsweise, dass die Abwei chungen in Abhängigkeit einer Fahrzeuggeschwindigkeit ausgewertet werden, um ein Restrisiko bezogen auf die jeweilige Fahrzeuggeschwindigkeit zu erhalten.

Gemäß einer weiteren Ausgestaltung der Erfindung wird für jeden Sensor des Sen sorsystems eine Wahrscheinlichkeitsverteilung für die Abweichungen dieses Sensors bereitgestellt und die Abweichungskombinationen werden mittels der einzelnen Wahrscheinlichkeitsverteilungen der Sensoren abgetastet. Die Wahrscheinlichkeits verteilung für die Abweichungen eines einzelnen Sensors, auch deviation probability function genannt, werden beispielsweise dadurch erhalten, dass die Abweichungen in Distanzmessungen zwischen diesem Sensor und einem Referenzsensor in Inter vallen mit Intervallbreite von 1m geclustert werden. Anders ausgedrückt wird ein zweidimensionales Histogramm erhalten. Das Histogramm basiert darauf, dass es in der Distanz des Objekts zum Egofahrzeug eine Clusterung in 1m Intervalllängen gibt. In jedem dieser Cluster gibt es ein Histogramm über die Abweichung der Referenz zu dem Sensor. Als Ergebnis wird ein Histogramm erhalten. Damit wird die Abhän gigkeit der Distanz modelliert. Diese Daten im Cluster werden genutzt, um die Wahr scheinlichkeitsverteilung für Abweichungen dieses Sensors zu fitten. Für das Fitting werden parametrische oder nicht-parametrische Verteilungen verwendet.

Beispielsweise werden Normalverteilungen verwendet. Normalverteilungen sind pa rametrische Verteilungen mit zwei Parametern, nämlich dem Mittelwert m und der Standardabweichung 6:

Nach einem weiteren Aspekt der Erfindung werden nicht-parametrische Kernel Ver teilungen verwendet mit einer Kernel Funktion K und einem Bandbreiten Parameter h:

Die Kernel Funktion K ist eine nicht-negative, normierbare, symmetrische oder nicht symmetrische Funktion. Eine nicht-symmetrische Funktion ermöglicht eine systemati sche Verschiebung des Fehlerraums in Richtung positiver Abweichung. Beispiels weise ist die Kernel Funktion K eine Gaußfunktion oder eine Beta-Verteilung. Der op timale Bandbreiten Parameter h wird beispielsweise mittels des AMISE Algorithmus oder mittels Kreuzvalidierungsmethoden bestimmt. Für mehrdimensionale Anwen dungen werden mehrdimensionale Kernel Funktionen verwendet.

Das Fitting der Verteilungen wird beispielsweise mittels statistischem Bootstrappping durchgeführt, das nach einem Aspekt der Erfindung computerimplementiert ist. Bootstrapping wählt eine endliche Menge an zufälligen Stichproben aus einem Da tensatz aus und analysiert die Stichprobe zum Beispiel Durchschnittswert m oder Standardabweichung 6, bei jeder Ziehung. Mittels der Wahrscheinlichkeitsverteilungen der Abweichungen der einzelnen Senso ren werden nach einem Aspekt der Erfindung künstliche Daten zu Abweichungen zwischen den Ausgangsdaten der Sensoren des Sensorsystems und Referenzdaten erzeugt. Die künstlich erzeugten Daten werden nach einem Aspekt der Erfindung zu realen Daten zu Abweichungen und/oder Abweichungskombinationen in vordefinier ten Schritten addiert. Nach einem Aspekt der Erfindung wird das Verfahren bezogen auf die Menge der zur Verfügung stehenden Daten inkrementeil durchgeführt, in dem künstliche Daten inkrementeil zu den vorhandenen Daten addiert werden. Damit wer den Trends des Verfahrens analysiert, beispielsweise wie sich die Konvergenz entwi ckelt. Außerdem wird analysiert, wie sich das Fitten in Abhängigkeit der zunehmen den Menge an Daten verhält. Nach einem Aspekt der Erfindung werden die künstli chen Daten für eine Extrapolationsbetrachtung herangezogen.

Nach einem weiteren Aspekt der Erfindung werden die Wahrscheinlichkeitsverteilun gen für die Abweichungen der einzelnen Sensoren, die daraus resultierende gemein same Wahrscheinlichkeitsverteilung und deren Auswirkungen, beispielsweise die ab solute Fehlerwahrscheinlichkeit, offline an einem Computer berechnet oder online im Fahrzeug berechnet. Für die online Berechnung ist das erfindungsgemäße Verfahren beispielsweise in Softwarecodeabschnitten implementiert, die von einer Hardware ei nes Steuergeräts des Fahrzeuges ausgeführt werden.

Nach einem weiteren Aspekt der Erfindung wird die gemeinsamen Wahrscheinlich keitsverteilung als eine mehrdimensionale Normalverteilung für Abweichungen der einzelnen Sensoren des Sensorsystems bereitgestellt. Die mehrdimensionale Nor malverteilung lautet: mit Kovarianzmatrix S für Ausgangsdaten der Sensoren des Sensorsystems. Die Kovarianzmatrix ist die Verallgemeinerung der Varianz einer eindimensionalen Zu fallsvariablen. Gemäß einer weiteren Ausführungsform der Erfindung werden die Ausgangsdaten des Sensorsystems und die Referenzdaten während Fahrten mit dem Fahrzeug er halten. Die Referenzdaten umfassen von einem Referenzsensorsystem aufgenom mene Referenzdaten und/oder mittels Sensormodellen erzeugte Referenzdaten. Die Fahrten mit dem Fahrzeug werden beispielsweise auf speziell vorgesehenen Test strecken durchgeführt.

Nach einem weiteren Aspekt der Erfindung werden die beaufschlagten Referenzda ten in Model in the Loop, Software in the Loop oder Hardware in the Loop Simulatio nen oder mittels Ersatzmodellen prozessiert. Dadurch wird die Kritikalität bezüglich Erkennungsfehlern bewertet und die Systemantwort des Sensorsystems auf die Ab weichungskombinationen abgebildet. In Model in the Loop Simulationen wird ein ein gebettetes System in einer Schleife zusammen mit einem Umgebungsmodell simu liert. Die Model in the Loop Simulation wird beispielsweise in der Entwicklungsumge bung MATLAB durchgeführt. Bei Hardware in the Loop wird ein eingebettetes Sys tem, beispielsweise das Sensorsystem oder die Fusionseinheit, über seine Ein- und Ausgänge an ein angepasstes Gegenstück, dem sogenannten HiL-Simulator, ange schlossen. Der HiL-Simulator bildet die reale Umgebung des Systems nach. Bei der Methode Software in the Loop wird im Gegensatz zu Hardware in the Loop keine be sondere Hardware eingesetzt. Das erstellte Modell der Software wird lediglich in den für die Zielhardware verständlichen Code umgewandelt. Dieser Code wird beispiels weise auf einem Entwicklungsrechner zusammen mit dem simulierten Modell ausge führt, anstatt wie bei Hardware in the Loop auf der Zielhardware zu laufen. Der Ober begriff für Model, Software und Hardware in the loop ist XiL Verfahren. Damit wird die Systemantwort des Sensorsystems auf die Abweichungskombinationen bestimmt.

Zur Bestimmung der Systemantwort werden auch mathematischer Ersatzmodelle, sogenannte Surrogate models, genutzt, um Echtzeitberechnung online zu ermögli chen. Um die Berechnung der Auswirkung von beaufschlagten Referenzdaten in Echtzeit zu ermöglichen, können aus Daten gelernte Ersatzmodelle der Systemant wort erstellt werden. Diese können dann anstatt der XiL genutzt werden, um die Feh lerauswirkung zu prüfen. Zusätzlich ist es anhand eines solchen Ersatzmodells mög lich, Systemoptimierung vereinfacht durchzuführen, da die Antwort invertierbar wird. Nach einem weiteren Aspekt der Erfindung werden Bayesische-Inferenzen, mit wel chen eine online und Echtzeit- Inferenz möglich wird, genutzt zur Bestimmung der Systemantwort. Alternativ werden die beaufschlagten Referenzdaten mittels speziel ler Steuergeräte mit GPU-Unterstützung prozessiert zur Berechnung der Systemant wort. Weiter sind stark vereinfachte Modelle wie N aus K Modelle, welche die Sys temantwort nur sehr rudimentär beschreiben, möglich. Derartige Modelle sind vor al lem in konzeptuellen Vorentwicklungen und Systemoptimierungen in einer frühen Produktphase hilfreich.

Nach einem weiteren Aspekt der Erfindung werden die Fusionsergebnisse unter Ver wendung einer Redundanz des Sensorsystems erhalten. Die Redundanz führt zu ei ner weiteren Reduktion der Absicherungskilometer. Umfasst das Sensorsystem drei Sensoren, wird bei einem Ausfall eines Sensors das Fusionsergebnis aus den übri gen Sensoren gebildet. Fallen zwei Sensoren aus, wird kein Fusionsergebnis gene riert.

Gemäß einer weiteren Ausgestaltung der Erfindung werden Abweichungen zwischen den Fusionsergebnissen und den Referenzdaten mit einer Grenzzustandsfunktion ausgewertet, um die Auftrittswahrscheinlichkeiten aus der Wahrscheinlichkeitsvertei lung zu entfernen. Die Grenzzustandsfunktion, auch limit state function genannt, lie fert bei einer Erfüllung einer Anforderung einen ersten Wert und bei Nicht-Erfüllung der Anforderung einen von dem ersten verschiedenen zweiten Wert. Beispielswiese liefert die Grenzzustandsfunktion bei einer Erfüllung einer Anforderung den Wert 0, bei Nicht-Erfüllung den Wert 1 . Nach einem weiteren Aspekt der Erfindung ist die Grenzzustandsfunktion mehrdimensional. Mittels der Grenzzustandsfunktion wird da mit der gesamte statistische Fehlerbereich des Sensorsystems bezüglich eines Rest risikos bewertet.

Nach einem weiteren Aspekt der Erfindung wird eine Menge der Ausgangsdaten und der Referenzdaten inkrementeil vergrößert. Dadurch kann die Berechnung schritt für schritt angepasst werden. Übersichtshalber wird das Verfahren und die Vorrichtung, die das Verfahren ausführt, zusammengefasst dargestellt:

Das Verfahren und die Vorrichtung werden bei einem autonomen Fahrzeug mit einer Datenaufzeichnung verwendet. Die Datenaufzeichnung erfolgt einerseits mit dem Sensorsystem. Zur Aufzeichnung der Daten müssen andererseits ausreichend ge naue Referenzdaten parallel aufgezeichnet werden mit dem Referenzsensorsystem. Die Referenzdaten sind zeitlich und räumlich korreliert. Diese Referenz kann mittels eines ebenfalls am Fahrzeug befestigten Systems oder mittels externer Referenzsys teme aufgezeichnet werden.

In einer Speichereinheit, beispielsweise einer Datenbank, Cloud Speicher oder Spei cherkarte, werden die Daten, das heißt die Ausgangsdaten des Sensorsystems, mit der Referenz assoziiert. Cloud/Rechencluster basierende Ausführungsformen der Er findung ermöglichen das Prozessieren von sehr großen Datenmengen. Nach einem Aspekt der Erfindung wird die Erfindung auf einem Rechencluster ausgeführt. Mittels einer Auswertelogik werden Abweichungen zwischen Ausgabe des autonomen Sys tems und der Referenz ausgewertet, und zwar auf Gesamtsystemebene, das heißt mittels fusionierte Objektlisten, sowie auf Ebene von Einzelsensoren, das heißt Ob jektliste, Detektionen, Features aus einem oder mehreren Sensoren des gleichen Technologie-Typs, oder von Algorithmus-Teilelemente zur Erzeugung der Objektlis ten, Detektionen, Features.

Folgend werden die statistischen Verteilungen einzelner Aspekte des Umfelderken nungssystems analysiert und mittels Kurvenanpassung mathematisch, numerisch und technisch abgebildet. Im Ergebnis werden die Wahrscheinlichkeitsverteilungen der Abweichungen einzelner Sensoren des Sensorsystems erhalten. Die Abbildung inkludiert des Weiteren die Auftretensabhängigkeit zwischen einzelnen Phänomenen. Folgend werden die einzelnen Abweichungen zueinander in Fehlerbildern räumlich und/oder zeitlich kombiniert. Diese Analyse resultiert in den Abweichungskombinatio nen. Die Kritikalität der Fehlerbilder bezüglich Erkennungsfehlern wird bewertet. Hierzu sind verschiedene technische Verfahren und Systeme vorgesehen um die Sys temantwort auf die Fehlerbilder abzubilden. Dafür werden perfekte Eingangsdaten mit zeitlich-räumlichen Fehlervektoren beaufschlagt und die Systemantwort mittels eines geeigneten Restsystems, das heißt einer Wahrnehmungssoftware oder eines Steuergeräts, ermittelt. Nach einem weiteren Aspekt der Erfindung wird die Kritikalität bezüglich einer System reaktion bewertet, beispielsweise wenn eine Trajektorie feh lerhaft wird, beispielsweise wenn die Trajektorie durch einen Fußgänger führt. In die sem Fall ist das Restsystem beispielsweise ein Perzeptionssystem oder eine Behavi- our-Software. Die Auswahl der Verfahren richtet sich dabei nach dem Anwendungs gebiet, beispielsweise offline oder online. Die Erfindung umfasst beispielsweise:

• Software in the Loop oder Hardware in the Loop, wobei die tatsächliche Um- felderkennungssoftware genutzt wird, um die reale Auswirkung des Fehlers auf das System abzubilden. Dies wird vorzugsweise offline angewendet.

• Abbildungs-Modelle, auch Surrogate Models genannt, wobei die Systemant wort auf einer numerisch-mathematischen Weise approximiert wird. Dies wird vorzugsweise online angewendet. Denkbar sind hier auch Bayesische-Inferen- zen mit welchen eine online und Echtzeit-Inferenz möglich wird. Auch die Pro- zessierung durch spezielle Steuergeräte mit GPU-Unterstützung, auf denen die Systemantwort errechnet wird, sind von der Erfindung umfasst.

• Weiter sind stark vereinfachte Modelle wie N aus K Modelle, welche die Sys temantwort nur sehr rudimentär beschreiben, von der Erfindung umfasst.

Diese sind vor allem in konzeptuellen Vorentwicklungen und Systemoptimie rungen in einer frühen Produktphase hilfreich.

Durch das Verfahren wird initial und iterativ anpassend ein Absicherungsaufwand er rechnet werden. Dadurch werden Planungen von Dauerläufen und Datenaufzeich nungen verbessert.

Durch eine Analyse der Fehlerbilder und deren Auswirkung auf das Sensorsystem wird die Auswirkung einzelner Fehlerquellen effektiver analysiert. Dadurch wird ge zielter und kostengünstiger ein System entworfen, dass den Anforderungen genügt. Beim Austausch von Sensoren in einem Sensorsystem wird das Verfahren und die Vorrichtung dazu verwendet, den Einfluss auf die Systemzuverlässigkeit einzuschät zen. Wenn die Daten statistisch ähnlich oder besser sind und die Auswirkung von be obachteten einzelnen Abweichungen des Sensors nicht zur Verschlechterung des Sensorsystems und dessen Restrisiko beitragen, kann der Sensor ersetzt werden.

Durch die Rückwärtsanalyse der Fehlerbilder, das heißt der Abweichungskombinatio nen, wird mittels des Verfahrens und der Vorrichtung gezielt der größte Fehlerbeitrag für das Sensorsystem ermittelt und das Sensorsystem dadurch verbessert. Damit wird die Entwicklungsarbeit effektiver und potentiell kostengünstiger. Im Gegensatz zu einer vollen numerischen Analyse der Sensitivität bezüglich Verbesserungspoten tial kann hier ein Element des Systems benannt werden, an dem eine Verbesserung den größten Einfluss hat.

Durch die online Berechnung erfolgt eine Abschätzung der aktuellen Zuverlässigkeit. Hierfür ist eine sehr effektive Berechnung notwendig, da die Aussage über die Zuver lässigkeit im Bereich einer Echtzeit vorliegen muss. Beispielsweise wird das Verfah ren mittels Bayesischer Inferenz genutzt. Dadurch kommt es zu einer Erhöhung der technischen Sicherheit.

Für die Validierung und Bewertung von Teilsystemen eines autonomen Fahrzeugs wird nach einem Aspekt der Erfindung das erfindungsgemäße Verfahren verwendet, um die Charakterisierung des Erkennungssystems zu modellieren. Damit wird die Auswirkung der möglichen Fehler und deren Wahrscheinlichkeiten genutzt, um das Restrisiko des autonomen Fahrzeuges zu bewerten. Diese Nutzung ist sehr ähnlich einem Sensormodell für virtuelle Absicherung.

Zur Verbesserung der Effizient in Bezug auf den Datentransport bei der Berechnung wird das Verfahren bereits bei der Einführung neuer Daten in die Datenbank durch geführt. Damit ist zumindest der erste Zugriff auf die Daten nicht mehr per erneutem Zugriff auf die Daten möglich. Bei erneuter Berechnung der Daten muss dann wieder ein normaler Lesezugriff durchgeführt werden. Durch den Gegenstand der Erfindung wird ein SAE J3016 Level 3+ Sensorsystem durch die Reduktion der Absicherungskilometer freigegeben durch die Betrachtung von Abweichungskombinationen bei der Berechnung der Versagenswahrscheinlich keit und, gemäß einem Aspekt der Erfindung, durch Nutzung einer wenigstens teil weisen Redundanz des Sensorsystems. Ferner wird mittels des Gegenstandes der Erfindung die Optimierung des Sensorsystems in der Entwicklung effizient durchge führt.

Die in den Figuren

Fig. 1 : Kamera-Daten-Clustering über Distanz,

Fig. 2: Histogramm der Verteilung der Abweichungen der Kamera-Daten aus Fig. 1,

Fig. 3: Bootstrapping Verteilung des Mittelwertes der Verteilung der Kamera-Daten aus Fig. 2,

Fig. 4: Bootstrapping Verteilung der Standardabweichung der Verteilung der Kamera- Daten aus Fig. 2,

Fig. 5: gefittete Wahrscheinlichkeitsverteilung Abweichungen der der Kamera-Daten aus Fig. 2 mit Konfidenzintervallen -Grenzen aus Mittelwert aus Fig. 3 und Stan dardabweichung aus Fig. 4,

Fig. 6: Histogramm der Verteilung von Abweichungen weiterer Kamera-Daten und gefittete Wahrscheinlichkeitsverteilung dieser Abweichungen,

Fig. 7: Histogramm der Verteilung von Abweichungen von Radar-Daten und gefittete Wahrscheinlichkeitsverteilung dieser Abweichungen,

Fig. 8: Histogramm der Verteilung von synthetischen Abweichungen von Lidar-Daten und gefittete Wahrscheinlichkeitsverteilung dieser Abweichungen, Fig. 9: gemeinsame Wahrscheinlichkeitsverteilung von Abweichungen von Kamera- Daten und Radar-Daten für eine vorgegebene Abweichung von Lidar-Daten,

Fig. 10: Restwahrscheinlichkeitsverteilung der gemeinsamen Wahrscheinlichkeitsver teilung aus Fig. 9,

Fig. 11 : mittels trapezoid numerischer Integration integrierte Restwahrscheinlichkeits verteilung mit die Breite des Konfidenzintervalls anzeigenden Boxen,

Fig. 12: gefittete absolute Fehlerwahrscheinlichkeit mit unterer und oberer Konfidenz,

Fig. 13: offline Ausführungsbeispiel eines erfindungsgemäßen Verfahrens,

Fig. 14: online Ausführungsbeispiel eines erfindungsgemäßen Verfahrens,

Fig. 15: technische Struktur eines Ausführungsbeispiels einer erfindungsgemäßen Vorrichtung und

Fig. 16: Ausführungsbeispiel eines erfindungsgemäßen Fahrzeuges dargestellten Ausführungsbeispiele veranschaulichen die Erfindung.

In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Teile. In den jeweiligen Figuren werden übersichtshalber die für das jeweilige Ver ständnis relevanten Bezugsteile angegeben. Die Maßeinheit der Distanzen und Ab weichungen ist in allen Figuren jeweils Meter.

Das Diagramm in Fig. 1 zeigt die Abweichungen a eines Kamera-Sensors über die Distanz d. Die Kamera ist ein Sensor 11 eines Sensorsystems 10, siehe auch Fig.

16. Die Abweichungen a ergeben sich aus einem Vergleich der Kamera-Daten von aufgenommen Messungen mit Referenzdaten eines Referenzsensorsystems 20. Das Referenzsensorsystem umfasst hochauflösende Sensoren 21 , beispielsweise eine hochauflösende Kamera. Die Referenzdaten umfassen beispielsweise Messdaten der hochauflösenden Kamera. Die Kamera-Daten und die Referenzdaten werden in einer Datenbank, beispielsweise einem Cloud-Speicher oder einer Datenfarm, hinter legt. Eine Auswertelogik 13, beispielsweise ein Computer, ein Prozessorkern oder ein Chip mit einem Logikbaustein, bildet beispielsweise die Differenz der Kamera-Da ten und der Referenzdaten und gibt diese als Abweichung a aus, siehe auch Fig. 13. Damit werden Messfehler der Kamera aufgezeichnet.

Erfindungsgemäß werden analog Abweichungen a für andere Sensoren 11 des Sen sorsystem 10, beispielsweise Radar und/oder Lidar, erhalten. Die Abweichungen a für Lidar-Daten werden beispielsweise synthetisch erzeugt. Dazu werden Datasheets von Lidar Sensoren als Referenzdaten genommen.

Erfindungsgemäß werden Abweichungen a zwischen dem Sensorsystem 10 und dem Referenzsystem 20 auch für unterschiedliche Niederschlagsintensitäten oder unterschiedliche Fahrzeuggeschwindigkeiten betrachtet.

Die Daten des Sensorsystems 10 umfassen beispielsweise 50 aufgenommene Sze narien, beispielsweise „Anhalten und Weiterfahren“, mit ca. 3 Millionen Datenpunk ten.

Aus den in Fig. 1 gezeigten Abweichungen a wird das in Fig. 2 gezeigte Histogramm erstellt. Das Histogramm stellt die Auftrittswahrscheinlichkeiten p der einzelnen Ab weichungen a der Kamera dar. Analog werden für weitere Sensoren 11 des Sensor systems derartige Histogramme erhalten.

Aus dem in den Figuren 3 und 4 dargestellte Bootstrapping der Abweichungen a der Kamera-Daten resultiert der Mittelwert und die Standardabweichung dieser Abwei chungen a. Analog wird ein Bootstrapping für weitere Sensoren 11 des Sensorsys tems 10 durchgeführt. Im Bootstrapping werden n Stichproben ausgewählt und für jede Stichprobe der Mittelwert und die Standardabweichung berechnet. Daraus resul tiert die in Fig. 3 gezeigte Verteilung des Mittelwertes und die in Fig. 4 gezeigte Ver teilung der Standardabweichung. Mittels der so erhaltenen Konfidenzintervall-Grenzen für den Mittelwert, siehe Fig. 3, und der Standardabweichung, siehe Fig. 4, wird das Histogramm der Fig. 2 mit einer Wahrscheinlichkeitsverteilung approximiert. Die resultierende Wahrscheinlichkeits verteilung für die Abweichungen a der Kamera-Daten ist in Fig. 5 gezeigt.

Fig. 6 zeigt eine weitere Wahrscheinlichkeitsverteilung für die Abweichungen a von weiteren Kamera-Daten, Fig. 7 eine Wahrscheinlichkeitsverteilung für die Abwei chungen a von Radar-Daten und Fig. 8 eine Wahrscheinlichkeitsverteilung für die Abweichungen a von Lidar-Daten. Fig. 8 beruht auf synthetischen Abweichungen a der Lidar-Daten, die darauf beruhen, dass ein Datasheet des Lidar Sensors als Refe renz genommen wurde.

Die in Fig. 9 gezeigte gemeinsame Wahrscheinlichkeitsverteilung ist eine mehrdi mensionale Wahrscheinlichkeitsverteilung erhalten aus einzelnen Wahrscheinlich keitsverteilungen der Abweichungen a der Kamera-, Radar- und Lidar-Daten. In Fig.

9 sind auf einer x-Achse die Abweichungen a der Radar-Daten, auf einer y-Achse die Abweichungen a der Kamera-Daten und auf einer z-Achse die gemeinsame Wahr scheinlichkeitsverteilung dargestellt. Die gemeinsame Wahrscheinlichkeitsverteilung ist für eine fixe Abweichung a der Lidar-Daten dargestellt. Für jede Abweichung a der Lidar-Daten wird eine entsprechend Fig. 9 erhalten. Die gemeinsame Wahrschein lichkeitsverteilung wird erfindungsgemäß in einem Verfahrensschritt V1 bereitgestellt.

In einem Verfahrensschritt V2 werden Abweichungskombinationen abgetastet und Auftrittswahrscheinlichkeiten p für die abgetasteten Abweichungskombinationen mit tels der gemeinsamen Wahrscheinlichkeitsverteilung berechnet. Damit werden kriti sche Fehlerkombinationen erzeugt. Beispielsweise werden in einer Simulation- und/oder Reprozessierungsumgebung Fehlerkombinationen simuliert. Mittels der ge meinsamen Wahrscheinlichkeitsverteilung wird dann die Fehlerauswirkung bewertet.

In einem dritten Verfahrensschritt werden die Referenzdaten mit den abgetasteten Abweichungskombinationen beaufschlag. Die beaufschlagten Referenzdaten werden mittels einer Fusionseinheit 12 des Sensorsystems 10 prozessiert und es werden Fu sionsergebnisse erhalten.

Die Fusionsergebnisse werden in einem vierten Verfahrensschritt V4 mit einer Grenzzustandsfunktion ausgewertet, um aus der gemeinsamen Wahrscheinlichkeits verteilung diejenigen Auftrittswahrscheinlichkeiten p zu entfernen, aus deren zugrun deliegenden Abweichungskombinationen solche Fusionsergebnisse resultieren, wel che eine vorgegebene Bedingung erfüllen. Im Ergebnis wird die in Fig. 10 gezeigte Restwahrscheinlichkeitsverteilung erhalten.

Die Restwahrscheinlichkeitsverteilung wird in einem fünften Verfahrensschritt V5 in tegriert und es wird eine absolute Fehlerwahrscheinlichkeit P erhalten, siehe Fig. 11 und 12. Die absolute Fehlerwahrscheinlichkeit P wird beispielsweise mittels trapezoid numerischer Integration approximiert.

In einem sechsten Verfahrensschritt V6 wird in Abhängigkeit der absoluten Fehler wahrscheinlichkeit P das Sensorsystem 10 in einem Test- und Freigabeprozess frei gegeben. Die absolute Fehlerwahrscheinlichkeit P stellt eine Legitimationsbasis für die Testbasis, das heißt die verwendeten Ausgangsdaten des Sensorsystems 10, der Referenzdaten und der Szenarien dar. Da durch die Beobachtung der einzelnen Fehlerbilder nicht die in der Literatur aktuell geforderten 2 Milliarden Kilometer oder Stundenäquivalente notwendigerweise real eingefahren werden müssen, beispiels weise dem Fahrzeug 1 und dem daran verbauten Sensorsystem 10 und Referenz sensorsystem 20, ermöglicht die Legitimation einer kleinen Testbasis mittels der ab soluten Fehlerwahrscheinlichkeit P die Freigabe einer autonomen Fahrzeugtechnolo gie.

Fig. 13 stellt den Gegenstand der Erfindung in der offline Variante in einer Übersicht dar. Das autonome Fahrzeug 1 ist beispielsweise der in Fig. 16 gezeigte people mo- ver. Das mathematisch stochastische Modell umfasst die Wahrscheinlichkeitsvertei lungen der einzelnen Sensoren 11 des Sensorsystems 10 und die daraus resultie rende mehrdimensionale gemeinsame Wahrscheinlichkeitsverteilung. Das erfin- dungsgemäße Verfahren wird mittels der Prozessiereinheit 30 durchgeführt. Die Ver fahrensschritte V2 und V3 werden in einer Simulations- und Reprozessierungsumge- bung, die Teil der Prozessiereinheit sein können, ausgeführt. Die Simulationsumge bung ist beispielsweise eine Software, beispielsweise CarMaker. Mittels der Verfah rensschritte V4 und V6 wird eine Aussage über ein Restrisiko erhalten.

Fig. 14 stellt den Gegenstand der Erfindung in der online Variante in einer Übersicht dar. Im Gegensatz zu Fig. 13 wird die absolute Fehlerwahrscheinlichkeit P kontinu ierlich ausgewertet und in eine Fahrstrategie des Fahrzeuges 1 rückgekoppelt.

Fig. 15 stellt die technische Struktur der Prozessiereinheit 30 der erfindungsgemä ßen Vorrichtung dar. Kern des Verfahrens, das von der Prozessiereinheit 30 durch geführt wird, ist das Erhalten der Wahrscheinlichkeitsverteilungen der Abweichungen der einzelnen Sensoren 11 , siehe Fig. 6, 7 und 8, die daraus resultierende gemein same Wahrscheinlichkeitsverteilung, das Abtasten von Abweichungskombinationen und das Erhalten der absoluten Fehlerwahrscheinlichkeit P. Der Dateneingang der Prozessiereinheit 30 umfasst die Ausgangsdaten des Sensorsystems 10 und die Re ferenzdaten des Referenzsensorsystems 20. Der Datenausgang der Prozessierein heit umfasst die absolute Fehlerwahrscheinlichkeit P.

Der people mover in Fig. 16 ist ein Beispiel für ein erfindungsgemäßes Fahrzeug 1. Das Fahrzeug 1 umfasst ein Sensorsystem 10 mit mehreren Sensoren 11. In Fig. 16 ist aus Übersichtsgründen nur einer der Sensoren 11 gezeigt. Die Ausgangsdaten der einzelnen Sensoren 11 werden in der Fusionseinheit 12 des Sensorsystems 10 fusioniert. Das Fahrzeug 1 umfasst ferner ein Referenzsensorsystem 20 mit mehre ren Referenzsensoren 21. In Fig. 16 ist aus Übersichtsgründen nur einer der Refe renzsensoren 21 gezeigt. Die Ausgangsdaten der einzelnen Sensoren 21 werden in einer Fusionseinheit 22 des Referenzsensorsystems 20 fusioniert.

Der people mover bietet als vollelektrischer Kleinbus bequem Platz für 15 Personen. Gleichzeitig ist seine Grundfläche nicht größer als die einer großen Limousine. Dadurch ist er wendig und findet überall im urbanen Umfeld seinen Weg. Der people mover fährt lokal emissionsfrei, bietet verschiedene Konnektivitätsservices und die Möglichkeit hochautomatisiert zu fahren. Nach einem Aspekt der Erfindung umfasst das Fahrzeug 1 , beispielsweise der people mover, eine Konnektivitätsschnittstelle. Ein Nutzer kann den people mover als Shuttle flexibel per App über die Konnektivi tätsschnittstelle anfordern und ist somit nicht mehr an starre Fahrpläne gebunden.

Bezuqszeichen

I Fahrzeug

10 Sensorsystem

I I Sensor

12 Fusionseinheit

13 Auswertelogik

14 Datenbank

20 Referenzsystem

21 Sensor

22 Fusionseinheit

30 Prozessiereinheit

V1 -V6 Verfahrensschritt p Auftrittswahrscheinlichkeit

P absolute Fehlerwahrscheinlichkeit d Distanz a Abweichung