Die vorliegende Erfindung betrifft ein computerimplementiertes Verfahren zum Bereitstellen eines Szenario-Test-Verlaufs zu testenden Szenarien insbesondere Verkehrsszenarien, für Tests einer Vorrichtung zur zumindest teilweisen autonomen Führung eines Verkehrsmittels. Die vorliegende Erfindung betrifft des Weiteren eine Testeinheit, für die ein Szenario-Test- Verlauf von zu testender Verkehrsszenarien ausgeführt wird. Die vorliegende Erfindung betrifft darüber hinaus ein Computerprogramm und einen computerlesbaren Datenträger.

Stand der Technik

Fahrassistenzsysteme wie z.B. ein adaptiver Geschwindigkeitsregler und/oder Funktionen für das hochautomatisierte Fahren können mithilfe diverser Überprüfungsmethoden verifiziert bzw. validiert werden. Dabei können insbesondere Hardware-in-the-Loop Verfahren, Software-in-the-Loop Verfahren, Simulationen und/oder Testfahrten verwendet werden.

Der Aufwand, insbesondere der Zeit- und/oder Kostenaufwand, zum Testen derartiger Fahrzeugfunktionen unter Verwendung der oben genannten Überprüfungsmethoden ist dabei typischerweise sehr hoch, da eine große Anzahl potenziell möglicher Fahrsituationen getestet werden muss.

Ein zumindest teilweise autonomes Verkehrsmittel ausschließlich auf der Straße mit Fahrtstrecken über Milliarden Kilometer zu testen ist aus Zeit- und Kostengründen nicht möglich. Zudem würden viele redundante Testkilometer entstehen, während kritische und ungewöhnliche Situationen, die aber relevant für die Fähigkeiten des zumindest teilweise autonomen Fahrzeugs sind, nicht auftreten.

Dies kann insbesondere zu einem hohen Aufwand für Testfahrten als auch für Simulationen führen. DE 10 2017 200 180 Al gibt ein Verfahren zur Verifizierung und/oder Validierung einer Fahrzeugfunktion an, welche dafür vorgesehen ist, ein Fahrzeug in Längs- und/oder Querrichtung autonom zu führen.

Das Verfahren umfasst ein Ermitteln, auf Basis von Umfelddaten bezüglich eines Umfelds des Fahrzeugs, einer Test-Steueranweisung der Fahrzeugfunktion an einen Aktuator des Fahrzeugs, wobei die Test- Steueranweisung nicht durch den Aktuator umgesetzt wird.

Das Verfahren umfasst des Weiteren ein Simulieren, auf Basis von Umfelddaten und unter Verwendung eines Verkehrsteilnehmer-Modells bezüglich zumindest eines Verkehrsteilnehmers im Umfeld des Fahrzeugs, einer fiktiven Verkehrssituation, die vorliegen würde, wenn die Test- Steueranweisung umgesetzt worden wäre.

Das Verfahren umfasst ferner ein Bereitstellen von Testdaten in Bezug auf die fiktive Verkehrssituation. Die Fahrzeugfunktion wird hierbei zum Ermitteln der Test-Steueranweisung passiv im Fahrzeug betrieben.

Nachteilhaft an diesem Verfahren ist, dass zur Verifizierung und/oder Validierung der Fahrzeugfunktion ein tatsächlicher Betrieb des Fahrzeugs zum Ermitteln der benötigten Daten erforderlich ist.

Die Hersteller von zumindest teilweise autonomen Verkehrsmitteln benötigen eine parallelisierte, simulationsbasierte Lösung. Die Testmethode „Szenario basiertes Testen" setzt hier an. Aber auch hier benötigt jedes zu testende Szenario Zeit und damit Kosten. Die Hersteller von zumindest teilweise autonomen Verkehrsmitteln besitzen Datenbanken mit Tausenden von Szenarien, in denen sich im Laufe der Zeit Duplikate oder sehr ähnliche Szenarien häufen. Selbst bei einer massiven Parallelisierung ist das Testen aller Szenarien zu zeitaufwändig. In einer vorteilhaften Ausgestaltung der Erfindung werden doppelte und ähnliche Szenarien identifiziert und so eine Ausführungsreihenfolge bestimmt, die zur Maximierung der Abdeckung der Szenarien beiträgt. Es ist daher Aufgabe der Erfindung, ein Verfahren, eine Testeinheit, ein Computerprogramm und einen computerlesbaren Datenträger anzugeben, welche eine Ausführungsreihenfolge von Szenarien im Rahmen eines Szenario-basierten Testens für Systeme und System komponenten im hochautomatisierten Fahren in effizienter Weise ermitteln können.

Offenbarung der Erfindung

Die Aufgabe wird erfindungsgemäß gelöst durch ein computerimplementiertes Verfahren zum Bereitstellen eines Szenario-Test- Verlaufs zu testender Verkehrsszenarien für Tests einer Vorrichtung zur zumindest teilweisen autonomen Führung eines Verkehrsmittels nach Patentanspruch 1, eine Testeinheit, für die ein Test-Verlauf von zu testender Verkehrsszenarien ausgeführt wird nach Patentanspruch 12, ein Computerprogramm nach Patentanspruch 14 und einen computerlesbaren Datenträger nach Patentanspruch 15.

Beim Szenario-basierten Testen von Systemen und Systemkomponenten zur autonomen Führung eines Kraftfahrzeugs werden Szenarien definiert, welche als Abstraktion einer Verkehrssituation bezeichnet werden können. Für jedes Szenario können dann wiederum Testfälle ausgeführt werden. Ein logisches Szenario ist hierbei die Abstraktion einer Verkehrssituation mit der Straße, dem Fahrverhalten und dem umliegenden Verkehr ohne konkrete Parameterwerte. Durch die Wahl konkreter Parameterwerte wird aus dem logischen Szenario ein konkretes Szenario. Ein solches konkretes Szenario entspricht einer jeweils einzelnen Verkehrssituation.

Für Parametersätze können zwischen Szenerie-Parametern und Fahrsituationsparametern unterschieden werden, wobei alle Parameter einen vorgegebenen Definitionsbereich aufweisen.

Im Sinne der Szenerie-Parameter können zum Beispiel Straße mit verschiedenen Fahrspurmarkierungen, verschiedene Landschaften, Kreuzungen, Kurven und Straßenbeschränkungen eine Herausforderung sein. Darüber hinaus können Fahrsituationsparameter durch die Anzahl und Art der Verkehrsteilnehmer bestimmt werden. Fahrsituationsparameter spiegeln damit bewegliche Objekte im Szenario wider, wie die Anzahl der Verkehrsteilnehmer, Art der Verkehrsteilnehmer, Anzahl Spurwechsel und / oder durchgeführte Manöver der Verkehrsteilnehmer.

Eine autonome Fahrfunktion ist durch ein System, beispielsweise ein Steuergerät, realisiert. Das Steuergerät wird herkömmlicherweise im realen Fahrzeug in realen Verkehrssituationen getestet, durch Hardware-in-the-loop Tests oder alternativ durch vollständig virtuelle Tests validiert.

Das Verfahren umfasst des Weiteren Trainieren und Verwenden eines Ähnlichkeitsklassifikationsmoduls zur Klassifizierung der Ähnlichkeit zwischen zwei Szenarien basierend auf einer Teilmenge eines Parametersatzes des jeweiligen Szenarios.

Die Teilmenge eines Parametersatzes ist durch eine Szenario- Vektorrepräsentation gegeben. Die Szenario-Vektorrepräsentationen enthält differenzierende, statische Variablen eines Parametersatzes eines Szenarios, umfassend Szenerie-Parameter und Fahrsituationsparameter, die die Unterscheidbarkeit von realen Verkehrssituationen erlauben.

Jedes strukturierte, maschinenlesbare Datenobjekt, das ein Szenario darstellt, enthält Tausende von Eigenschaften. Einige der Eigenschaften sind nicht erforderlich, um redundante Szenarien zu erkennen. Zum Beispiel die Startposition des Straßennetzes innerhalb des Koordinatensystems eines Szenarios ist für die Feststellung, ob das autonome Fahren ordnungsgemäß funktioniert, unerheblich. Im Gegensatz dazu ist die Anzahl der Spuren für das Testen von Steuergeräten wichtig, da zusätzliche Fahrspuren für Ausweichmanöver verwendet werden können. Des Weiteren ist das Fehlen einer weiteren Fahrspur fatal, wenn das Steuergerät ein Ausweichmanöver durchführt.

Daher wird erfindungsgemäß, wesentliche Merkmale, die ein Szenario darstellen, in einer Vektorrepräsentation zusammengeführt und als Eingabe für das Ähnlichkeitsklassifikationsmodul verwendet. Im Rahmen des vorliegenden Verfahrens wird demnach in vorteilhafter Weise ein Maschinelles Lernverfahren und Modell eingesetzt, wie vorzugsweise ein Perzeptron, ein künstliches neuronales Netz, Support Vector Machines und / oder Reinforcement Learning, welche zur Aufgabe haben, die Ähnlichkeit zwischen Szenarien, dargestellt in einer Szenario-Vektorrepräsentation, zu ermitteln.

Das Perzeptron ist ein vereinfachtes künstliches neuronales Netz, welches aus einem einzelnen künstlichen Neuron mit anpassbaren Gewichtungen und einem Schwellenwert besteht. Das vorliegende Verfahren nutzt zur Realisierung einer Ähnlichkeitsaussage durch ein Perzeptron ein Tripel- Ansatz. Es werden Trainingsdaten durch Experten zur Verfügung gestellt, die eine Aussage erlauben ob Szenario S2 ähnlicher zu S1 ist als Szenario S3. Entsprechend wird ein Feedback zur Gewichtung zurück gegeben in der Höhe von 1 oder -1, so dass das Perzeptron durch ein überwachtes Lernverfahren Gewichte anpassen und lernen kann, Ähnlichkeiten zwischen Szenarien zu erkennen und dann selbständig Ähnlichkeitsaussagen treffen kann.

Das vorliegende Verfahren kann des Weiteren die Ähnlichkeit zwischen zwei Szenarien unter Verwendung eines künstlichen neuronalen Netzes bestimmen. Das vorliegende Verfahren kann unter Verwendung eines künstlichen neuronalen Netzes zur Identifikation von Ähnlichkeiten zwischen Szenarien ein bestärkendes und / oder ein überwachtes Lernverfahren einsetzen. Im Unterschied zum bestärkenden Lernen unter Verwendung eines künstlichen neuronalen Netzes wird beim überwachten Lernen mit gegebenen Trainingsdaten trainiert. Trainingsdaten können hier durch bereits existierende Simulationsergebnisse oder bewerteter Ähnlichkeit zwischen Szenarien durch Experten gegeben sein.

Stattdessen existieren beim bestärkenden Lernen zwei Parteien: Das Netz, allgemein als Agent bezeichnet, und die Umgebung. Die Umgebung kann auch als Spielfeld angesehen werden, an dem der aktuelle Zustand bzw. die aktuelle Position des Agenten abgelesen wird. Das Netz führt auf Basis des aktuellen Zustands eine Aktion aus. Diese Aktion verändert den Zustand der Umgebung. Von der Umgebung bekommt das Netz den neuen Zustand und eine Bewertung der getätigten Aktion zurück.

Ziel ist es, die bestmögliche Bewertung zu erreichen, also die Bewertung zu maximieren. Folglich werden im Lernprozess anhand der Bewertung des getätigten Zuges die Gewichte des neuronalen Netzes angepasst und es wird eine neue Aktion durchgeführt. Durch die sukzessive Anpassung der Gewichte lernt das Netz die bestmögliche Aktion durchzuführen, also eine Strategie, die bestmögliche Bewertung zu erlangen. Analog kann durch einfache Anpassung die Bewertung auch minimiert werden, falls ein Minimum erreicht werden soll.

Neben der Anwendung von bestärkendem Lernen unter Verwendung von künstlichen neuronalen Netzen, können im Sinne des Reinforcement Learnings auch andere Methoden wie Monte-Carlo und / oder Temporal- Difference Learning eingesetzt werden.

Support Vector Machine ist ein Verfahren der Mustererkennung, das in Computerprogrammen umgesetzt wird und so entsprechend des vorliegenden Verfahrens die Ähnlichkeit zwischen Szenarien indiziert. Dazu wird eine Menge von Trainingsobjekten benötigt, die durch Experten vorklassifiziert sein können oder durch existierende Simulationsergebnisse vorhergehender Tests vorliegen. Jedes Objekt wird im Sinne der Support Vector Machines durch einen Vektor in einem Vektorraum repräsentiert. Erfindungsgemäß werden Szenarien als Szenario-Vektorrepräsentationen beschrieben. Aufgabe der Support Vector Machine ist es, in diesen Raum mindestens eine Hyperebene zu legen, die die Objekte in mindestens zwei Klassen teilt. Darüber werden ähnliche Szenario-Vektorrepräsentationen bestimmt.

Damit nicht unnötig viele Verkehrssituationen und damit Parametersätze über herkömmliche Simulationsverfahren getestet werden müssen, werden im Rahmen des vorliegenden Verfahrens die Ähnlichkeit zwischen Szenarien ermittelt durch das Ähnlichkeitsklassifikationsmoduls, so dass sehr ähnliche Parameterkombinationen erkannt und nicht doppelt validiert werden.

Das Ergebnis des Ähnlichkeitsklassifikationsmoduls für zwei Szenarien wird durch den Ähnlichkeitsklassifikationswert, der vorzugsweise in einem numerischen Wertebereich zwischen 0 und 1 liegt angegeben, wobei 0 keine Ähnlichkeit zwischen den Szenarien indiziert und 1 eine vollständige Übereinstimmung bezogen auf die jeweiligen Szenario- Vektorrepräsentationen, also der Teilmenge eines Parametersatzes. In anderen Ausführungsformen kann der Ähnlichkeitsklassifikationswert auch in anderen Skalengrößen angegeben werden.

Alle Szenarien-Vektorrepräsentationen und jeweilige Ähnlichkeitsklassifikationswerte werden in einer Speichereinheit gespeichert, die dafür ausgebildet ist, die Zusammenhänge zwischen den Vektoren und Ähnlichkeiten nachzuhalten.

Zur Bestimmung einer geeigneten Ausführungsreihenfolge, die möglichst abweichende Szenarien beinhaltet, wird eine Graphen-Repräsentation umfassend einer Vielzahl von Szenarien erzeugt, vorzugsweise alle Szenarien-Vektorrepräsentationen in der Speichereinheit. In der Graphen- Repräsentation stellen die Knoten die Szenario-Vektorrepräsentationen dar, also eine Teilmenge des Parametersatzes des Szenarios und Kanten zwischen zwei Knoten werden mit dem Ähnlichkeitsklassifikationswert gewichtet, so dass die Ähnlichkeit zwischen zwei Knoten und damit die repräsentierenden Szenarien indiziert wird.

Durch Erhalten einer Benutzereingabe durch eine elektronische Benutzerschnittstelle und / oder einer automatischen Systemeingabe, wobei die Eingabe einen geforderten Wert für die Abdeckung der in der Speichereinheit gespeicherten Szenarien beinhaltet und / oder eine geforderte Anzahl an zu testenden Szenarien, so dass eine Zielsetzung für das Verfahren bestimmt wird. Es wird dann eine Auswahl und Ausführungsreihenfolge der Szenarien und damit der repräsentierenden Knoten mit der Zielsetzung einer maximalen Abdeckung des Graphen bestimmt entsprechend der gegebenen Eingabe. Sollte eine Gesamtabdeckung von zumindest 70% der gespeicherten Szenarien und damit realen Verkehrssituationen erforderlich sein, wird eine Auswahl und Ausführungsreihenfolge bis zu diesem Schwellwert bestimmt. Es sind natürlich andere Ausführungsbeispiele mit anderen Eingaben zu einer Gesamtabdeckung möglich. Wird durch die Eingabe eine maximale Anzahl an Szenarien angegeben, werden die Szenarien ausgewählt und die Ausführungsreihenfolge bestimmt, die einer optimalen Abdeckung, im Rahmen des begrenzenden Schwellwerts, entspricht. Das erfindungsgemäße Verfahren kann somit Ergebnisse in Relation zu zur Verfügung stehenden Ressourcen liefern.

Zur Auswahl eines nächsten Knoten und damit das repräsentierende Szenario, also der Teilmenge eines Parametersatzes eines Szenarios, kann vorzugsweise ein gieriger Algorithmus verwendet werden. Solche Algorithmen zeichnen sich dadurch aus, dass sie schrittweise den Folgezustand auswählen, der zum Zeitpunkt der Wahl den größten Gewinn bzw. das beste Ergebnis verspricht, wobei sich hier das Ergebnis durch eine möglichst großer Abdeckung an Szenarien, basierend auf der Eingabe durch den Benutzer oder einer zuvor bestimmten Systemeingabe, bildet.

Unter Verwendung des vorliegenden Verfahrens kann beispielsweise ein sogenanntes Cut-In-Szenario von anderen Szenarien unterschieden werden. Das Cut-In-Szenario kann als Verkehrssituation bezeichnet werden, bei welcher ein hochautomatisiertes bzw. autonomes Fahrzeug in einer vorgegebenen Fahrspur fährt und ein anderes Fahrzeug mit gegenüber dem Ego-Fahrzeug verringerter Geschwindigkeit von einer weiteren Fahrspur in die Fahrspur des Ego-Fahrzeugs in einem bestimmten Abstand einschert. Das Ego-Fahrzeug bezeichnet hier das zu testende Fahrzeug.

Die Geschwindigkeit des Ego-Fahrzeugs und des weiteren Fahrzeugs, welches auch als Fellow-Fahrzeug bezeichnet wird, ist dabei konstant. Da die Geschwindigkeit des Ego-Fahrzeugs höher ist als die des Fellows, muss das Ego-Fahrzeug abgebremst werden, um eine Kollision der beiden Fahrzeuge zu vermeiden. Aber auch ein Cut-in-Szenario kann in verschiedenen Ausprägungsformen vorliegen, wie eine Unterscheidung in der Fahrbahnbreite, oder der Anzahl an Fahrspuren.

Die gemäß des Verfahrens gewählten Szenarien, in der definierten Ausführungsreihenfolge können anschließend in vorteilhafter Weise im Rahmen von virtuellen Tests des Steuergeräts validiert werden, sodass durch das erfindungsgemäße Verfahren ein effizienteres virtuelles Validieren von Steuergeräten zur autonomen Führung von Verkehrsmitteln möglich ist.

Im Rahmen der Tests einer Vorrichtung zur zumindest teilweisen autonomen Führung eines Verkehrsmittels basierend auf der Ausführungsreihenfolge der Szenarien können dann auch dynamische Variablen eines Parametersatzes, die nicht Teil der Szenario-Vektorrepräsentation sind variiert und getestet werden, inklusive der Geschwindigkeit eines Verkehrsteilnehmers.

Weitere Ausführungsformen der vorliegenden Erfindung sind Gegenstand der weiteren Unteransprüche und der nachfolgenden Beschreibung unter Bezugnahme auf die Figuren.

Die Testeinheit umfasst Mittel zum Bereitstellen eines Test-Verlaufs zu testender Verkehrsszenarien, für Tests einer Vorrichtung zur zumindest teilweisen autonomen Führung eines Verkehrsmittels.

Die Testeinheit ist somit in vorteilhafter Weise in der Lage, entsprechende Szenarien für Tests in geeigneter Ausführungsreihenfolge im Hinblick auf beispielsweise ein Cut-In-Szenario zu ermitteln.

Gemäß einem weiteren Aspekt der Erfindung ist ferner ein Computerprogramm mit Programmcode vorgesehen, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird. Gemäß einem weiteren Aspekt der Erfindung ist ein Datenträger mit Programmcode eines Computerprogramms vorgesehen, um das erfindungsgemäße Verfahren durchzuführen, wenn das Computerprogramm auf einem Computer ausgeführt wird. Die hierin beschriebenen Merkmale des Verfahrens sind zur Identifikation eines Test-Verlaufs einer Vielzahl unterschiedlicher Szenarien bzw. Fahrsituationen verwendbar. Ebenfalls ist die erfindungsgemäße Testeinheit dazu geeignet, eine Vielzahl unterschiedlicher Vorrichtungen bzw. Steuergeräte von z.B. Automobilen, Nutzfahrzeugen und/oder kommerziellen Fahrzeugen, Schiffen oder Flugzeugen im Sinne einer Durchführung eines Test-Verlaufs einer Vielzahl unterschiedlicher Szenarien bzw. Fahrsituationen zu testen.

Kurze Beschreibung der Zeichnungen

Zum besseren Verständnis der vorliegenden Erfindung und ihrer Vorteile wird nun auf die nachfolgende Beschreibung in Verbindung mit den zugehörigen Zeichnungen verwiesen. Nachfolgend wird die Erfindung anhand exemplarischer Ausführungsformen näher erläutert, die in den schematischen Abbildungen der Zeichnungen angegeben sind.

Es zeigen:

Figur 1 zeigt eine schematische Darstellung von der erfindungsgemäßen Unterscheidung der Teilmenge eines Parametersatzes eines Szenarios,

Figur 2 zeigt eine schematische Darstellung zur erfindungsgemäßen Unterscheidung von Szenarien,

Figur 3 zeigt ein Ablaufdiagramm zum Trainieren und Verwenden eines Ähnlichkeitsklassifikationsmoduls zur Klassifizierung der Ähnlichkeit zwischen zwei Szenarien, als Teil des Verfahrens zum Bereitstellen eines Test- Verlaufs zu testender Verkehrsszenarien für Tests einer Vorrichtung zur zumindest teilweisen autonomen Führung eines Verkehrsmittels gemäß einer bevorzugten Ausführungsform der Erfindung. Figur 4 zeigt eine erfindungsgemäße Ausführungsform zur Erzeugung von Tripel Trainingsdaten für ein Ähnlichkeitsklassifikationsmodul zur Klassifizierung der Ähnlichkeit zwischen zwei Szenarien, als Teil des Verfahrens zum Bereitstellen eines Test-Verlaufs zu testender Verkehrsszenarien für Tests einer Vorrichtung zur zumindest teilweisen autonomen Führung eines Verkehrsmittels,

Figur 5 zeigt eine Abbildung einer erfindungsgemäßen Graphen- Repräsentation ohne Wahl eines Knoten und damit des repräsentierenden Szenarios,

Figur 6 zeigt eine Abbildung einer erfindungsgemäßen Graphen- Repräsentation nach der ersten Wahl eines Knoten und damit des repräsentierenden Szenarios,

Figur 7 zeigt eine Abbildung einer erfindungsgemäßen Graphen- Repräsentation nach einer weiteren Wahl eines Knoten und damit des repräsentierenden Szenarios,

Figur 8 zeigt eine weitere vorteilhafte Ausführungsform einer Graphen-Repräsentation und der Bestimmung von Abdeckungswerten nach der Wahl eines Knoten und damit das repräsentierende Szenario,

Figur 9 zeigt eine Abbildung des erfindungsgemäßen Verfahrens zur Bestimmung eines Test-Verlaufs zu testender Verkehrsszenarien, für Tests einer Vorrichtung zur zumindest teilweisen autonomen Führung eines Verkehrsmittels.

Ausführliche Beschreibung der Ausführungsformen

Figur 1 zeigt eine schematische Darstellung von der erfindungsgemäßen Unterscheidung der Teilmenge eines Parametersatzes (SVR) eines Szenarios (Si bis S _n ). In Figur 1 ist dazu beispielhaft ein Kreuzungsszenario dargestellt mit abweichender Anzahl an Fellow-Fahrzeugen. Im ersten Szenario Si in Figur 1 wird ein Linksabbiege-Manöver des Ego-Fahrzeug gezeigt, mit 4 Fellow-Fahrzeugen, die ebenfalls den Kreuzungsbereich durchfahren. Im zweiten Szenario S2 in Figur 1 durchfährt das Ego Fahrzeug gradlinig den Kreuzungsbereich ohne Einwirkung von Fellow-Fahrzeugen. Trotz gleichbleibender Straßenarchitektur, Randbebauung und Kurven, unterscheiden die vorliegenden Szenarien Si und S2 sich deutlich, so dass eine abweichende Teilmenge eines Parametersatzes identifiziert wird und so abweichende Werte für die Szenario-Vektorrepräsentationen (SVR) erzeugt werden, der sich direkt auf die realen Verkehrssituationen bezieht. In der Szenario-Vektorrepräsentation (SVR) würden Werte für z.B. Randbebauung, Kurven gleiche Werte erhalten, aber für die Anzahl an Fellow-Fahrzeugen würden abweichende Werte definiert. Abschließend wird ein niedrigerer Ähnlichkeitsklassifikationswert (SCV) zwischen den Szenarien Si und S2 auf Basis ihrer Szenario-Vektorrepräsentation (SVR) ermittelt.

Figur 2 zeigt eine schematische Darstellung zur erfindungsgemäßen Unterscheidung von Szenarien (Si bis S _n ). Es können gemäß der Figur 2 die Szenarien Si und S2 vollständig abweichend sein bezogen auf der Teilmenge ihres Parametersatzes, überlappende Parameter aufweisen oder auch bezogen auf der Teilmenge ihres jeweiligen Parametersatzes gleich sein.

Figur 3 zeigt ein Ablaufdiagramm zum Trainieren und Verwenden eines Ähnlichkeitsklassifikationsmoduls (SCM) zur Klassifizierung der Ähnlichkeit zwischen zwei Szenarien, als Teil des Verfahrens zum Bereitstellen eines Test-Verlaufs zu testender Verkehrsszenarien für Tests einer Vorrichtung zur zumindest teilweisen autonomen Führung eines Verkehrsmittels gemäß einer bevorzugten Ausführungsform der Erfindung.

Das in Figur 3 dargestellte künstliche neuronale Netz Kl weist eine Eingabeschicht LI, eine Mehrzahl versteckter Schichten L2 und eine Ausgabeschicht L3 auf. Die Ausgabe des künstlichen neuronalen Netzes Kl ist ein Ähnlichkeitsklassifikationswert (SCV). Der Ähnlichkeitsklassifikationswert (SVC) liegt in einer erfindungsgemäßen Ausführung in einem numerischen Wertebereich zwischen 0 und 1, wobei 0 eine vollständige Abweichung zwischen den Szenarien angibt und 1 eine Übereinstimmung bezogen auf der Teilmenge des Parametersatzes, der Szenario-Vektorrepräsentation (SVR).

Zum Trainieren des künstlichen neuronalen Netzes Kl können bereits zumindest 1 klassifiziertes Wertepaar einer Teilmenge eines Parametersatzes SVRi und S R2 und damit dem Ähnlichkeitsklassifikationswert SC (si,s2) oder auch Tripel von bereits klassifizierten Teilmengen eines Parametersatzes (SVRi, SVR2, SVR3) genutzt werden. Alternativ können die Mehrzahl von Teilmengen von Parametersätzen SVRi, SVR2, ..., SVR _n und der entsprechenden Ähnlichkeitsklassifikationswerte SCV(si, _S2 ) bis SCV(sn,sm) beispielsweise durch eine Simulation erzeugt werden.

Figur 4 zeigt eine erfindungsgemäße Ausführungsform zur Erzeugung von Tripel-Trainingsdaten für ein Ähnlichkeitsklassifikationsmodul (SCM) zur Klassifizierung der Ähnlichkeit zwischen zwei Szenarien, als Teil des Verfahrens zum Bereitstellen eines Test-Verlaufs zu testender Verkehrsszenarien für Tests einer Vorrichtung zur zumindest teilweisen autonomen Führung eines Verkehrsmittels.

Dazu werden gemäß Figur 4 drei Szenarien Si bis S3 aus einer weiteren Speichereinheit (SE ₂ ) ausgewählt. Für die Szenarien werden die Szenario- Vektorrepräsentationen SVRi bis SVR3 erstellt. Für dieses Tripel werden dann Ähnlichkeitsklassifikationswerte (SCV) ermittelt, vorzugsweise durch Experten oder Simulationsergebnisse aus bereits erstellten Simulationen zum Testen einer Vorrichtung zur zumindest teilweisen autonomen Führung eines Verkehrsmittels. Diese Tripel können dann als Eingabe Trainingsdaten für Maschinelle Lernverfahren und Modelle, wie erfindungsgemäß einem Perzeptron, einem neuronalen Netz, Reinforcement Learning und / oder Support Vector Machines genutzt werden.

Alle Szenarien-Vektorrepräsentationen (SVC) und jeweilige Ähnlichkeitsklassifikationswerte (SCV) werden in einer geeigneten Speichereinheit (SEi) gespeichert, die dafür ausgebildet ist, die Zusammenhänge zwischen den Vektoren und Ähnlichkeiten nachzuhalten. Figur 5 zeigt eine Abbildung einer erfindungsgemäßen Graphen- Repräsentation (GR) ohne Wahl eines ersten Knotens. Das Erzeugen einer Graphen-Repräsentation (GR) umfasst eine Vielzahl von Szenarien, dessen Teilmenge von Parametersätzen, demnach einer Szenario- Vektorrepräsentation, die in einer geeigneten Speichereinheit (SEi) gespeichert sind. In der Graphen-Repräsentation (GR) stellen Knoten jeweils die Teilmenge eines Parametersatzes eines Szenarios dar und Kanten zwischen zwei Knoten sind mit einem Ähnlichkeitsklassifikationswert gewichtet, der die Ähnlichkeit zwischen den zwei Szenarien, der jeweiligen Knoten indiziert.

Figur 6 zeigt eine Abbildung einer erfindungsgemäßen Graphen- Repräsentation nach der ersten Wahl eines Knoten. In Figur 6 wurde beispielhaft Knoten und damit das repräsentierende Szenario Si gewählt. In diesem Knoten liegt dann ein Abdeckungswert (CV) mit dem numerischen Wert 1 vor. Die anderen Knoten und damit repräsentierenden Szenarien S2 bis S4 erhalten einen Abdeckungswert (CV) des Ähnlichkeitsklassifikationswertes (SCV) zu Si.

Figur 7 zeigt eine Abbildung einer erfindungsgemäßen Graphen- Repräsentation nach einer weiteren Wahl eines Knoten. Gemäß Figur 7 wurde beispielhaft Knoten und damit das repräsentierende Verkehrsszenario S3 gewählt. Auch dieser Knoten erhält mit diesem Schritt den Abdeckungswert (CV) 1. Die weiteren Knoten und damit repräsentierende Szenarien erhalten den numerischen Wert der maximalen Ähnlichkeit in Bezug zum Ähnlichkeitsklassifikationswert (SCV) zu den Knoten Si oder S3, je nach dem welcher numerischer Wert höher ist.

Figur 8 zeigt eine weitere vorteilhafte Ausführungsform einer Graphen- Repräsentation (GR) und der Bestimmung von Abdeckungswerten (CV) nach der Wahl eines Knoten und damit das repräsentierende Szenario.

Die Graphen-Repräsentation (GR) in Figur 8 weist 5 Knoten und damit repräsentierende Szenarien S1-S5, also reale Verkehrssituationen auf. Für alle Knoten wurde bereits ein erster Abdeckungswert (CV) und ein Ähnlichkeitsklassifikationswert (SCV) bestimmt. Nach Wahl des Knoten und damit Szenarios Si wurden die entsprechenden Abdeckungswerte (CV) erneuert und zeigen jeweils einen Abdeckungswert (CV) des maximalen Ähnlichkeitsklassifikationswertes (SCV) zu Si auf. Durch den Ähnlichkeitsklassifikationswert des numerischen Wertes von 1 kann von einer vollständigen Abdeckung von S3 nach der Wahl von Si ausgegangen werden bezogen auf ihre jeweiligen Szenario-Vektorrepräsentationen (SVR).

In dieser besonderen und vorteilhaften Ausführungsform in Figur 8 wurde die Graphen-Repräsentation (GR) gezielt dazu verwendet Übereinstimmungen und damit Ähnlichkeitswerte (SCV) von einem Verkehrsszenario Si zu anderen Szenarien zu bestimmen und damit zu untersuchen in wie weit das Szenario Si redundante Tests beinhaltet im Vergleich zu den weiteren Szenarien S2-S5. Darüber kann auch eine Gewichtung von Szenarien vorgesehen werden.

Figur 9 zeigt eine Abbildung des erfindungsgemäßen Verfahrens zur Bestimmung eines Test-Verlaufs zu testender Verkehrsszenarien, für Tests einer Vorrichtung zur zumindest teilweisen autonomen Führung eines Verkehrsmittels.

In der Figur 9 sind zunächst in Speichereinheit SE2, die auch durch Messdaten repräsentierten Szenarien festgehalten, die in hoher Stückzahl bei Herstellern von zumindest teilweise autonomen Fahrzeugen vorliegen.

Auf Basis der Szenarien in Speichereinheit SE2 werden Szenario¬

Vektorrepräsentationen (SVR) erzeugt. Diese Szenario-

Vektorrepräsentationen (SVR) sind Eingabe für das

Ähnlichkeitsklassifikationsmoduls (SCM). Die ermittelten

Ähnlichkeitsklassifi kationswerte (SCV) durch das Ähnlichkeitsklassifikationsmodul werden in Zusammenhang mit den entsprechenden Szenario-Vektorrepräsentationen (SVR)in der

Speichereinheit SEI gespeichert. Die Einträge aus Speichereinheit SEI werden dann als Eingabe für die Graphen-Repräsentation (GR) genutzt. Die Graphen-Repräsentation (GR) ermittelt Abdeckungswerte (CV) und darüber eine Ausführungsreihenfolge der Szenarien-Vektorrepräsentationen. Obwohl hierin spezifische Ausführungsformen illustriert und beschrieben wurden, ist es dem Fachmann verständlich, dass eine Vielzahl von alternativen und/oder äquivalenten Implementierungen existieren. Es sollte beachtet werden, dass die beispielhafte Ausführungsform oder beispielhaften Ausführungsformen nur Beispiele sind und nicht dazu dienen, den Umfang, die Anwendbarkeit oder die Konfiguration in irgendeiner Weise einzuschränken.

Vielmehr liefert die vorstehend genannte Zusammenfassung und ausführliche Beschreibung dem Fachmann eine bequeme Anleitung zur Implementierung zumindest einer beispielhaften Ausführungsform, wobei verständlich ist, dass verschiedene Änderungen im Funktionsumfang und der Anordnung der Elemente vorgenommen werden kann, ohne vom Umfang der beigefügten Ansprüche und ihrer rechtlichen Äquivalente abzuweichen. Im Allgemeinen beabsichtigt diese Anmeldung, Änderungen bzw. Anpassungen oder Variationen der hierin dargelegten Ausführungsformen abzudecken.