Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
COLLECTIVELY OBTAINING INFORMATION FOR AUTOMATED DRIVING-CONTROL FUNCTIONS
Document Type and Number:
WIPO Patent Application WO/2023/227291
Kind Code:
A1
Abstract:
The invention relates to a method for monitoring an automated driving-control function, wherein data from other road users regarding their planned trajectories and positions can be transmitted to a communication interface (5) of a vehicle (3), and a computing unit (7) executes the automated driving-control function by means of a dynamic environment model continuously updated with information which is determined from data from onboard sensors and from any available data from the other road users after fusion with the data from the onboard sensors, and wherein, in order to form a dissimilarity metric, results of the dynamic environment model with respect to the positions and/or planned trajectories of the road users are compared with the ego-positions and/or planned ego-trajectories transmitted from the other road users.

Inventors:
EBERLE ULRICH (DE)
FRANK SEBASTIAN (DE)
Application Number:
PCT/EP2023/059840
Publication Date:
November 30, 2023
Filing Date:
April 14, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
STELLANTIS AUTO SAS (FR)
International Classes:
G05B23/02; B60W60/00; G06F11/07
Foreign References:
DE102019002790A12020-08-06
US20210063546A12021-03-04
Other References:
BALAGHIASEFI REZA ET AL: "Automatic fault detection and execution monitoring in cooperative maneuvering", 2015 14TH INTERNATIONAL CONFERENCE ON ITS TELECOMMUNICATIONS (ITST), IEEE, 2 December 2015 (2015-12-02), pages 37 - 44, XP032850075, DOI: 10.1109/ITST.2015.7377397
Attorney, Agent or Firm:
SPITZFADEN, Ralf (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zum Überwachen eines Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion eines automatisierten Fahrzeugs (3), wobei an eine Kommunikationsschnittstelle (5) des automatisierten Fahrzeugs (3) Daten von anderen Verkehrsteilnehmern über deren jeweilig geplante Trajektorien und jeweilig selbst ermittelte Positionen übermittelt werden können, und von einer Recheneinheit (7) des automatisierten Fahrzeugs (3) simuliert oder real eine automatisierte Fahrsteuerfunktion mit Hilfe eines dynamischen Umgebungsmodells ausgeführt wird und das Umgebungsmodell auf Basis von Informationen kontinuierlich aktualisiert wird, die aus Daten fahrzeugeigener Sensoren und den gegebenenfalls vorliegenden Daten der anderen Verkehrsteilnehmer nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden, und wobei zur Bildung einer Unähnlichkeitsmetrik ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells bezüglich der jeweiligen Position und/oder geplanten Trajektorie der jeweiligen Verkehrsteilnehmer mit den von den anderen Verkehrsteilnehmern übermittelten eigenen Positionen und/oder eigenen geplanten Trajektorien ausgeführt wird, und im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert die Übernahme der Fahrzeugführung durch einen manuell steuernden Fahrer angefordert wird und/oder eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell für die spätere Anpassung von Parametern des dynamischen Umgebungsmodells abgespeichert werden.

2. Verfahren nach Anspruch 1 , wobei die Historie nach Beendigung der Fahrt des automatisierten Fahrzeugs (3) zur Analyse und/oder Anpassung des Algorithmus zur Ausführung der automatisierten Fahrsteuerfunktion verwendet wird, um unter Verwendung der Historie für die Eingangsdaten des dynamischen Umgebungsmodells mit vorgegebenen Ausgangsdaten die Parameter des dynamischen Umgebungsmodells anzupassen.

3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die von anderen Verkehrsteilenehmern an die Kommunikationsschnittstelle (5) des Systems (1) gegebenenfalls übermittelten Daten Informationen über die Umgebung der anderen Verkehrsteilnehmer umfassen, wie sie von den jeweiligen anderen Verkehrsteilnehmern erfasst werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei die von anderen Verkehrsteilnehmern übermittelten und an der Kommunikationsschnittstelle (5) empfangenen Daten mit den Daten fahrzeugeigener Sensoren fusioniert und statistisch gemittelt werden. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Aktualisierung des dynamischen Umgebungsmodells zusätzlich auf Basis von Informationen ausgeführt wird, die von einer stationären Umgebungserfassungseinheit ermittelt werden und mit den Daten aus den fahrzeugeigenen Sensoren fusioniert werden, und wobei zur Bildung der Unähnlichkeitsmetrik ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells mit den Daten der Umgebungserfassungseinheit erfolgt. Verfahren nach Anspruch 5, wobei eine stationäre Zentrale zur Sammlung von jeweiligen Daten fahrzeugeigener Sensoren und geplanter Trajektorien einer Vielzahl von Fahrzeugen verwendet wird, wobei von der Zentrale zusätzliche Umgebungsinformationen und/oder Verkehrsinformationen der Situation und Umgebung während der die Unähnlichkeitsmetrik den vorgegebenen Grenzwert überschritten hat abgespeichert hält und als Eingangsdaten und/oder Ausgangsdaten des dynamischen Umgebungsmodells bereitstellt. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion ein künstliches neuronales Netz umfasst, wobei die Parameter Gewichte des künstlichen neuronalen Netzes umfassen. Verfahren nach einem der vorhergehenden Ansprüche, wobei Konfidenzen der Daten fahrzeugeigener Sensoren ermitteln werden und mit weiterhin ermittelten Konfidenzen aus den erhaltenen und mit den Daten fahrzeugeigener Sensoren fusionierter Daten anderer Verkehrsteilnehmer verglichen werden. System (1) zur Unterstützung eines automatisierten Fahrzeugs (3), aufweisend eine Kommunikationsschnittstelle (5) zum Empfangen von Daten von anderen Verkehrsteilnehmern, und eine Recheneinheit (7), die dazu ausgeführt ist, simuliert oder real eine automatisierte Fahrsteuerfunktion des automatisierten Fahrzeugs (3) während der Fahrt auszuführen, sowie zur Ausführung der automatisierten Fahrsteuerfunktion ein dynamisches Umgebungsmodell zu verwenden und auf Basis von Informationen kontinuierlich zu aktualisieren, die von der Recheneinheit (7) aus den Daten fahrzeugeigener Sensoren ermittelt werden und im Falle der Verfügbarkeit aus von anderen Verkehrsteilnehmern gesendeten und über die Kommunikationsschnittstelle (5) empfangenen Daten über geplante Trajektorien und Positionen der anderen Verkehrsteilnehmer, jeweils wie von den anderen Verkehrsteilnehmern geplant und ermittelt, nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden, und wobei die Recheneinheit (7) dazu ausgeführt ist, zur Bildung der Unähnlichkeitsmetrik einen Vergleich von Ergebnissen des dynamischen Umgebungsmodells zur Position und/oder geplanten Trajektorien der Verkehrsteilnehmer auf Basis der Daten fahrzeugeigener Sensoren mit den von den anderen Verkehrsteilnehmern übermittelten geplanten Trajektorien und/oder Positionen von sich auszuführen, und im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert die Übernahme der Fahrzeugführung durch einen manuell steuernden Fahrer anzufordern und/oder eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell für die spätere Anpassung von Parametern des dynamischen Umgebungsmodells abzuspeichern. Fahrzeug (3) mit einem System (1) nach Anspruch 9.

Description:
KOLLEKTIVE INFORMATIONSBESCHAFFUNG FÜR AUTOMATISIERTE FAHRSTEUERFUNKTIONEN

Die Erfindung betrifft ein Verfahren zum Überwachen eines Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion eines automatisierten Fahrzeugs, sowie ein System zur Unterstützung eines automatisierten Fahrzeugs.

Im Stand der Technik sind automatisierte Fahrsteuerfunktionen bekannt, nicht nur zum Unterstützen eines Fahrers bei der manuellen Fahrzeugführung für einen höheren Komfort oder auch ein höheres Sicherheitsniveau, sondern insbesondere um die manuelle Fahrzeugführung durch eine vollautomatisierte Fahrzeugführung zu ersetzen, um im Idealfall einen autonomen Fährbetrieb zu ermöglichen, der die Unterstützung durch einen manuellen Fahrer nicht benötigt. Die Qualität eines solchen für die automatisierte Fahrsteuerfunktion herangezogenen Algorithmus unterliegt jedoch in hohem Maße der Qualität von Sensordaten und weiteren Informationen über die aktuelle Situation und Umgebung des Fahrzeugs. Werden nur die fahrzeugeigenen Sensoren verwendet, ergibt sich eine naturgemäße Limitierung der erhaltenen Informationen dadurch, dass die fahrzeugeigenen Sensoren eine gemeinsame Perspektive auf die Umgebung teilen und unter Umständen optisch verdeckte Objekte, weitere Verkehrsteilnehmer, o. ä. nicht erfassen können. Zur Erhöhung der Informationsqualität und Informationsdichte ist es im Stand der Technik bekannt, Sensordaten aus verschiedenen Quellen zu fusionieren.

Hierzu betrifft die US 2021/0063546 A1 eine verteilte Sensor-Kalibrierung und das Teilen von Sensorinformationen mittels einer V2X- Schnittstelle. Hierbei wird insbesondere vorgeschlagen, dass eine entsprechende Schnittstelle an einem Fahrzeug von einer externen Quelle Kalibrierungsdaten erhält. Entsprechende Koordinatensystemtransformationen erlauben insbesondere die Übertragung von Position und Orientierung eines erfassten Objekts von einem Fahrzeug auf ein anderes Fahrzeug.

Es ist eine Aufgabe der Erfindung, den Betrieb einer automatischen Fahrsteuerfunktion sicherer zu machen.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zum Überwachen eines Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion eines automatisierten Fahrzeugs, wobei an eine Kommunikationsschnittstelle des automatisierten Fahrzeugs Daten von anderen Verkehrsteilnehmern über deren jeweilig geplante Trajektorien und jeweilig selbst ermittelte Positionen übermittelt werden können, und von einer Recheneinheit des automatisierten Fahrzeugs simuliert oder real eine automatisierte Fahrsteuerfunktion mit Hilfe eines dynamischen Umgebungsmodells ausgeführt wird und das Umgebungsmodell auf Basis von Informationen kontinuierlich aktualisiert wird, die aus Daten fahrzeugeigener Sensoren und den gegebenenfalls vorliegenden Daten der anderen Verkehrsteilnehmer nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden, und wobei zur Bildung einer Unähnlichkeitsmetrik ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells bezüglich der jeweiligen Position und/oder geplanten Trajektorie der jeweiligen Verkehrsteilnehmer mit den von den anderen Verkehrsteilnehmern übermittelten eigenen Positionen und/oder eigenen geplanten Trajektorien ausgeführt wird, und im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert die Übernahme der Fahrzeugführung durch einen manuell steuernden Fahrer angefordert wird und/oder eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell für die spätere Anpassung von Parametern des dynamischen Umgebungsmodells abgespeichert wird.

Die automatisierte Fahrsteuerfunktion dient entweder im Sinne eines Fahrerassistenzsystems zum Eingriff in eine manuelle Fahrzeugführung, oder zur vollständig automatisierten Fahrzeugführung wenn ein automatisierter Fahrmodus oder gar eine vollständig autonome Fahrzeugführung gewünscht ist. Während ein Fahrerassistenzsystem einen Fahrer des Fahrzeugs in seiner manuellen Fahrzeugführung unterstützt, beispielsweise durch die Einleitung einer Notbremsung, Korrekturen in der Spurführung, oder Ähnlichem, betrifft ein automatisierter Fahrmodus oder die autonome Fahrzeugführung die Übernahme der Fahrsteuerung durch die Fahrsteuerfunktion so, dass zumindest für eine gewisse Zeitdauer oder während der ganzen Fahrt eine manuelle Fahrzeugführung nicht notwendig ist.

Liegt eine reale Ausführung der automatisierten Fahrsteuerfunktion vor, erfolgt auch ein jeweiliger Eingriff des Fahrerassistenzsystems in die manuelle Führung des Fahrzeugs bzw. liegt eine Zeitdauer mit automatisierter Fahrzeugführung vor, d. h. das Fahrzeug wird maschinell geführt. Liegt dagegen eine simulierte Ausführung einer automatisierten Fahrsteuerfunktion vor, wird der jeweilige Eingriff des Fahrerassistenzsystems bzw. die vollständig automatisiert übernommene Fahrzeugführung nicht tatsächlich ausgeführt, sondern nur simuliert. Bei einer solchen simulierten Ausführung der automatisierten Fahrsteuerfunktion wird bevorzugt weniger ein Reglerausgang eines Sollwertfolgereglers in offener Kette überprüft, wie er beispielsweise bei einem Spurhalteassistenten verwendet wird, sondern vielmehr Entscheidungen und geplante Trajektorien höherer Ebenen, welche typischerweise die Kommandos an einen solchen Sollwertfolgeregler erst vorgeben. Entscheidungen und geplante Trajektorien für das Fahrzeug werden nämlich bevorzugt von der Recheneinheit auf Basis einer Umgebungsbeobachtung und dem tatsächlichen sowie erwarteten Verhalten anderer Verkehrsteilnehmer gebildet. So lässt sich im manuellen Betrieb des Fahrzeugs die Entscheidungshistorie im Bezug auf die Fahrzeugführung des menschlichen Fahrers sowie im Bezug auf die automatisierte Fahrsteuerfunktion vergleichen.

Es ergibt sich somit ein mehrstufiges Verfahren durch die Recheneinheit, um sowohl Daten für das dynamische Umgebungsmodell zu ermitteln, sowie um die Unähnlichkeitsmetrik zu ermitteln. Ist beispielsweise das automatisierte Fahrzeug im kaum erschlossenen Hinterland unterwegs, ohne dass es auf weitere Verkehrsteilnehmer trifft, so ist es auf die Verwendung der Daten aus den fahrzeugeigenen Sensoren angewiesen (gesetzt den Fall, dass auch keine weiteren Datenquellen zur Verfügung stehen wie unbemannte Flugzeuge oder Daten von Satelliten, die den aktuellen Ort des automatisierten Fahrzeugs beobachten).

Sind jedoch andere Verkehrsteilnehmer in der Nähe des automatisierten Fahrzeugs, so kann die Tatsache ausgenutzt werden, dass verschiedene und zum Teil verschiedenartige Sensorquellen bei der Beobachtung einer lokalen Situation grundsätzlich dazu in der Lage sind, zuverlässigere und zahlreichere Informationen über die Verkehrssituation und die Umgebung zu gewinnen, als die Sensoren eines einzelnen Fahrzeugs. Dieser Umstand wird dahingehend ausgenutzt, dass die Fahrzeuge untereinander vernetzt sind, d. h. eine sogenannte V2X- Schnittstelle aufweisen, um untereinander Informationen auszutauschen. Die relevanten Informationen zum Ausführen des ersten Aspekts der Erfindung sind insbesondere die jeweilige Position eines Fahrzeugs, wie sie von fahrzeugeigenen Sensoren ermittelt wird, sowie eine geplante Trajektorie des jeweiligen Fahrzeugs (i.A. Verkehrsteilnehmer).

Während also im Beisein von weiteren Fahrzeugen das betrachtete eigene automatisierte Fahrzeug mithilfe des dynamischen Umgebungsmodells nicht nur die Positionen der weiteren Verkehrsteilnehmer kontinuierlich abschätzt, sondern auch deren aktuelles Verhalten in die Zukunft projiziert und algorithmisch das Verhalten der jeweiligen anderen Verkehrsteilnehmer in der Zukunft abschätzt, können auch diese Informationen von den weiteren Verkehrsteilnehmern selbst durch die oben genannte V2X- Schnittstelle an das betrachtete automatisierte Fahrzeug übertragen werden.

Während jedes der Fahrzeuge damit sein eigenes dynamisches Umgebungsmodell verwaltet und aktualisiert, kann es im Beisein weiterer Verkehrsteilnehmer mit entsprechenden Fähigkeiten und einer V2X- Schnittstelle das eigens aktualisierte dynamische Umgebungsmodell stützen und entsprechende Konfidenzen der Daten der fahrzeugeigenen Sensoren ermitteln.

In diesem Zusammenhang kann insbesondere eine Zentrale zum Einsatz kommen, die anstelle der Peer-to-Peer Verbindung zwischen den einzelnen Verkehrsteilnehmern einen Server darstellt, um sämtliche Positionen und geplanten Trajektorien der einzelnen Verkehrsteilnehmer zu einem kollektiven Gesamtbild fusioniert. Dieses kollektive Gesamtbild kann wiederum an jedes einzelne der Fahrzeuge übertragen werden, sodass jedes einzelne der Fahrzeuge in der Lage dazu ist, eine jeweilige Unähnlichkeitsmetrik zu bilden und mit entsprechenden Grenzwerten zu vergleichen.

Liegen größere Abweichungen zwischen der eigenen Perzeption der Umgebung und des Verhaltens der Verkehrsteilnehmer mit dem kollektiven Gesamtbild vor, ist dies ein Hinweis darauf, dass ein Algorithmus zur Erstellung des dynamischen Umgebungsmodells angepasst werden muss, oder gar ein Sensor des eigenen Fahrzeugs defekt sein könnte. Weist die gebildete Unähnlichkeitsmetrik entsprechend darauf hin, so wird insbesondere die Gesamtheit aller verfügbaren Informationen als Annäherung der sogenannten "ground-truth" gesammelt, um das jeweilige dynamische Umgebungsmodell neu zu parametrisieren. Im Falle eines verwendeten künstlichen neuronalen Netzes zur Erfassung der Umgebung, Ausführung einer Bilderkennung, oder zum Treffen von Entscheidungen bezüglich der aktuellen Verkehrssituation auf Basis von abgeschätzten und erfassten Verhalten von anderen Verkehrsteilnehmern oder Objekten in der aktuellen Verkehrssituation (wie Verkehrsschilder, Warnbaken, Ampeln, Baustellen, etc.) werden hierbei insbesondere Gewichte des künstlichen neuronalen Netzes angepasst.

Somit erlaubt die Sensorfusion aus verschiedenartigen Quellen eine erleichterte Validierung und Anpassung von Algorithmen in der Verwendung zur Ausführung einer automatisierten Fahrsteuerfunktion, da wie oben erläutert das Ideal der "ground truth" mit der zunehmenden Anzahl von Quellen von Informationen angenähert wird und somit das sogenannte "supervised learning" von adaptiven Systemen vereinfacht werden kann, insbesondere durch strikte Analyse der verwendeten Algorithmen und der Ursache des Auftretens eines Fehlers.

Alternativ zum oben beschriebenen Validieren, Prüfen, Anpassen und/oder Testen der verwendeten Algorithmen zur Ausführung der automatischen Fahrsteuerfunktion kann auch in Echtzeit die Übernahme eines automatisch betriebenen Fahrzeugs durch einen menschlichen Fahrer angeregt werden, um in besonders schwierigen Situationen die Stärken eines menschlichen Fahrers auszunutzen und die Fahrsituation zu lösen.

An die Kommunikationsschnittstelle des automatisierten Fahrzeugs werden insbesondere dann die Daten von anderen Verkehrsteilnehmern über deren geplante Trajektorie und selbst ermittelte Positionen übermittelt, wenn entsprechend ausgestattete Fahrzeuge in einer näheren Umgebung um das betrachtete automatisierte Fahrzeug vorhanden sind. In diesem Fall übermitteln die weiteren Verkehrsteilnehmer, insbesondere weitere Fahrzeuge, die jeweils nach ihrer eigenen Trajektorienplanung ermittelten Trajektorien sowie ihre eigene, für sich selbst ermittelte, Position. Dies sind entsprechend Daten zur Position und zur geplanten Trajektorie, welche jeweils aus der Egoperspektive der weiteren Verkehrsteilnehmer ermittelt werden.

Während die jeweiligen ermittelten Positionen auf reiner Messung basieren, sind die Trajektorien jedoch geplante Bahnen und im weiteren Sinne Teil von Verhaltensweisen der weiteren Verkehrsteilnehmer. Genau diese Daten werden jedoch auch aus der Egoperspektive des betrachteten automatisierten Fahrzeugs bezüglich der anderen Verkehrsteilnehmer ermittelt und geschätzt, und somit vergleichbar mit den Daten der weiteren Verkehrsteilnehmer. Vor diesem Hintergrund wird die Unähnlichkeitsmetrik so ermittelt, dass sie diese Differenz berücksichtigt und eine Qualität der Einschätzung von Position und geplanten Trajektorien der weiteren Verkehrsteilnehmer durch die eigenen Sensoren durch einen Vergleich mit den entsprechenden Daten der weiteren Verkehrsteilnehmer selbst ermittelt.

Sind nicht nur Daten von weiteren Verkehrsteilnehmern verfügbar, sondern auch Umfelddaten von stationären Sensoren oder anderen Quellen wie Drohnen oder Satellitenbildern, wird bevorzugt die Ermittlung der Unähnlichkeitsmetrik auch auf Basis dieser zusätzlichen Quellen von Daten ausgeführt, die weitere Daten zur Verfügung stellen, um sich der "ground truth" anzunähern und so die Entscheidungen der Algorithmen zur Ausführung der automatisierten Fahrsteuerfunktion besser überprüfbar machen. In diesem Sinne können auch die zusätzlichen Daten aus weiteren Quellen wie stationären Sensoren, Drohnen oder Satellitenbildern zur Anpassung der Algorithmen zur Ausführung der automatisierten Fahrsteuerfunktion angewendet werden, wenn Werte der Unähnlichkeitsmetrik Anlass dazu bieten.

Es ist eine vorteilhafte Wirkung der Erfindung, dass nicht nur die Daten der fahrzeugeigenen Sensoren verwendet werden, um Inkonsistenzen in der Schätzung der Verkehrslage durch das dynamische aktualisierte Umgebungsmodell zu ermitteln, sondern stufenweise soviele Daten aus anderen Quellen wie möglich verwendet werden. Diese anderen Quellen sind insbesondere weitere Verkehrsteilnehmer wie andere Fahrzeuge, bei entsprechender Verfügbarkeit jedoch auch stationäre Sensoren, unbemannte Flugzeuge, Satelliteninformationen, etc.; während die fahrzeugeigenen Sensoren immer nur aus ein und derselben fahrzeugeigenen Perspektive die Umgebung erfassen können, liefern diese externen Quellen Daten über die selbe Situation jedoch aus anderer Perspektive, sodass mit zunehmender Anzahl und Qualität der externen Quellen im Gesamten ein Umgebungsbild ermittelt werden kann, welches der sogenannten "ground truth" am nächsten kommt, d. h. sich den objektiv und tatsächlich vorliegenden Eigenschaften der Verkehrssituation und der Umgebung um das betrachtete Fahrzeug immer weiter annähert. Somit ist es leichter möglich, ein unzureichendes Verhalten der Fahrsteuerfunktion zu ermitteln, welches insbesondere darauf beruht, dass eine Einschätzung im automatisierten Fahrzeug bezüglich der Umgebung und der Verkehrssituation nicht richtig war. Wird vom eigenen automatisierten Fahrzeug, insbesondere seiner Recheneinheit, eine Position oder ein erwartetes Verhalten eines Verkehrsteilnehmers nicht richtig eingeschätzt, kann der Fehler darin durch die Übermittlung der Position und der geplanten Trajektorie des Verkehrsteilnehmers identifiziert werden, während grundsätzlich die von einem Verkehrsteilnehmer ermittelten Daten zu seiner Umgebung und zu seiner Position wiederum an das betrachtete automatisierte Fahrzeuge übermittelt werden.

Gemäß einer vorteilhaften Ausführungsform wird die Historie nach Beendigung der Fahrt des automatisierten Fahrzeugs zur Analyse und/oder Anpassung des Algorithmus zur Ausführung der automatisierten Fahrsteuerfunktion verwendet, um unter Verwendung der Historie für die Eingangsdaten des dynamischen Umgebungsmodells mit vorgegebenen Ausgangsdaten die Parameter des dynamischen Umgebungsmodells anzupassen.

Gemäß einer vorteilhaften Ausführungsform wird demnach ein Verfahren bereitstellt zum Anpassen eines Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion eines automatisierten Fahrzeugs, wobei an eine Kommunikationsschnittstelle des automatisierten Fahrzeugs Daten von anderen Verkehrsteilnehmern über deren jeweilig geplante Trajektorien und jeweilig selbst ermittelte Positionen übermittelt werden können, und von einer Recheneinheit des automatisierten Fahrzeugs simuliert oder real eine automatisierte Fahrsteuerfunktion mit Hilfe eines dynamischen Umgebungsmodells ausgeführt wird und das Umgebungsmodell auf Basis von Informationen kontinuierlich aktualisiert wird, die aus Daten fahrzeugeigener Sensoren und den gegebenenfalls vorliegenden Daten der anderen Verkehrsteilnehmer nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden, und wobei zur Bildung einer Unähnlichkeitsmetrik ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells zur Position und/oder geplanten Trajektorien der jeweiligen Verkehrsteilnehmer mit den von den anderen Verkehrsteilnehmern übermittelten Positionen und/oder geplanten Trajektorien ausgeführt wird, und im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell abgespeichert wird und nach Beendigung der Fahrt des automatisierten Fahrzeugs zur Analyse und/oder Anpassung des Algorithmus zur Ausführung der automatisierten Fahrsteuerfunktion verwendet wird.

Gemäß einer weiteren vorteilhaften Ausführungsform umfassen die von anderen Verkehrsteilenehmern an die Kommunikationsschnittstelle des Systems gegebenenfalls übermittelten Daten Informationen über die Umgebung der anderen Verkehrsteilnehmer, wie sie von den jeweiligen anderen Verkehrsteilnehmern erfasst werden.

Nach dieser Ausführungsform ermitteln die weiteren Verkehrsteilnehmer nicht nur ihre eigene Position und ihre geplante Trajektorien, sondern auch Informationen über ihre Umgebung und andere Verkehrsteilnehmer einschließlich des betrachteten automatisierten Fahrzeugs aus ihrer eigenen Sicht. Die Algorithmen zur Ausführung der automatisierten Fahrsteuerfunktion können somit überprüfen, ob die eigene geplante Trajektorie und die eigene ermittelte Position mit der Sichtweise der anderen Verkehrsteilnehmer übereinstimmt. Liegt keine Übereinstimmung vor, kann eine Gefahrensituation entstehen, da dies auf eine Fehleinschätzung des eigenen betrachteten automatisierten Fahrzeugs durch die weiteren Verkehrsteilnehmer hindeutet.

Gemäß einer weiteren vorteilhaften Ausführungsform werden die von anderen Verkehrsteilnehmern übermittelten und an der Kommunikationsschnittstelle empfangenen Daten mit den Daten fahrzeugeigener Sensoren fusioniert und statistisch gemittelt.

Gemäß einer weiteren vorteilhaften Ausführungsform wird die Aktualisierung des dynamischen Umgebungsmodells zusätzlich auf Basis von Informationen ausgeführt, die von einer stationären Umgebungserfassungseinheit ermittelt werden und mit den Daten aus den fahrzeugeigenen Sensoren fusioniert werden, und wobei zur Bildung der Unähnlichkeitsmetrik ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells mit den Daten der Umgebungserfassungseinheit erfolgt.

Die stationäre Umgebungserfassungseinheit wird beispielsweise von einer oder mehreren Kameras auf Masten gebildet, die eine Verkehrssituation zumindest in einem bestimmten Bereich überwachen. Alternativen zu den Kameras sind selbstverständlich möglich, beispielsweise Radargeräte.

Gemäß einer weiteren vorteilhaften Ausführungsform wird eine stationäre Zentrale zur Sammlung von jeweiligen Daten fahrzeugeigener Sensoren und geplanter Trajektorien einer Vielzahl von Fahrzeugen verwendet, wobei von der Zentrale zusätzliche Umgebungsinformationen und/oder Verkehrsinformationen der Situation und Umgebung während der die Unähnlichkeitsmetrik den vorgegebenen Grenzwert überschritten hat abgespeichert hält und als Eingangsdaten und/oder Ausgangsdaten des dynamischen Umgebungsmodells bereitstellt.

Indem eine solche Zentrale verwendet wird, können die Daten der jeweiligen Verkehrsteilnehmer und Fahrzeuge zentral gesammelt werden und entsprechend technisch leicht verteilt werden. Es kann somit die Bildung eines kollektiven Gesamtbildes zur aktuellen Verkehrssituation und zum Austausch über die jeweils geplanten Trajektorien und Positionen der einzelnen Verkehrsteilnehmer, insbesondere Fahrzeuge, vereinfacht werden; die Überprüfung von Inkonsistenzen in der Situationserfassung der einzelnen Einheiten kann damit besonders leicht erfolgen.

Gemäß einer weiteren vorteilhaften Ausführungsform umfasst der Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion ein künstliches neuronales Netz, wobei die Parameter Gewichte des künstlichen neuronalen Netzes umfassen.

Ein künstliches neuronales Netz wird typischerweise mit Sätzen von vorgegebenen Eingangsdaten und vorgegebenen Ausgangsdaten trainiert. So kann beispielsweise eine maschinelle Objekterkennung in Kamerabildern erfolgen. Treten jedoch in der Realität Abweichungen in den Eingangsdaten von den vorgegebenen Eingangsdaten auf, so können gänzlich andere Ausgangsdaten vom künstlichen neuronalen Netz ermittelt werden, ohne dass dies jedoch für den menschlichen Betrachter begründet scheint. In einem solchen Fall ist das künstliche neuronale Netze entsprechend anzupassen und ein zusätzlicher Lernvorgang durchzuführen. Hierfür können alle Daten dienen, die außerhalb der Egoperspektive des eigenen betrachteten automatisierten Fahrzeugs gewonnen werden konnten, insbesondere von den weiteren Verkehrsteilnehmern in der Nähe des automatisierten Fahrzeugs, und unter Umständen auch von einer stationären Umgebungserfassungseinheit wie stationären Kameras.

Gemäß einer weiteren vorteilhaften Ausführungsform werden Konfidenzen der Daten fahrzeugeigener Sensoren ermittelt und mit weiterhin ermittelten Konfidenzen aus den erhaltenen und mit den Daten fahrzeugeigener Sensoren fusionierter Daten anderer Verkehrsteilnehmer verglichen.

Ein weiterer Aspekt der Erfindung betrifft ein System zur Unterstützung eines automatisierten Fahrzeugs, aufweisend eine Kommunikationsschnittstelle zum Empfangen von Daten von anderen Verkehrsteilnehmern, und eine Recheneinheit, die dazu ausgeführt ist, simuliert oder real eine automatisierte Fahrsteuerfunktion des automatisierten Fahrzeugs während der Fahrt auszuführen, sowie zur Ausführung der automatisierten Fahrsteuerfunktion ein dynamisches Umgebungsmodell zu verwenden und auf Basis von Informationen kontinuierlich zu aktualisieren, die von der Recheneinheit aus den Daten fahrzeugeigener Sensoren ermittelt werden und im Falle der Verfügbarkeit aus von anderen Verkehrsteilnehmern gesendeten und über die Kommunikationsschnittstelle empfangenen Daten über geplante Trajektorien und Positionen der anderen Verkehrsteilnehmer, jeweils wie von den anderen Verkehrsteilnehmern geplant und ermittelt, nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden, und wobei die Recheneinheit dazu ausgeführt ist, zur Bildung der Unähnlichkeitsmetrik einen Vergleich von Ergebnissen des dynamischen Umgebungsmodells zur Position und/oder geplanten Trajektorien der Verkehrsteilnehmer auf Basis der Daten fahrzeugeigener Sensoren mit den von den anderen Verkehrsteilnehmern übermittelten geplanten Trajektorien und/oder Positionen von sich auszuführen, und im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert die Übernahme der Fahrzeugführung durch einen manuell steuernden Fahrer anzufordern und/oder eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell für die spätere Anpassung von Parametern des dynamischen Umgebungsmodells abzuspeichern.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die von anderen Verkehrsteilnehmern übermittelten und an der Kommunikationsschnittstelle empfangenen Daten mit den Daten der fahrzeugeigenen Sensoren zu fusionieren und statistisch zu mitteln. Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, die Aktualisierung des dynamischen Umgebungsmodells auf Basis von Informationen auszuführen, die von einer stationären Umgebungserfassungseinheit ermittelt werden und mit den Daten aus den fahrzeugeigenen Sensoren fusioniert werden, und wobei die Recheneinheit dazu ausgeführt ist, zur Bildung der Unähnlichkeitsmetrik einen Vergleich von Ergebnissen des dynamischen Umgebungsmodells bezüglich der jeweiligen Position und/oder geplanten Trajektorie der jeweiligen Verkehrsteilnehmer mit den von den anderen Verkehrsteilnehmern übermittelten eigenen Positionen und/oder eigenen geplanten Trajektorien fusioniert mit den Daten der Umgebungserfassungseinheit auszuführen und im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert die Übernahme der Fahrzeugführung durch einen manuell steuernden Fahrer angefordert wird und/oder eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell für die spätere Anpassung von Parametern des dynamischen Umgebungsmodells abzuspeichern.

Gemäß einer weiteren vorteilhaften Ausführungsform weist die Recheneinheit eine Anpassungsschnittstelle auf, an der die Historie mit den Informationen für das dynamische Umgebungsmodell eingespeist werden kann, um unter Verwendung der Historie für die Eingangsdaten des dynamischen Umgebungsmodells Parameter des dynamischen Umgebungsmodells mit vorgegebenen Ausgangsdaten anzupassen.

Gemäß einer weiteren vorteilhaften Ausführungsform weist das System weiterhin eine stationäre Zentrale zur Sammlung von jeweiligen Daten fahrzeugeigener Sensoren und geplanter Trajektorien einer Vielzahl von Fahrzeugen auf, wobei die Zentrale dazu ausgeführt ist, zusätzliche Umgebungsinformationen und/oder Verkehrsinformationen der Situation und Umgebung während der die Unähnlichkeitsmetrik den vorgegebenen Grenzwert überschritten hat abgespeichert zu halten und als Eingangsdaten und/oder Ausgangsdaten des dynamischen Umgebungsmodells bereitzustellen.

Gemäß einer weiteren vorteilhaften Ausführungsform umfasst das dynamische Umgebungsmodell ein künstliches neuronales Netz, wobei die Parameter Gewichte des künstlichen neuronalen Netzes umfassen.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Recheneinheit dazu ausgeführt, Konfidenzen der Daten fahrzeugeigener Sensoren zu ermitteln und mit weiterhin ermittelten Konfidenzen aus den erhaltenen und mit den Daten fahrzeugeigener Sensoren fusionierter Daten anderer Verkehrsteilnehmer zu vergleichen.

Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem System wie oben und im Folgenden beschrieben.

Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Systems ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Verfahren vorstehend gemachten Ausführungen.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.

Es zeigen:

Fig. 1 : Eine Verkehrssituation, in der ein Verfahren gemäß einem Ausführungsbeispiel der Erfindung zum Überwachen eines Algorithmus zur Ausführung einer automatisierten Fahrsteuerfunktion eines automatisierten Fahrzeugs angewendet wird.

Fig. 2: Ein Fahrzeug, welches das in Fig. 1 beschriebene Verfahren umsetzt.

Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.

In der Fig. 1 ist eine Verkehrssituation an einer Kreuzung gezeigt, bei der das betrachtete automatisierte Fahrzeug 3 auf einer Abbiegespur nach links fährt, während weitere Verkehrsteilnehmer ebenfalls im Kreuzungsbereich eingefahren sind, oder gerade diesen wieder verlassen. Für die Ausführung des Algorithmus zur Ausführung der automatisierten Fahrtsteuerfunktion ist es entscheidend, die Positionen der weiteren Verkehrsteilnehmer, deren geplante Trajektorien, sowie Verkehrszeichen zu erfassen. Dafür wird im Fahrzeug 3 ein Verfahren zur Überwachung des Algorithmus ausgeführt. Ein solches Fahrzeug 3 mit seinen entsprechenden Komponenten ist in der Fig. 2 gezeigt, weshalb in der folgenden Beschreibung sowohl auf die Fig. 1 als auch auf die Fig. 2 verwiesen wird, ohne eine separate Beschreibung der Fig. 2 zu benutzen. Grundsätzlich weist das betrachtete automatisierte Fahrzeug 3 eine Vielzahl von eigenen Sensoren auf, denen jedoch gemeinsam ist, lediglich aus der Egoperspektive des automatisierten Fahrzeugs 3 ihre Umwelt beobachten zu können. Nicht nur zur korrekten Ausführung des Algorithmus zur Ausführung der Fahrsteuerfunktion, sondern auch für eine strikte Überwachung des Algorithmus werden stufenweise soviele externe Daten verwendet, wie in der vorliegenden Situation zur Verfügung stehen. In den meisten Fällen wird dies durch die zunehmende Etablierung von V2X- Kommunikation durch Daten von weiteren Verkehrsteilnehmern geleistet, es können jedoch auch Daten von stationären Sensoreinheiten dazu verwendet werden, falls diese verfügbar sind. Hierfür werden an eine Kommunikationsschnittstelle 5 des automatisierten Fahrzeugs 3 Daten von anderen Verkehrsteilnehmern über deren jeweilig geplante Trajektorien und jeweilig selbst ermittelte Positionen übermittelt. Von einer Recheneinheit 7 des automatisierten Fahrzeugs 3 wird ferner eine automatisierte Fahrsteuerfunktion mit Hilfe eines dynamischen Umgebungsmodells ausgeführt. Das dynamische Umgebungsmodell modelliert insbesondere Position und Verhalten der weiteren Verkehrsteilenehmer, insbesondere deren Trajektorien. Das Umgebungsmodell wird auf Basis von Informationen kontinuierlich aktualisiert, die aus Daten fahrzeugeigener Sensoren und den vorliegenden Daten der anderen Verkehrsteilnehmer nach Fusionierung mit den Daten aus den fahrzeugeigenen Sensoren ermittelt werden. Zur Bildung einer Unähnlichkeitsmetrik erfolgt dann ein Vergleich von Ergebnissen des dynamischen Umgebungsmodells bezüglich der jeweiligen Position und geplanten Trajektorie der jeweiligen Verkehrsteilnehmer mit den von den anderen Verkehrsteilnehmern übermittelten eigenen Positionen und eigenen geplanten Trajektorien. Im Falle eines Überschreitens der Unähnlichkeitsmetrik über einen vorgegebenen Grenzwert wird eine Historie über den Fahrtabschnitt mit den Informationen für das dynamische Umgebungsmodell für die spätere Anpassung von Parametern des dynamischen Umgebungsmodells abgespeichert. Nach Beendigung der Fahrt des automatisierten Fahrzeugs 3 wird die Historie zur Analyse und anschließender Anpassung des Algorithmus zur Ausführung der automatisierten Fahrsteuerfunktion verwendet, indem Parameter des Algorithmus angepasst werden, um zukünftig solche Situationen besser zu meistern.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Be- Schreibung, definiert wird.

Bezugszeichenliste

1 System

3 Fahrzeug

5 Kommunikationsschnittstelle

7 Recheneinheit