Titel

Verfahren zur mehrstufigen Fusion von Messdaten

Die Erfindung betrifft ein Verfahren zur Fusion von Messdaten von mehreren fahrzeugseitigen Sensoren, ein Steuergerät, ein Computerprogramm sowie ein maschinenlesbares Speichermedium.

Stand der Technik

Zum Umsetzen von unterschiedlichen Fahrassistenzfunktionen und Notbremsfunktionen ist üblicherweise eine Repräsentation des Fahrzeugumfelds erforderlich. Je nach Ausprägung und Leistungsanforderung werden hierfür Messdaten mehrerer Sensoren empfangen und miteinander fusioniert. Beispielsweise wird für eine aktuelle EU NCAP 2020 Anforderung eine Ein- Radar-Ein-Video (1 R1V) Fusion benötigt, um die genaueren Messverfahren des Radarsensors, mit der besseren Winkelqualität und den Klassifikationsfähigkeiten eines Videosensors zu kombinieren. Die Verbauposition ist hierbei mittig an der Fahrzeugfront und der Erfassungsbereich in Fahrtrichtung ausgerichtet.

Notbremsfunktionen und Fahrassistenzfunktionen haben unterschiedliche Anforderungen an die funktionale Sicherheit, die in unterschiedlichen ASIL- Einstufungen definiert ist. Notbremsfunktionen erfordern beispielsweise ASIL-B Einstufungen, da sie unmittelbar ohne Fahrerbestätigung eingesetzt werden und durch Fehlauslösungen in Gefahrensituationen resultieren können. Üblicherweise findet die zentrale Fusion von Messdaten der fahrzeugseitigen Sensoren in dem Steuergerät statt, in dem auch die entsprechenden Funktionsalgorithmen gerechnet bzw. die Umfeldmodelle erstellt werden. Die unterschiedlichen Einstufungen hinsichtlich der funktionalen Sicherheit werden allerdings von den Funktionsalgorithmen bis auf das Umfeldmodell abgeleitet, wodurch sich für dieses immer das sicherheitsrelevantere ASIL-B ergibt. Für die Umsetzung von Funktionen mit unterschiedlicher Einstufung der funktionalen Sicherheit ergeben sich zwei Möglichkeiten: Entweder alle in das Umfeldmodell beitragenden Sensordaten erfüllen ebenfalls die höchste Anforderung, beispielsweise für ASIL- B, öder es werden unterschiedliche Umfeldmodelle mit unterschiedlichen Einstufungen parallel berechnet. Hierdurch wird jedoch der Entwicklungs- und Validationsaufwand für die Sensoren oder der Ressourcenbedarf des Steuergeräts erhöht.

Die DE 102017206 123 A1 beschreibt in Verfahren zur Fusion von Daten verschiedener Sensoren eines Fahrzeugs im Rahmen einer Objekterkennung. Die aus Messdaten unterschiedlicher Sensoren ermittelten Messgrößen werden in einem nachfolgenden Verarbeitungsschritt verknüpft und plausibilisiert.

Offenbarung der Erfindung

Die der Erfindung zugrunde liegende Aufgabe kann darin gesehen werden, ein Verfahren zum Fusionieren von Messdaten vorzuschlagen, welches den Leistungsbedarf eines Steuergeräts senkt.

Diese Aufgabe wird mittels des jeweiligen Gegenstands der unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand von jeweils abhängigen Unteransprüchen.

Nach einem Aspekt der Erfindung wird ein Verfahren zur Fusion von Messdaten von mehreren fahrzeugseitigen Sensoren bereitgestellt. Von einer ersten Gruppe von Sensoren ermittelte Messdaten werden von einem ersten Steuergerät oder von einem ersten Modul einer zentralen Steuereinheit empfangen. Anschließend werden die Messdaten der ersten Gruppe von Sensoren zu einem ersten Umfeldmodell fusioniert oder optional vor einer Verwertung im Rahmen des ersten Umfeldmodells fusioniert.

Die mindestens zwei Gruppen von Sensoren können alternativ oder zusätzlich auch als eine Gruppe von Sensoren oder als ein Sensor ausgestaltet sein, welche zwei Messdatensätze bzw. mindestens zwei Gruppen von Messdaten bereitstellen können. Dabei können die Messdaten und/oder die Sensoren in den entsprechenden Gruppen sich auch überschneiden.

Die Messdaten der ersten Gruppe von Sensoren werden mit einer ersten Einstufung hinsichtlich einer funktionalen Sicherheit von dem ersten Umfeldmodell verwendet. Alternativ wird das erste Umfeldmodell mit der ersten Einstufung hinsichtlich der funktionalen Sicherheit basierend auf den Messdaten der ersten Gruppe erstellt.

Des Weiteren werden von mindestens einer zweiten Gruppe von Sensoren ermittelte Messdaten von mindestens einem zweiten Steuergerät oder von mindestens einem zweiten Modul der zentralen Steuereinheit empfangen und zu mindestens einem zweiten Umfeldmodell fusioniert.

Es erfolgt somit eine zweistufige Messdatenfusion, bei der in der zweiten Stufe das zweite Umfeldmodell auf den Daten bzw. Ergebnissen des ersten Umfeldmodells und den Messdaten der zweiten Gruppe basiert. Das zweite Umfeldmodell kann somit aus dem ersten Umfeldmodell sowie aus Messdaten weiterer Sensoren gebildet werden.

Je nach Ausgestaltung kann das erste Umfeldmodell auch von Messdaten der zweiten Gruppe von Sensoren abhängen.

Bevorzugterweise werden die Messdaten der zweiten Gruppe von Sensoren mit einer zweiten Einstufung hinsichtlich der funktionalen Sicherheit von dem zweiten Umfeldmodell verwendet. Alternativ wird das mindestens eine zweite Umfeldmodell mit der zweiten Einstufung hinsichtlich der funktionalen Sicherheit basierend auf den Messdaten der zweiten Gruppe erstellt.

Bevorzugterweise unterscheidet sich die erste Einstufung hinsichtlich der funktionalen Sicherheit von der mindestens einen zweiten Einstufung hinsichtlich der funktionalen Sicherheit. Dabei ist die erste Einstufung gegenüber der zweiten Einstufung vorzugsweise höher. Somit kann die erste Einstufung beispielsweise als ASIL-B, ASIL-C oder ASIL-D ausgestaltet sein und die zweite Einstufung als ASIL-A oder als QM gemäß der ISO 26262 definiert sein.

Neben dem ersten Umfeldmodell können mehrere zweite Umfeldmodelle verwendet werden, die jeweils unterschiedliche Einstufungen hinsichtlich der funktionalen Sicherheit aufweisen. Dabei können Umfeldmodelle und Messdaten mit einer gemeinsamen Einstufung auf einem gemeinsamen Steuergerät oder einem gemeinsamen Modul der zentralen Steuereinheit verarbeitet werden.

Das Verfahren ermöglicht eine mehrstufige Fusion von Messdaten unterschiedlicher Sensoren mit unterschiedlicher Einstufung hinsichtlich der funktionalen Sicherheit. Beispielsweise erlaubt eine zweistufige Fusion in einem ersten Schritt ausschließlich ein ASIL-B relevantes Umfeldmodell zu erzeugen und dessen Ausgabe kombiniert mit weiteren QM Sensordaten in einem getrennten zweiten Schritt zu fusionieren. Hierdurch resultieren beispielsweise zwei Umfeldmodelle, welche in den jeweiligen Funktionen mit unterschiedlicher ASIL Einstufung verwendet werden können. Beispielsweise kann ein ASIL-B eingestuftes Umfeldmodell Messdaten von Sensoren mit niedrigster Latenz empfangen, wodurch im zweiten, beispielsweise als QM eingestuftes, Umfeldmodell nur der zusätzliche Rechenaufwand für die Verarbeitung der Sensoren der zweiten Gruppe anfällt.

Das Prinzip der mehrstufigen Fusion lässt sich auf beliebig viele Stufen übertragen, solange die unterschiedlichen Umfeldmodelle mit absteigender Einstufung hinsichtlich der funktionalen Sicherheit verbunden sind.

Nach einem weiteren Aspekt der Erfindung wird mindestens ein Steuergerät bereitgestellt, wobei das Steuergerät dazu eingerichtet ist, das Verfahren auszuführen. Das Steuergerät kann beispielsweise ein fahrzeugseitiges Steuergerät, ein fahrzeugexternes Steuergerät oder eine fahrzeugexterne Servereinheit, wie beispielsweise ein Cloud-System, sein.

Das Steuergerät kann als eine zentrale Steuereinheit mit einem oder unterschiedlichen Modulen zum Verarbeiten von unterschiedlichen Umfeldmodellen ausgestaltet sein. Alternativ kann das Steuergerät als ein erstes Steuergerät oder als ein zweites Steuergerät ausgestaltet sein.

Darüber hinaus wird nach einem Aspekt der Erfindung ein Computerprogramm bereitgestellt, welches Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer oder ein Steuergerät diesen veranlassen, das erfindungsgemäße Verfahren auszuführen. Gemäß einem weiteren Aspekt der Erfindung wird ein maschinenlesbares Speichermedium bereitgestellt, auf dem das erfindungsgemäße Computerprogramm gespeichert ist.

Das Fahrzeug kann hierbei gemäß der BASt Norm assistiert, teilautomatisiert, hochautomatisiert und/oder vollautomatisiert bzw. fahrerlos betreibbar sein.

Bei einem Ausführungsbeispiel werden die von der ersten Gruppe von Sensoren ermittelten Messdaten mit einer funktionalen Sicherheit von ASIL-B oder höher empfangen. Hierdurch werden die Messdaten mit einer minimalen Latenz vom ersten Steuergerät oder vom ersten Modul der zentralen Steuereinheit empfangen, sodass besonders sicherheitskritische Funktionen umsetzbar sind.

Nach einer weiteren Ausführungsform wird mindestens eine Ausgabe des ersten Umfeldmodells dem zweiten Umfeldmodell bereitgestellt. Durch diese

Maßnahme ist ein erneutes Verarbeiten von bereits im ersten Umfeldmodell verarbeiteten Messdaten durch das zweite Umfeldmodell nicht mehr erforderlich, wodurch der von den Steuergeräten oder der zentralen Steuereinheit benötigte Leistungsbedarf sinkt.

Gemäß einem weiteren Ausführungsbeispiel wird das erste Umfeldmodell mit einer gegenüber dem zweiten Umfeldmodell erhöhten Einstufung hinsichtlich der funktionalen Sicherheit erstellt. Bevorzugterweise werden das erste Umfeldmodell und weitere zweite Umfeldmodelle in Form einer Kaskade mit zunehmender Abstufung der funktionalen Sicherheit erstellt. Hierdurch kann eine separate Verarbeitung von Messdaten und Umfeldmodellen mit unterschiedlicher Einstufung der funktionalen Sicherheit realisiert werden. Dabei kann das parallele Verarbeiten von allen Messdaten entfallen, wenn die Umfeldmodelle mit geringerer Einstufung die Ergebnisse bzw. Ausgaben von Umfeldmodellen mit einer höheren ASIL Einstufung als eine zusätzliche Eingabe erhalten.

Nach einem weiteren Ausführungsbeispiel werden das erste Umfeldmodell mit zumindest einer ASIL-B Einstufung und das zweite Umfeldmodell mit einer ASIL- A oder einer QM Einstufung der funktionalen Sicherheit erstellt. Somit können beispielsweise Videosensoren und in Fahrtrichtung gerichtete Radarsensoren besonders optimal im Rahmen der ASIL-B Einstufung verarbeitet und die weiteren am Fahrzeug angeordneten Radarsensoren, wie beispielsweise Corner- Radare durch ein Umfeldmodell mit einer QM Einstufung der funktionalen Sicherheit verarbeitet werden.

Gemäß einem weiteren Ausführungsbeispiel werden die Ausgabe des ersten Umfeldmodells mindestens einer ersten Fahrassistenzfunktion und die Ausgabe des zweiten Umfeldmodells mindestens einer zweiten Fahrassistenzfunktion bereitgestellt. Die erste Fahrassistenzfunktion kann beispielsweise als ein Notbremsassistent ausgestaltet sein. Die mindestens eine zweite Fahrassistenzfunktion kann beispielsweise als ein Spurhalteassistent, ein Spurwechselassistent, ein Abbiegeassistent und dergleichen ausgestaltet sein. Dabei kann die zweite Fahrassistenzfunktion von den Ausgaben des ersten Umfeldmodells ebenfalls profitieren, die dem zweiten Umfeldmodell zugeführt werden.

Im Folgenden werden anhand von stark vereinfachten schematischen Darstellungen bevorzugte Ausführungsbeispiele der Erfindung näher erläutert. Hierbei zeigen

Fig. 1 eine schematische Sensoranordnung zum Veranschaulichen eines erfindungsgemäßen Verfahrens gemäß einer Ausführungsform,

Fig. 2 eine weitere schematische Sensoranordnung zum Veranschaulichen eines erfindungsgemäßen Verfahrens gemäß einer Ausführungsform und Fig. 3 ein schematisches Diagramm zum Veranschaulichen eines erfindungsgemäßen Verfahrens gemäß einer weiteren Ausführungsform.

In der Figur 1 ist eine schematische Sensoranordnung 1 zum Veranschaulichen eines erfindungsgemäßen, in Figur 3 näher beschriebenen, Verfahrens 2 gemäß einer Ausführungsform gezeigt.

Die Sensoranordnung 1 kann beispielsweise eine fahrzeugseitige Sensoranordnung sein, die einen Frontradar 4, einen in Fahrtrichtung ausgerichteten Videosensor bzw. Kamerasensor 6 und videobasierte Fahrspursensoren 8 aufweist. Diese Sensoren 4, 6, 8 bilden eine erste Gruppe 10 von Sensoren, die mit einer besonders geringen Latenz Messdaten erzeugen und für eine weitere Verwertung weiterleiten können. Durch die der ersten Gruppe 10 zugeordneten Sensoren 4, 6, 8 können sicherheitskritische Fahrfunktionen, wie beispielsweise Notbremsfunktionen 14 realisiert werden, die eine ASIL-B Einstufung oder eine höhere Einstufung hinsichtlich der funktionalen Sicherheit erfordern. Darüber hinaus kann eine sogenannte HIL (Hardware-in- the-Loop) 9 in der ersten Gruppe 10 vorgesehen sein, um beispielsweise eine Vorverarbeitung der Messdaten der Sensoren 4, 6, 8 umzusetzen.

Neben der ersten Gruppe 10 von Sensoren ist auch zweite Gruppe 12 von Sensoren vorgesehen, die mit einer geringeren Einstufung hinsichtlich der funktionalen Sicherheit, beispielsweise ASIL-A oder QM, agieren. Die zweite Gruppe 12 umfasst im dargestellten Ausführungsbeispiel vier Radarsensoren 16, 17, 18, 19, die an vier Eckpositionen eines nicht näher beschriebenen Fahrzeugs angeordnet sein können. Beispielsweise können die Messdaten der Sensoren 16, 17, 18, 19 der zweiten Gruppe 12 zum Umsetzen eines Autobahnassistenten 20 als Fahrassistenzfunktion verwendet werden.

Im dargestellten Ausführungsbeispiel erfolgt eine Fusion der Messdaten der Sensoren der ersten Gruppe 10 im Rahmen einer ASIL-B Einstufung in einem ersten Steuergerät 22. Darüber hinaus eine Fusion der Messdaten der Sensoren der zweiten Gruppe 12 im Rahmen einer geringeren QM Einstufung in einem zweiten Steuergerät 24. Das erste Steuergerät 22 verwertet die Messdaten zum Erstellen oder zum Ausführen eines ersten Umfeldmodells. Eine entsprechende Ausgabe 26 des ersten Umfeldmodells wird einem zweiten Umfeldmodell als Eingabe zugeführt, welches durch das zweite Steuergerät 24 erstellt oder ausgeführt wird. Darüber hinaus werden vom zweiten Steuergerät 24 auch die Messdaten der Sensoren der zweiten Gruppe 12 als Eingänge für das zweite Umfeldmodell herangezogen, wodurch der Autobahnassistent 20 von den Messdaten der Sensoren der ersten Gruppe 10 und des ersten Umfeldmodells profitieren kann.7

Analog zur Figur 1 zeigt die Figur 2 eine schematische Sensoranordnung 1 zum Veranschaulichen eines erfindungsgemäßen Verfahrens 2 gemäß einer weiteren Ausführungsform. Im Unterschied zur Figur 1 , wird das erste Umfeldmodell durch ein erstes Modul 21 einer zentralen Steuereinheit 25 und das zweite Umfeldmodell durch ein zweites Modul 23 der zentralen Steuereinheit 25 erstellt oder ausgeführt.

Die Figur 3 zeigt ein schematisches Diagramm zum Veranschaulichen eines erfindungsgemäßen Verfahrens 2 gemäß einer weiteren Ausführungsform. Das Verfahren 2 dient zur Fusion von Messdaten von mehreren fahrzeugseitigen Sensoren 4, 6, 8, 16, 17, 18, 19.

Von einer ersten Gruppe 10 von Sensoren ermittelte Messdaten werden von einem ersten Steuergerät 22 oder von einem ersten Modul 21 einer zentralen Steuereinheit 25 empfangen 28. Anschließend werden die Messdaten der ersten Gruppe 10 von Sensoren 4, 6, 8 zu einem ersten Umfeldmodell fusioniert oder optional vor einer Verwertung im Rahmen des ersten Umfeldmodells fusioniert 30.

Die Messdaten der ersten Gruppe 10 von Sensoren 4, 6, 8 werden mit einer ersten Einstufung hinsichtlich einer funktionalen Sicherheit, beispielsweise ASIL- B, von dem ersten Umfeldmodell verwendet. Alternativ wird das erste Umfeldmodell mit der ersten Einstufung hinsichtlich der funktionalen Sicherheit basierend auf den Messdaten der ersten Gruppe 10 erstellt. Des Weiteren werden von mindestens einer zweiten Gruppe 10 von Sensoren 16, 17, 18, 19 ermittelte Messdaten von mindestens einem zweiten Steuergerät 24 oder von mindestens einem zweiten Modul 23 der zentralen Steuereinheit 25 empfangen 32 und zu mindestens einem zweiten Umfeldmodell fusioniert 34.

Bevorzugterweise werden die Messdaten der zweiten Gruppe 12 von Sensoren mit einer zweiten Einstufung, beispielsweise QM oder ASIL-A, hinsichtlich der funktionalen Sicherheit von dem zweiten Umfeldmodell verwendet. Alternativ wird das mindestens eine zweite Umfeldmodell mit der zweiten Einstufung hinsichtlich der funktionalen Sicherheit basierend auf den Messdaten der zweiten Gruppe 12 erstellt.