Multisensorsvstems eines Straßenfahrzeuqes und Steuergerät für ein Multisensorsvstem und Computerproqrammprodukt

Die Erfindung bezieht sich auf ein Verfahren und ein Computerprogrammprodukt zum Adaptieren einer Auflösung eines Multisensorsystems eines Straßenfahrzeuges. Ferner bezieht sich die Erfindung auf Steuergerät für ein Multisensorsystem.

Folgende Definitionen gelten für den gesamten Gegenstand der Anmeldung.

Ein Multisensorsystem umfasst mehrere Sensoren zur Wahrnehmung einer Umge bung. Die Umgebung kann ein Umfeld eines Straßenfahrzeuges oder ein Innenraum eines Straßenfahrzeuges sein. Die Sensoren sind Fahrzeug interne Sensoren und/oder Fahrzeug externe Sensoren. Zum Beispiel umfasst das Multisensorsystem wenigstens einen full-range 77-GHz-Radarsensor, der Geschwindigkeit, Abstand, Seitenwinkel und Höhe von Objekten detektiert. Ferner umfasst das Multisensorsys tem beispielsweise wenigstens einen Solid-State Lidar-Sensor mit wählbaren Sicht feld. Außerdem umfasst das Multisensorsystem beispielsweise eine Außenraumka mera mit einem Megapixel-Bildsensor mit high dynamic ränge und/oder eine Innen raumkamera mit einem time-of-flight-Sensor zur Tiefenerfassung des Fahrzeuginnen raums. Jeder einzelne Sensor hat ein einstellbares räumliches und zeitliches Auflö sungsvermögen. Die Daten der Fahrzeug externen Sensoren, zum Beispiel ein an einer Ampel angeordneter Bildsensor, werden mittels Vernetzung, beispielsweise Car-to-X-Kommunikation oder cloudbasiertem Input, bereitgestellt. Jeder einzelne Sensor erfasst die Umgebung, vorzugsweise in Echtzeit, in Abhängigkeit der ver wendeten Sensortechnologie nach einem jeweils spezifischen Detektionsprinzip, zum Beispiel mittels Radarpulsen, Lichtpulsen oder Schallpulsen. Die Verwendung von mehreren Sensortechnologien führt damit zu einer möglichst wirklichkeitsgetreuen Aufnahme, im Englischen als perception bezeichnet, der Umgebung. Außerdem kann eine Erfassung der Umgebung durch eine erste Sensortechnologie mit einer Erfas sung der Umgebung durch eine von der ersten verschiedenen zweiten Sensortech nologie plausibilisiert werden. Ein Multisensorsystem mit mehreren Sensoren ist fer ner gegenüber einem Ausfall eines Sensors redundant. Das Multisensorsystem ist konfiguriert für Automotive-Anforderungen, beispielsweise für extreme Temperaturen und Vibrationen, und erfüllt aktuelle Sicherheitsanforderungen, zum Beispiel ISO 26262 und/oder NCAP.

Die erfassten Daten des Multisensorsystems werden mittels eines Computers, insbe sondere einer Computerplattform, verarbeitet. Der Computer ist vorzugsweise Be standteil eines elektronischen Steuergeräts. Der Computer und/oder das Steuergerät sind konfiguriert für den Automotive-Einsatz. Die Verarbeitung der Daten erfolgt in Echtzeit. Der Computer und/oder das Steuergerät sind konfiguriert, komplexe Ver kehrssituationen, zum Beispiel eine Szene an einer urbanen Straßenkreuzung, in Echtzeit zu analysieren. Der Computer berechnet in Abhängigkeit von Fahrzeug in ternen und/oder externen Datenströmen eine Fahrentscheidung. Das Steuergerät steuert Aktuatoren des Straßenfahrzeuges entsprechend der Fahrentscheidung an.

Die Computerplattform ist beispielsweise als ein System-on-a-Chip realisiert, das heißt alle oder zumindest ein großer Teil der Funktionen sind auf einem Chip inte griert. Der Chip umfasst beispielsweise einen Mehrkernprozessor. Bei einem Mehr kernprozessor sind mehrere Kerne auf einem einzigen Chip, das heißt einem Halblei terbauelement, angeordnet sind. Mehrkernprozessoren erreichen eine höhere Re chenleistung und sind kostengünstiger in einem Chip zu implementieren im Vergleich zu Mehrprozessorsystemen, bei denen jeder einzelne Kern in einem Prozessorsockel angeordnet ist und die einzelnen Prozessorsockel auf einer Hauptplatine angeordnet sind. Die Computerplattform umfasst vorzugsweise mehrere zentrale Verarbeitungs prozessoren, im Englischen als Central Processing Unit, abgekürzt CPU, bezeichnet. Die Computerplattform umfasst auch mehrere Grafikprozessoren, im Englischen als Graphic Processing Unit, abgekürzt GPU, bezeichnet. Grafikprozessoren besitzen eine spezielle Mikroarchitektur zum parallelen Prozessieren von Abläufen. Insbeson dere umfasst ein Grafikprozessor wenigstens eine Prozesseinheit, die speziell zum Ausführen von Tensor-und/oder Matrixmultiplikationen ausgeführt ist. Tensor- und/oder Matrixmultiplikationen sind die zentralen Rechenoperationen für das Deep Learning. Die Computerplattform umfasst vorzugsweise auch Hardware Beschleuni ger für künstliche Intelligenz, insbesondere sogenannte Deep Learning Accelerators. Damit ist die Computerplattform insgesamt für maschinelles Lernen optimiert und skalierbar, das heißt die Computerplattform kann für verschiedene SAE J3016 Stufe angepasst werden.

In einem Multisensorsystem fallen sehr viele Daten an, die alle zu prozessieren sind. Abhängig von der jeweiligen Sensortechnologie existiert ein Spannungsverhältnis zwischen auswertbaren Daten pro Sensor pro Zeiteinheit und angestrebter Latenz zeit des Multisensorsystems und/oder benötigter Rechenressourcen. Stehen mehre re Signale hochauflösender Sensoren zu einer Szene zur Verfügung, ist tendenziell viel Detailinformation aus den Sensoren extrahierbar, jedoch erfordert dies einen ho hen Datenprozessieraufwand. Durch die Zunahme an Messpunkten durch bessere Auflösung ist eine Auswertung Daten in Echtzeit erschwert.

Hier setzt die Erfindung an. Der Erfindung hat die Aufgabe zugrunde gelegen, den Datenstrom, den ein Multisensorsystem liefert, an Bereiche der Umgebung zu adap tieren. Von Bereichen, von denen eine Gefahr ausgeht, sollen möglichst viele Daten prozessiert werden. Von Bereichen, von denen keine Gefahr ausgeht, sollen relativ weniger Daten prozessiert werden.

Zur Lösung dieser Aufgabe stellt die Erfindung ein Verfahren und ein Computerpro grammprodukt zum Adaptieren einer Auflösung eines Multisensorsystems eines Straßenfahrzeuges und ein entsprechendes Steuergerät bereit. Wenigstens ein akustisches Signal wird prozessiert. Durch die Prozessierung des akustischen Sig nals wird ein zugrundeliegendes Geräusch lokalisiert und klassifiziert.

Beispielsweise wird das Geräusch mit einem Akustiksensor, der Bestandteil des Mul tisensorsystems sein kann, erfasst und von einer wie oben beschriebenen Compu terplattform prozessiert. Die Computerplattform ist konfiguriert, in Abhängigkeit des Signals des Akustiksensors die Geräuschquelle und die Geräuschart zu bestimmen.

Der Akustiksensor ist beispielsweise ein Mikrofon oder ein Array von mehreren Mik rofonen. Der Akustiksensor ist an dem Straßenfahrzeug anordenbar. In Abhängigkeit dieser Lokalisierung und Klassifizierung wird wenigstens ein Gefah renbereich, beispielsweise von der Computerplattform, bestimmt. Ein Gefahrenbe reich ist ein Bereich, innerhalb dessen ein Objekt, basierend auf dem akustischen Signal, zu erwarten ist. Ein Objekt ist beispielsweise ein Fahrzeug oder ein nicht mo torisierter Verkehrsteilnehmer.

Wurde zum Beispiel das Geräusch als ein Reifenquietschen oder Motoraufheulen eines anderen Verkehrsteilnehmers, splitterndes Glas oder Schreie klassifiziert, deu tet das Geräusch auf eine Gefahr hin, zum Beispiel auf einen stattgefundenen oder bevorstehenden Unfall. Die Geräuschquelle wurde beispielsweise vor dem Straßen fahrzeug in einer Entfernung von 20 Meter und in einem Winkelbereich von 30° zur Fahrzeugrichtung lokalisiert. Die Klassifikation und Lokalisation erfolgen ausgehend von dem akustischen Signal, insbesondere dessen Spektrum, durch Vergleich mit bekannten Geräuschen aus bekannten Positionen, die beispielsweise in einer Da tenbank hinterlegt und abrufbar sind, oder durch maschinelles Lernen. In dem Be reich, der sich vor dem Straßenfahrzeug bis zu einem Abstand von 20 Metern in ei nem Winkelbereich von 30° zur Fahrzeugrichtung erstreckt, besteht eine Gefahr.

Dies ist der Gefahrenbereich.

Das Multisensorsystem wird in diesem Gefahrenbereich mit hoher Auflösung und außerhalb dieses Gefahrenbereichs mit niedriger Auflösung betrieben.

Die Einstellung der Auflösung und das damit verbundene Datenvolumen werden da mit in Abhängigkeit der Lokalisierung und Klassifikation von Geräuschen, die auf eine Gefahrenquelle in einem bestimmten Bereich hindeuten, vorgenommen. Damit wer den einzelne Regionen selektiv mit adaptierter Auflösung des Multisensorsystems prozessiert. Das Datenvolumen wird damit verkleinert basierend auf Geräuschen.

Die räumliche Auflösung eines Bildsensors wird beispielsweise dadurch adaptiert, in dem verschiedene Bildformate mit verschiedener Auflösung auswählbar sind oder bestimme Bereiche der Fläche des Bildsensors, das heißt eine eingeschränkte An zahl von Pixeln, Daten liefern. Die zeitliche Auflösung des Bildsensors wird bei spielsweise adaptiert durch Änderung der Anzahl von Aufnahmen pro Zeiteinheit. Aktuelle Strahlsensoren wie Radar oder Lidar erlauben es, Strahlen gebündelt in Richtungen auszusenden, die von besonderem Interesse sind, und dafür weniger Strahlen in andere Richtungen. Dies bedeutet, dass z.B. in Richtung einer Region mit vielen verschiedenen, möglicherweise auch kleineren Objekten, mehr Strahlen aus gesendet werden können, und z.B. in Richtung einer Hauswand weniger Strahlen.

Auf diese Weise kann die Auflösung des Sensors lokal an die Szene angepasst wer den, und diese Regionen sind von Aufnahme zu Aufnahme jeweils umparametrier- bar. Erfindungsgemäß wird die Information aus den akustischen Sensoren zu ver wendet, um zusätzlich diese Richtungen bzw. Regionen der anderen Strahlsensoren zu parametrieren, entlang denen mehr bzw. weniger Strahlen ausgesendet werden sollen.

Ein weiterer Vorteil der Erfindung ist, dass akustische Signale relativ kleine Daten mengen darstellen im Vergleich von Signalen von Strahlensensoren wie Radar oder Lidar. Daher sind die akustischen Signale besonders gut geeignet, vorab prozessiert zu werden, um Bereiche zu bestimmen, in denen die hochaufgelösten hohen Daten mengen der anderen Sensoren des Multisensorsystems prozessiert werden.

Die erfindungsgemäße Adaption der Auflösung des Multisensorsystems in Abhängig keit eines Geräuschs entspricht dem menschlichen Aufmerksamkeitsverhalten. Hört ein Mensch ein Geräusch, das auf eine Gefahrenquelle hinweist, zum Beispiel Schreie, wird dieser Bereich mit den Augen erfasst und genauer nach der möglichen Gefahr untersucht. Die Erfindung stellt eine Aufmerksamkeitssteuerung für ein Multi sensorsystem für automatisiertes Fahren bereit, mit der Gefahrenbereiche oder Be reiche, in denen Objekte, von denen eine Gefahr ausgeht, genauestens ausgewertet werden. Umgebungen, in denen keine Objekte zu erwarten sind, werden in geringe rer Auflösung untersucht.

Bevorzugt erfolgt die Lokalisation und/oder Klassifikation mittels maschinellen Ler nens. Zum Beispiel wird ein künstliches neuronales Netzwerk, insbesondere ein Fal tungsnetzwerk, im Englischen convolutional neural networks genannt, auf einer wie oben beschriebenen Computerplattform ausgeführt, das als Eingabe die akustischen Signale erhält und trainiert ist, die Geräusche zu lokalisieren und zu klassifizieren, insbesondere hinsichtlich einer möglichen Gefahr. Die Ausgabe des künstlichen neu ronalen Netzwerks ist ein Gefahrenbereich. Das maschinelle Lernen ermöglicht es, neue Informationen situationsbedingt schnell zu prozessieren und ist damit vorteil haft, große Datenmengen, die das Multisensorsystem beim automatisierten Fahren generiert, in Echtzeit zu analysieren. Durch maschinelles Lernen wird die Rechenzeit verkürzt, die Genauigkeit erhöht und die bereitgestellte Sicherheit des Verfahrens oder des Multisensorsystems verbessert.

Nach einem weiteren Aspekt der Erfindung werden in dem Gefahrenbereich Merk malsextraktionsalgorithmen mit langer Laufzeit und außerhalb des Gefahrenbereichs Merkmalsextraktionsalgorithmen mit kurzer Laufzeit verwendet. Lange Laufzeit be deutet insbesondere, dass der Algorithmus hochgenau Daten auswertet. Kurze Lauf zeit bedeutet insbesondere, dass der Algorithmus Daten vergleichsweise weniger genau die Daten auswertet. Dadurch wird die Prozesszeit, die benötigt wird, um eine Umgebung wahrzunehmen, nochmals minimiert, ohne auf die nötige Genauigkeit im Gefahrenbereich zu verzichten. Außerhalb des Gefahrenbereichs werden auf Lauf zeit optimierte Algorithmen mit geringerer Genauigkeit angewendet. Merkmalsextrak tionsalgorithmen sind zum Beispiel Bildverarbeitungsalgorithmen. Ein Bildverarbei tungsalgorithmus ist zum Beispiel Histogram of oriented gradients, der low level fea- tures, nämlich Kanten und Ecken, insbesondere deren Orientierung, bestimmt.

Merkmalsextraktionsalgorithmen sind vorzugsweise künstliche neuronale Netzwerke, die high level features, das heißt Interpretationen von Merkmalen und deren Zusam menhänge, bestimmen.

Vorteilhafterweise werden die Messungen des Multisensorsystems innerhalb und außerhalb von Gefahrenbereichen fusioniert. Damit wird aus allen Ergebnissen der Objekterkennung im gesamten Messbereich ein Umgebungsmodell erhalten. Die Fu sion erfolgt mittels Hardware und/oder Software eines Steuergeräts wie oben be schrieben, insbesondere innerhalb der oben beschriebenen Computerplattform. Fu sion umfasst Methoden, um unterschiedliche Daten zu verknüpfen, mit dem Ziel, neues und präziseres Wissen über die Daten und damit verbundene Ereignisse zu gewinnen. Nach einem weiteren Aspekt der Erfindung wird das Verfahren auf einem Steuerge rät, insbesondere auf einer Computerplattform des Steuergeräts, ausgeführt. Das Verfahren ist damit ein computerimplementiertes Verfahren.

Das erfindungsgemäße Steuergerät ist konfiguriert für ein Multisensorsystem eines Straßenfahrzeuges. Das Multisensorsystem umfasst wenigstens einen Akus tiksensor. Das Steuergerät ist konfiguriert, zur Adaption der Auflösung des Multi sensorsystems ein erfindungsgemäßes Verfahren auszuführen. Vorteilhafterweise umfasst das Multisensorsystem mehrere Akustiksensoren zur Verbesserung der Po sitionsbestimmung der Geräuschquelle. Das Steuergerät weist vorzugsweise ein Ge häuse auf zum Schutz gegen hohe und/oder tiefe Temperaturen, Feuchtigkeit, Stöße und weitere Umwelteinflüsse, die bei dem Straßenfahrzeug auftreten.

Ein Steuergerät bereitet die Daten des Multisensorsystems als Eingangssignale auf, verarbeitet diese mittels eines Mikrocomputers, beispielsweiser einer Computerplatt form wie oben beschrieben, und stellt Logik- und/oder Leistungspegel als Regel- o- der Steuersignale bereit. Mittels den Regel- oder Steuersignalen wird die Auflösung des Multisensorsystems adaptiert. Das Steuergerät ist signaltechnisch mit dem Multi sensorsystem verbunden und in ein Bordnetz des Straßenfahrzeuges integriert. Das Steuergerät ist insbesondere ein elektronisches Steuergerät für automatisierte Fahr funktionen, im Englischen Domain ECU genannt.

Die Erfindung sieht eine Verwendung eines erfindungsgemäßen Steuergeräts in ei nem automatisiert oder autonom betreibbaren Straßenfahrzeug, das ein Multisensor system umfasst, vor.

Die Erfindung sieht auch ein Computerprogrammprodukt zum Adaptieren einer Auf lösung eines Multisensorsystems eines Straßenfahrzeuges vor. Das Computerpro grammprodukt umfasst Softwarecodeabschnitte. Die Softwarecodeabschnitte bewir ken, dass das erfindungsgemäße Steuergerät das erfindungsgemäße Verfahren aus führt, wenn das Computerprogramm auf dem Steuergerät läuft. Das Computerprogrammprodukt umfasst eine Abfolge von Befehlen, durch die das Steuergerät bei geladenem Computerprogramm veranlasst wird, die Auflösung des Multisensorsystems nach dem erfindungsgemäßen Verfahren zu adaptieren. Das Computerprogrammprodukt ruft einen technischen Effekt hervor, nämlich die Adapti on der Auflösung des Multisensorsystems.

Alternativ sieht die Erfindung vor, im Sinne einer frühen Fusion bei der Verarbeitung der einzelnen Sensordaten die Daten des akustischen Sensors nicht zu prozessieren bis hin zu fertigen Objekten als Input für die spätere Fusion, sondern beispielweise nur eine Belegungskarte der Umgebung zu berechnen, auf der mögliche Objekte Vorkommen. Eine solche Heatmap muss noch keine konsolidierten Objekte enthal ten, ist aber schon geeignet dafür, Regionen auszuschließen, in denen nur wenig passiert.

Die Erfindung wird in den Figuren beispielhaft erläutert. Es zeigen:

Fig. 1 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens und

Fig. 2 ein Ausführungsbeispiel eines erfindungsgemäßen Steuergeräts.

In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber sind in den Figuren nur die jeweils relevanten Bezugs teile angegeben.

Fig. 1 zeigt schematisch das erfindungsgemäße Verfahren. Ein Akustiksensor 1 1 eines Straßenfahrzeuges 1 detektiert ein Geräusch S. Der Akustiksensor 11 ist ein Mikrofon. Das Straßenfahrzeug 1 ist ein PKW, das fahrerlos gefahren wird. Das Ge räusch ist ein Quietschen von Reifen. Der Akustiksensor 1 1 wandelt das Geräusch S in ein akustisches Signal um. Ein elektronisches Steuergerät 20 prozessiert das akustische Signal. Dazu umfasst das Steuergerät 20 einen Mikrocomputer mit einer für künstliche Intelligenz konfigurierten Computerplattform. Durch das Prozessieren wird das Geräusch lokalisiert und klassifiziert. Die Computerplattform führt beispiels weise einen lernenden Algorithmus aus, der anhand des akustischen Signals er- kennt, dass es sich bei dem Geräusch S um ein Reifenquietschen handelt aus einer Entfernung von beispielsweise 20 Meter in einem Winkelbereich von 20° relativ zu der Fahrzeugrichtung. Dieser Bereich wird als ein Gefahrenbereich G bestimmt. Das Steuergerät 20 steuert ein Multisensorsystem 10 nun so an, dass Sensoren 1 1 , 12,

13 und 14 des Multisensorsystems 10 innerhalb des Gefahrenbereichs G mit voller Auflösung und außerhalb des Gefahrenbereichs G mit Standard-Auflösung die Um gebung erfassen. Damit wird ein Objekt, von dem das Geräusch S ausgeht, mit ho her Auflösung erfasst. Gleichzeitig wird der Datenstrom reduziert, weil die Senso ren 1 1 , 12, 13 und 14 Regionen außerhalb des Gefahrenbereichs mit weniger Auflö sung erfassen und damit dort weniger Daten produzieren.

Fig. 2 zeigt das Multisensorsystem 10. Das Multisensorsystem 10 umfasst vier Akus tiksensoren 1 1 , nämlich zwei, die im Frontbereich des Straßenfahrzeuges 1 ange ordnet sind, und zwei, die im Heckbereich des Straßenfahrzeuges 1 angeordnet sind. Mit dieser Anordnung werden Gefahrenbereiche G besonders einfach und genau lokalisiert. Ferner umfasst das Multisensorsystem 10 vier Kameras 12, wobei an je der Seite des Straßenfahrzeuges 1 jeweils eine Kamera 12 angeordnet ist. Des Wei teren umfasst das Multisensorsystem 10 beispielsweise ein Radar 13 und ein Li- dar 14, die jeweils im Frontbereich des Straßenfahrzeuges 1 angeordnet sind. Das Steuergerät 20 ist signaltechnisch mit dem Multisensorsystem 10 verbunden. Das Steuergerät 20 ist in einem Bordnetz des Straßenfahrzeuges integriert.

Bezuqszeichen Fahrzeug

Multisensorsystem

Akustiksensor

Kamera

Radar

Lidar

Steuergerät

Geräusch

Gefahrenbereich