Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SURROUNDINGS SENSING SYSTEM FOR A VEHICLE AND METHOD FOR SENSING SURROUNDINGS OF A VEHICLE
Document Type and Number:
WIPO Patent Application WO/2024/104803
Kind Code:
A1
Abstract:
The invention relates to a surroundings sensing system (1) for a vehicle (50), comprising at least two groups (2, 3, 5) of sensors (2-x, 3-x, 5-x) and an evaluation device (4) which is configured to evaluate sensed sensor data (10), wherein the at least two groups (2, 3, 5) and the evaluation device (4) are configured such that two different groups (2, 3, 5) of sensors (2-x, 3-x, 5-x) sense the same surroundings region with at least two different sensor types and/or two different groups (2, 3, 5) of sensors (2-x, 3-x, 5-x) sense, with the same sensor types, surroundings regions with a predefined minimum overlap of the respective sensing regions, and results of the groups (2, 3, 5) derived from the sensed sensor data (10) are checked against each other for plausibility, wherein in the event of different results, the result that is deemed more critical is selected and provided; and/or results of the at least two groups (2, 3, 5) are checked for plausibility based on predefined plausibility features (21) in the environment; wherein the evaluation device (4) is further configured to transfer the vehicle (50) into a safe state or to cause this to happen if at least one of the aforementioned plausibility checks fails or a predefined number of sensors (2-x, 3-x, 5-x) has failed.

Inventors:
DOBBERPHUL TIMO (DE)
BISCHOF STEFAN (DE)
Application Number:
PCT/EP2023/080799
Publication Date:
May 23, 2024
Filing Date:
November 06, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
VOLKSWAGEN AG (DE)
International Classes:
G01S13/86; G01S7/40; G01S7/497; G01S13/931; G01S17/86; G01S17/931; G01S7/41; G01S7/48; G01S13/87; G01S15/87; G01S15/931; G01S17/87
Foreign References:
US20190196481A12019-06-27
DE102020118620A12022-01-20
US20190049958A12019-02-14
US20200339151A12020-10-29
Download PDF:
Claims:
Patentansprüche Umfelderfassungssystem (1) für ein Fahrzeug (50), umfassend: mindestens zwei Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x), wobei die mindestens zwei Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) in Bezug auf zumindest eine Hardware, eine Energieversorgung und eine Datenkommunikation unabhängig voneinander eingerichtet sind, und eine Auswertungseinrichtung (4), die dazu eingerichtet ist, von den Sensoren (2-x,3-x,5-x) erfasste Sensordaten (10) auszuwerten, wobei die mindestens zwei Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) und die Auswertungseinrichtung (4) dazu eingerichtet sind,

- dass zwei unterschiedliche Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) den gleichen Umfeldbereich mit mindestens zwei unterschiedlichen Sensorarten erfassen und aus den erfassten Sensordaten (10) abgeleitete Ergebnisse der Gruppen (2,3,5) gegeneinander plausibilisiert werden, wobei bei unterschiedlichen Ergebnissen dasjenige Ergebnis gewählt und bereitgestellt wird, das als kritischer beurteilt wird, und/oder

- dass zwei unterschiedliche Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) mit gleichen Sensorarten Umfeldbereiche mit einem vorgegebenen Mindestüberlapp der jeweiligen Erfassungsbereiche erfassen, und aus den erfassten Sensordaten (10) abgeleitete Ergebnisse der Gruppen (2,3,5) im Überlappungsbereich gegeneinander plausibilisiert werden, wobei bei unterschiedlichen Ergebnissen dasjenige Ergebnis gewählt und bereitgestellt wird, das als kritischer beurteilt wird, und/oder

- dass aus den erfassten Sensordaten (10) abgeleitete Ergebnisse der mindestens zwei Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) anhand von vorgegebenen Plausibilisierungsmerkmalen (21) im Umfeld plausibilisiert werden; wobei die Auswertungseinrichtung (4) ferner dazu eingerichtet ist, das Fahrzeug (50) in einen sicheren Zustand zu überführen oder das Überführen in einen sicheren Zustand zu veranlassen, wenn mindestens eine der vorgenannten Plausibilisierungen fehlschlägt oder eine vorgegebene Anzahl von Sensoren (2-x,3-x,5-x) ausgefallen ist. Umfelderfassungssystem (1) nach Anspruch 1 , dadurch gekennzeichnet, dass die mindestens zwei Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) und/oder die Auswertungseinrichtung (4) dazu eingerichtet sind, eine Objekterkennung für zumindest jede der Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) getrennt durchzuführen. Umfelderfassungssystem (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Beurteilung der Kritikalität der Ergebnisse anhand von mindestens einem vorgegebenen Kritikalitätskriterium (15) erfolgt. Umfelderfassungssystem (1) nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Ergebnisse ausgehend von den erfassten Sensordaten (10) im Umfeld erkannte Objekte (22,22-x) umfassen, wobei das mindestens eine vorgegebene Kritikalitätskriterium (15) eine Objektexistenz umfasst oder beinhaltet. Umfelderfassungssystem (1) nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Ergebnisse ausgehend von den erfassten Sensordaten (10) im Umfeld erkannte Objekte (22,22-x) umfassen, wobei das mindestens eine vorgegebene Kritikalitätskriterium (15) eine Objektart umfasst oder beinhaltet. Umfelderfassungssystem (1) nach einem der Ansprüche 2 bis 5, dadurch gekennzeichnet, dass die Ergebnisse ausgehend von den erfassten Sensordaten (10) im Umfeld erkannte Objekte (22,22-x) umfassen, wobei das mindestens eine vorgegebene Kritikalitätskriterium (15) eine Objektgröße und/oder eine Objektentfernung zum Fahrzeug (50) umfasst oder beinhaltet. Umfelderfassungssystem (1) nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Auswertungseinrichtung (4) ferner dazu eingerichtet ist, die vorgegebenen Plausibilisierungsmerkmale (21) in einer Umfeldkarte (20) bereitzuhalten und/oder aus dieser abzurufen. Umfelderfassungssystem (1) nach einem der Ansprüche 1 bis 7, gekennzeichnet durch mindestens drei Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x), wobei die Auswertungseinrichtung (4) dazu eingerichtet ist, eine Plausibilisierung der ausgehend von den aus den jeweiligen erfassten Sensordaten (10) abgeleiteten Ergebnisse der Gruppen (2,3,5) gegeneinander auf Grundlage einer m-aus-n-Entscheidung durchzuführen und/oder ein Gesamtergebnis (25) ausgehend von den aus den jeweiligen erfassten Sensordaten (10) abgeleiteten Ergebnissen der jeweiligen Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) auf Grundlage einer m-aus-n-Entscheidung zu treffen und bereitzustellen. Fahrzeug (50), umfassend mindestens ein Umfelderfassungssystem (1) nach einem der Ansprüche 1 bis 8. Verfahren zum Erfassen eines Umfelds eines Fahrzeugs (50), wobei das Umfeld mittels mindestens zwei Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) erfasst wird, wobei die mindestens zwei Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) in Bezug auf zumindest eine Hardware, eine Energieversorgung und eine Datenkommunikation unabhängig voneinander betrieben werden, wobei die mittels der Sensoren (2-x,3-x,5-x) erfassten Sensordaten (10) mittels einer Auswertungseinrichtung (4) ausgewertet werden,

- wobei zwei unterschiedliche Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) den gleichen Umfeldbereich mit mindestens zwei unterschiedlichen Sensorarten erfassen und aus den erfassten Sensordaten (10) abgeleitete Ergebnisse der Gruppen (2,3,5) gegeneinander plausibilisiert werden, wobei bei unterschiedlichen Ergebnissen dasjenige Ergebnis gewählt und bereitgestellt wird, das als kritischer beurteilt wird, und/oder

- wobei zwei unterschiedliche Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) mit gleichen Sensorarten Umfeldbereiche mit einem vorgegebenen Mindestüberlapp der jeweiligen Erfassungsbereiche erfassen, und aus den erfassten Sensordaten (10) abgeleitete Ergebnisse der Gruppen (2,3,5) im Überlappungsbereich gegeneinander plausibilisiert werden, wobei bei unterschiedlichen Ergebnissen dasjenige Ergebnis gewählt und bereitgestellt wird, das als kritischer beurteilt wird, und/oder

- wobei aus den erfassten Sensordaten (10) abgeleitete Ergebnisse der mindestens zwei Gruppen (2,3,5) von Sensoren (2-x,3-x,5-x) anhand von vorgegebenen Plausibilisierungsmerkmalen (21) im Umfeld plausibilisiert werden; und wobei das Fahrzeug (50) in einen sicheren Zustand überführt wird, wenn mindestens eine der vorgenannten Plausibilisierungen fehlschlägt oder eine vorgegebene Anzahl von Sensoren (2-x,3-x,5-x) ausgefallen ist.

Description:
Beschreibung

Umfelderfassungssystem für ein Fahrzeug und Verfahren zum Erfassen eines Umfelds eines Fahrzeugs

Die Erfindung betrifft ein Umfelderfassungssystem für ein Fahrzeug und ein Verfahren zum Erfassen eines Umfelds eines Fahrzeugs.

Ein wesentlicher Bestandteil von Lösungen zum automatisierten Fahren ist die Umfeldwahrnehmung. Diese erfolgt in der Regel über verschiedene Arten von Sensoren, die eine Beschaffenheit des Umfeldes erfassen und Objekte im Umfeld detektieren oder erkennen können. Hierbei ist es wichtig, Fehler der Sensoren erkennen zu können, damit sich Fehler unterschiedlicher Art (z.B. eine Verfälschung von Sensordaten oder ein Ausfall der Sensoren bzw. Sensordaten) nicht auf ein Systemverhalten auswirken können. Hierzu ist es notwendig, die Sensoren derart an das Fahrzeug anzubinden, dass mit Hilfe von Redundanzen und einer Überwachung stets Sensordaten bereitgestellt werden können, die das Umfeld korrekt beschreiben.

Aus der US 2020 / 0 339 151 A1 sind Techniken zum Implementieren einer Fahrzeugreaktion auf einen Sensorausfall bekannt. Insbesondere sind Verfahren bekannt, die das Empfangen von Informationen von mehreren Sensoren umfassen, die mit einem Fahrzeug gekoppelt sind, das Bestimmen, dass ein Konfidenzniveau der empfangenen Informationen von mindestens einem Sensor einer ersten Teilmenge von Sensoren der Vielzahl von Sensoren kleiner als ein erster Schwellenwert ist, Vergleichen einer Anzahl von Sensoren in der ersten Teilmenge von Sensoren mit einem zweiten Schwellenwert und Anpassen der Fahrfähigkeit des Fahrzeugs, um sich auf Informationen zu verlassen, die von einer zweiten Teilmenge der Sensoren der Vielzahl von Sensoren empfangen werden, wobei die zweite Teilmenge von Sensoren den mindestens einen Sensor der ersten Teilmenge von Sensoren ausschließt.

Der Erfindung liegt die Aufgabe zu Grunde, ein Umfelderfassungssystem für ein Fahrzeug und ein Verfahren zum Erfassen eines Umfelds eines Fahrzeugs zu verbessern. Die Aufgabe wird erfindungsgemäß durch ein Umfelderfassungssystem mit den Merkmalen des Patentanspruchs 1 und ein Verfahren mit den Merkmalen des Patentanspruchs 10 gelöst. Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.

Insbesondere wird ein Umfelderfassungssystem für ein Fahrzeug geschaffen, umfassend mindestens zwei Gruppen von Sensoren, wobei die mindestens zwei Gruppen von Sensoren in Bezug auf zumindest eine Hardware, eine Energieversorgung und eine Datenkommunikation unabhängig voneinander eingerichtet sind, und eine Auswertungseinrichtung, die dazu eingerichtet ist, von den Sensoren erfasste Sensordaten auszuwerten, wobei die mindestens zwei Gruppen von Sensoren und die Auswertungseinrichtung dazu eingerichtet sind,

- dass zwei unterschiedliche Gruppen von Sensoren den gleichen Umfeldbereich mit mindestens zwei unterschiedlichen Sensorarten erfassen und aus den erfassten Sensordaten abgeleitete Ergebnisse der Gruppen gegeneinander plausibilisiert werden, wobei bei unterschiedlichen Ergebnissen dasjenige Ergebnis gewählt und bereitgestellt wird, das als kritischer beurteilt wird, und/oder

- dass zwei unterschiedliche Gruppen von Sensoren mit gleichen Sensorarten Umfeldbereiche mit einem vorgegebenen Mindestüberlapp der jeweiligen Erfassungsbereiche erfassen, und aus den erfassten Sensordaten abgeleitete Ergebnisse der Gruppen im Überlappungsbereich gegeneinander plausibilisiert werden, wobei bei unterschiedlichen Ergebnissen dasjenige Ergebnis gewählt und bereitgestellt wird, das als kritischer beurteilt wird, und/oder

- dass aus den erfassten Sensordaten abgeleitete Ergebnisse der mindestens zwei Gruppen von Sensoren anhand von vorgegebenen Plausibilisierungsmerkmalen im Umfeld plausibilisiert werden; wobei die Auswertungseinrichtung ferner dazu eingerichtet ist, das Fahrzeug in einen sicheren Zustand zu überführen oder das Überführen in einen sicheren Zustand zu veranlassen, wenn mindestens eine der vorgenannten Plausibilisierungen fehlschlägt oder eine vorgegebene Anzahl von Sensoren ausgefallen ist.

Ferner wird insbesondere ein Verfahren zum Erfassen eines Umfelds eines Fahrzeugs zur Verfügung gestellt, wobei das Umfeld mittels mindestens zwei Gruppen von Sensoren erfasst wird, wobei die mindestens zwei Gruppen von Sensoren in Bezug auf zumindest eine Hardware, eine Energieversorgung und eine Datenkommunikation unabhängig voneinander betrieben werden, wobei die mittels der Sensoren erfassten Sensordaten mittels einer Auswertungseinrichtung ausgewertet werden,

- wobei zwei unterschiedliche Gruppen von Sensoren den gleichen Umfeldbereich mit mindestens zwei unterschiedlichen Sensorarten erfassen und aus den erfassten Sensordaten abgeleitete Ergebnisse der Gruppen gegeneinander plausibilisiert werden, wobei bei unterschiedlichen Ergebnissen dasjenige Ergebnis gewählt und bereitgestellt wird, das als kritischer beurteilt wird, und/oder

- wobei zwei unterschiedliche Gruppen von Sensoren mit gleichen Sensorarten Umfeldbereiche mit einem vorgegebenen Mindestüberlapp der jeweiligen Erfassungsbereiche erfassen, und aus den erfassten Sensordaten abgeleitete Ergebnisse der Gruppen im Überlappungsbereich gegeneinander plausibilisiert werden, wobei bei unterschiedlichen Ergebnissen dasjenige Ergebnis gewählt und bereitgestellt wird, das als kritischer beurteilt wird, und/oder

- wobei aus den erfassten Sensordaten abgeleitete Ergebnisse der mindestens zwei Gruppen von Sensoren anhand von vorgegebenen Plausibilisierungsmerkmalen im Umfeld plausibilisiert werden; und wobei das Fahrzeug in einen sicheren Zustand überführt wird, wenn mindestens eine der vorgenannten Plausibilisierungen fehlschlägt oder eine vorgegebene Anzahl von Sensoren ausgefallen ist.

Das Umfelderfassungssystem und das Verfahren ermöglichen es, eine Umfelderfassung redundant, sicher und gleichzeitig kostengünstig auszulegen. Dies wird erreicht, indem Sensoren, die das Umfeld des Fahrzeugs erfassen, mindestens zwei unterschiedlichen Gruppen zugeordnet werden. Es ist dann vorgesehen, dass eine oder mehrere der nachfolgenden Sicherheitsmechanismen verwendet werden: Zwei unterschiedliche Gruppen von Sensoren erfassen den gleichen Umfeldbereich mit mindestens zwei unterschiedlichen Sensorarten (bzw. Sensortechnologien). Aus den erfassten Sensordaten abgeleitete Ergebnisse der Gruppen werden gegeneinander plausibilisiert, wobei bei unterschiedlichen Ergebnissen dasjenige Ergebnis gewählt und bereitgestellt wird, das als kritischer beurteilt wird. Alternativ oder zusätzlich erfassen zwei unterschiedliche Gruppen von Sensoren mit gleichen Sensorarten Umfeldbereiche mit einem vorgegebenen Mindestüberlapp der jeweiligen Erfassungsbereiche. Aus den erfassten Sensordaten abgeleitete Ergebnisse der Gruppen werden im Überlappungsbereich gegeneinander plausibilisiert, wobei bei unterschiedlichen Ergebnissen dasjenige Ergebnis gewählt und bereitgestellt wird, das als kritischer beurteilt wird. Der Überlappungsbereich bezieht sich insbesondere auf die Erfassungsbereiche der Sensoren. Der vorgegebene Mindestüberlapp beträgt insbesondere 99 % der Erfassungsbereiche der jeweils betrachteten Sensoren bzw. Gruppen von Sensoren. Weiter alternativ oder zusätzlich werden aus den erfassten Sensordaten abgeleitete Ergebnisse der mindestens zwei Gruppen von Sensoren anhand von vorgegebenen Plausibilisierungsmerkmalen im Umfeld plausibilisiert. Es ist vorgesehen, dass das Fahrzeug in einen sicheren Zustand überführt wird, wenn mindestens eine der vorgenannten Plausibilisierungen fehlschlägt oder eine vorgegebene Anzahl von Sensoren ausgefallen ist. Ein Ausfall eines Sensor kann beispielsweise mittels des jeweiligen Sensors selbst und/oder mittels der Auswertungseinrichtung erkannt werden. Die vorgegebene Anzahl ist insbesondere eine Mindestanzahl. Die vorgegebene Anzahl kann beispielsweise ausgehend von empirischen Versuchen und/oder von Simulationen bestimmt werden. Das Umfelderfassungssystem ist in Bezug auf die Gruppen insbesondere dazu eingerichtet, dass eine der Gruppen bezüglich einer Umfelderfassung ausreichend ist, um das Fahrzeug in den sicheren Zustand zu überführen.

Vorteile des Umfelderfassungssystems und des Verfahrens sind, dass eine minimal mögliche Redundanz und eine technologische Diversifikation in Bezug auf die Sensorarten erzielt werden können. Durch das Umfelderfassungssystem kann eine sicherere Umfelderfassung erfolgen und gleichzeitig können Kosten eingespart werden.

Sensoren bzw. Sensorarten können insbesondere die folgenden umfassen: Kameras, Stereokameras, Lidarsensoren, Radarsensoren, Ultraschallsensoren und/oder Wärmebildkameras usw.

Ein Ergebnis kann im einfachsten Fall die Sensordaten selbst umfassen. Ein Ergebnis umfasst jedoch insbesondere aus den erfassten Sensordaten abgeleitete Informationen.

Plausibilisieren bezeichnet insbesondere ein Überprüfen von erfassten Sensordaten und/oder von hieraus abgeleiteten Ergebnissen. Das Plausibilisieren kann beispielsweise einen Vergleich von Sensordaten und/oder Ergebnissen umfassen. Das Plausibilisieren kann auch das Bestimmen einer Abweichung von Sensordaten und/oder Ergebnissen sowie einen Vergleich mit mindestens einem auf die bestimmte Abweichung bezogenen Schwellwert umfassen.

Eine Kritikalität bezeichnet insbesondere ein Maß zur Beurteilung eines Einflusses des Umfelds oder eines Elementes des Umfelds auf eine Unversehrtheit und/oder eine Sicherheit des Fahrzeugs. Je größer die Kritikalität ist, desto größer ist der Einfluss des Umfelds oder des Elements des Umfeld auf die Unversehrtheit und/oder die Sicherheit des Fahrzeugs. Beispielsweise hat ein großes, massiv ausgebildetes Hindernis vor einem auf dieses Hindernis zusteuernden Fahrzeug eine größere Kritikalität als eine in der Luft vor dem Fahrzeug schwebende Plastiktüte. Bei einem Vergleich wird etwas als kritischer beurteilt, wenn es einen größeren Wert des Maßes zur Beurteilung des Einflusses, das heißt, einen größeren Wert der Kritikalität, aufweist.

Ein Fahrzeug ist insbesondere ein Kraftfahrzeug. Ein Fahrzeug kann jedoch auch ein anderes Land-, Schienen-, Wasser-, Luft- oder Raumfahrzeug sein, beispielsweise eine Drohne oder ein Lufttaxi.

Teile des Umfelderfassungssystems, insbesondere die Auswertungseinrichtung, können einzeln oder zusammengefasst als eine Kombination von Hardware und Software ausgebildet sein, beispielsweise als Programmcode, der auf einem Mikrocontroller oder Mikroprozessor ausgeführt wird. Es kann jedoch auch vorgesehen sein, dass Teile einzeln oder zusammengefasst als anwendungsspezifische integrierte Schaltung (ASIC) und/oder feldprogrammierbares Gatterfeld (FPGA) ausgebildet sind.

In einer Ausführungsform ist vorgesehen, dass die mindestens zwei Gruppen von Sensoren und/oder die Auswertungseinrichtung dazu eingerichtet sind, eine Objekterkennung für zumindest jede der Gruppen von Sensoren getrennt durchzuführen. Hierdurch ist auch eine Objekterkennung redundant ausgebildet. Das Erkennen der Objekte erfolgt mittels an sich bekannter Verfahren der Computer Vision und/oder der Künstlichen Intelligenz, beispielsweise mittels Maschinenlernen. Die Objekterkennung liefert als Ergebnis im Umfeld erkannte Objekte (z.B. in Form von einer Objektart und einer zugehörigen Position im Umfeld).

In einer Ausführungsform ist vorgesehen, dass eine Beurteilung der Kritikalität der Ergebnisse anhand von mindestens einem vorgegebenen Kritikalitätskriterium erfolgt. Ein Kritikalitätskriterium ist insbesondere eine Vorgabe für das Maß zur Beurteilung eines Einflusses des Umfelds oder eines Elementes des Umfelds auf eine Unversehrtheit und/oder eine Sicherheit des Fahrzeugs. In einem einfachen Fall umfasst das Kritikalitätskriterium beispielsweise einen Schwellwert oder eine vorgegebene Klassifizierungsrang- oder - reihenfolge für ein solches Maß. Grundsätzlich kann das Kritikalitätskriterium jedoch auch komplexer, insbesondere mehrdimensional, ausgestaltet sein. Das Kritikalitätskriterium kann auch eine oder mehrere Bedingungen umfassen und/oder definieren. In einer Ausführungsform ist vorgesehen, dass die Ergebnisse ausgehend von den erfassten Sensordaten im Umfeld erkannte Objekte umfassen, wobei das mindestens eine vorgegebene Kritikalitätskriterium eine Objektexistenz umfasst oder beinhaltet. Hierdurch kann die Objektexistenz zur Beurteilung der Kritikalität verwendet werden. Die Objektexistenz umfasst insbesondere eine Information darüber, ob das Objekt in den erfassten Sensordaten erkannt wurde oder nicht. Wurde von einer Gruppe ein Objekt erkannt, von einer anderen Gruppe hingegen nicht, so wird das Ergebnis derjenigen Gruppe, die das Objekt erkannt hat, als kritischer beurteilt und insbesondere als (Gesamt-)Ergebnis des Umfelderfassungssystems bereitgestellt.

In einer Ausführungsform ist vorgesehen, dass die Ergebnisse ausgehend von den erfassten Sensordaten im Umfeld erkannte Objekte umfassen, wobei das mindestens eine vorgegebene Kritikalitätskriterium eine Objektart umfasst oder beinhaltet. Hierdurch kann die Objektart zur Beurteilung der Kritikalität verwendet werden. Die Objektart umfasst insbesondere eine Information darüber, welche Art von Objekt in den jeweils erfassten Sensordaten erkannt wurde. Hierbei kann den Objektarten eine Kritikalität zugeordnet werden oder zugeordnet sind. Beispielsweise sind ein Felsblock oder ein Baumstamm auf einer Straße für das Fahrzeug mit einer größeren Kritikalität behaftet als eine vor dem Fahrzeug schwebende Plastiktüte. Wurde von einer Gruppe eine Objektart mit einer größeren zugeordneten Kritikalität erfasst als von einer anderen Gruppe, so wird das Ergebnis derjenigen Gruppe, die das Objekt mit größerer Kritikalität erfasst hat, als kritischer beurteilt und insbesondere als (Gesamt-) Ergebnis des Umfelderfassungssystems bereitgestellt. In der Auswertungseinrichtung kann beispielsweise eine Zuordnung von Objekten zu jeweiligen Werten für eine Kritikalität hinterlegt sein, die Grundlage für eine Beurteilung ist.

In einer Ausführungsform ist vorgesehen, dass die Ergebnisse ausgehend von den erfassten Sensordaten im Umfeld erkannte Objekte umfassen, wobei das mindestens eine vorgegebene Kritikalitätskriterium eine Objektgröße und/oder eine Objektentfernung zum Fahrzeug umfasst oder beinhaltet. Hierdurch können die Objektgröße und/oder die Objektentfernung zum Fahrzeug als Kriterien für die Kritikalität berücksichtigt werden. Beispielsweise sind größere Objekte (z.B. Felsbrocken oder Baumstämme) in der Regel kritischer für das Fahrzeug als kleinere Objekte (z.B. Kieselsteine oder Zweige). In der Regel sind näher am Fahrzeug erfasste Objekte ebenfalls als kritischer zu bewerten, da weniger Zeit zum Reagieren bleibt. Dies kann als jeweiliges Kritikalitätskriterium berücksichtigt werden. In einer Ausführungsform ist vorgesehen, dass die Auswertungseinrichtung ferner dazu eingerichtet ist, die vorgegebenen Plausibilisierungsmerkmale in einer Umfeldkarte bereitzuhalten und/oder aus dieser abzurufen. Hierdurch können in Abhängigkeit von einer aktuellen Position des Fahrzeugs geeignete Plausibilisierungsmerkmale bestimmt und vorgegeben werden. Dies erfolgt insbesondere, indem die aktuelle Position des Fahrzeugs in der Umfeldkarte gesucht wird, geeignete Plausibilisierungsmerkmale im Umfeld in der Umfeldkarte identifiziert werden und die identifizierten Plausibilisierungsmerkmale mit den im Umfeld ausgehend von den erfassten Sensordaten und/oder den hieraus abgeleiteten Ergebnissen aufgefundenen Merkmalen (oder Objekten) verglichen werden. Werden die vorgegebenen Plausibilisierungsmerkmale im Umfeld erkannt, das heißt, stimmen die im Umfeld erkannten Merkmale (insbesondere Objekte) sowie insbesondere auch deren Positionen mit den in der Karte für dieses Umfeld hinterlegten Plausibilisierungsmerkmalen überein, so wird die Plausibilisierung erfolgreich abgeschlossen. Anderenfalls schlägt die Plausibilisierung fehl. Beispielsweise kann vorgesehen sein, dass an einer Position im Umfeld eine Lichtsignalanlage erkannt werden muss, da für diese Position in der Umfeldkarte als Plausibilisierungsmerkmal eine Lichtsignalanlage hinterlegt ist. Grundsätzlich können auch andere Arten von Objekten als Plausibilisierungsmerkmal verwendet werden, beispielsweise Mauern, Gebäude, Straßenmarkierungen, Verkehrsschilder usw. Es kann auch vorgesehen sein, dass Plausibilisierungsmerkmale allein zu diesem Zweck aufgestellt oder angeordnet werden, beispielsweise in Form von Verkehrsschildern und/oder an Gebäuden etc.

In einer Ausführungsform ist vorgesehen, dass das Umfelderfassungssystem mindestens drei Gruppen von Sensoren aufweist, wobei die Auswertungseinrichtung dazu eingerichtet ist, eine Plausibilisierung der ausgehend von den aus den jeweiligen erfassten Sensordaten abgeleiteten Ergebnisse der Gruppen gegeneinander auf Grundlage einer m-aus-n- Entscheidung durchzuführen und/oder ein Gesamtergebnis ausgehend von den aus den jeweiligen erfassten Sensordaten abgeleiteten Ergebnissen der jeweiligen Gruppen von Sensoren auf Grundlage einer m-aus-n-Entscheidung zu treffen und bereitzustellen. Hierdurch kann eine Mehrheitsentscheidung als Grundlage für die Plausibilisierung und das Ableiten eines (Gesamt-) Ergebnisses dienen. Dies ist insbesondere von Vorteil, wenn eine größere Redundanz (d.h. mindestens drei Gruppen von Sensoren) vorhanden ist.

Es wird insbesondere auch ein Fahrzeug geschaffen, umfassend mindestens ein Umfelderfassungssystem nach einer der beschriebenen Ausführungsformen. Weitere Merkmale zur Ausgestaltung des Verfahrens ergeben sich aus der Beschreibung von Ausgestaltungen des Umfelderfassungssystems. Die Vorteile des Verfahrens sind hierbei jeweils die gleichen wie bei den Ausgestaltungen des Umfelderfassungssystems.

Nachfolgend wird die Erfindung anhand bevorzugter Ausführungsbeispiele unter Bezugnahme auf die Figuren näher erläutert. Hierbei zeigen:

Fig. 1 eine schematische Darstellung einer Ausführungsform des Umfelderfassungssystems;

Fig. 2 eine schematische Darstellung zur Verdeutlichung von Ausführungsformen des Umfelderfassungssystems;

Fig. 3 eine schematische Darstellung zur Verdeutlichung von weiteren Ausführungsformen des Umfelderfassungssystems.

Die Fig. 1 zeigt eine schematische Darstellung einer Ausführungsform des Umfelderfassungssystems 1. Das Umfelderfassungssystem 1 ist insbesondere in einem Fahrzeug 50 angeordnet. Das Umfelderfassungssystem 1 umfasst (mindestens) zwei Gruppen 2, 3 von Sensoren 2-x, 3-x wobei die zwei Gruppen 2, 3 von Sensoren 2-x, 3-x in Bezug auf zumindest eine Hardware, eine Energieversorgung und eine Datenkommunikation unabhängig voneinander eingerichtet sind. Ferner umfasst das Umfelderfassungssystem 1 eine Auswertungseinrichtung 4, die dazu eingerichtet ist, von den Sensoren 2-x, 3-x erfasste Sensordaten 10 auszuwerten. Die Auswertungseinrichtung 4 umfasst beispielsweise eine Recheneinrichtung 4-1 und einen Speicher 4-2. Die Recheneinrichtung 4-1 führt zum Auswerten geeigneten Programmcode aus. Die ausgewerteten Sensordaten 10 werden insbesondere als Ergebnisse 40-x bereitgestellt und/oder weiterverarbeitet.

Die zwei Gruppen 2, 3 von Sensoren 2-x, 3-x und die Auswertungseinrichtung 4 sind dazu eingerichtet, dass die zwei (unterschiedlichen) Gruppen 2, 3 von Sensoren 2-x, 3-x den gleichen Umfeldbereich mit mindestens zwei unterschiedlichen Sensorarten erfassen und aus den erfassten Sensordaten 10 abgeleitete Ergebnisse 40-2, 40-3 der Gruppen 2, 3 gegeneinander plausibilisiert werden, wobei bei unterschiedlichen Ergebnissen 40-2, 40-3 dasjenige Ergebnis 40-2, 40-3 gewählt und bereitgestellt wird, das als kritischer beurteilt wird. Beispielsweise kann vorgesehen sein, dass die Gruppe 2 ausschließlich Kameras als Sensoren 2-x aufweist, die Gruppe 3 hingegen ausschließlich Lidarsensoren oder Radarsensoren. Das Umfeld wird dann sowohl von den Kameras als auch von den Lidarsensoren oder Radarsensoren erfasst. Diese Ausführungsform ist schematisch in der Fig. 2 für die Gruppen 2, 3 anhand der jeweiligen Erfassungsbereiche verdeutlicht. Grundsätzlich können auch weitere Gruppen mit weiteren Sensorarten, beispielsweise Wärmebildkameras, Ultraschallsensoren oder (Umfeld-)Kameras, vorgesehen sein.

Insbesondere erfolgt eine Weiterverarbeitung des gewählten und bereitgestellten kritischeren Ergebnisses 40-2, 40-3 mittels einer Fahrzeugsteuerung 51.

Alternativ oder zusätzlich sind die zwei Gruppen 2, 3 von Sensoren 2-x, 3-x und die Auswertungseinrichtung 4 dazu eingerichtet, dass die zwei (unterschiedlichen) Gruppen 2, 3 von Sensoren 2-x, 3-x mit gleichen Sensorarten Umfeldbereiche mit einem vorgegebenen Mindestüberlapp der jeweiligen Erfassungsbereiche erfassen, und die aus den erfassten Sensordaten 10 abgeleiteten Ergebnisse 40-2, 40-3 der Gruppen 2, 3 im Überlappungsbereich gegeneinander plausibilisiert werden, wobei bei unterschiedlichen Ergebnissen 40-2, 40-3 dasjenige Ergebnis 40-2, 40-3 gewählt und bereitgestellt wird, das als kritischer beurteilt wird. Beispielsweise kann vorgesehen sein, dass sowohl die Gruppe 2 als auch die Gruppe 3 Kameras als Sensoren 2-x aufweisen. Das Umfeld wird dann sowohl von den Kameras der Gruppe 2 als auch von den Kameras der Gruppe 3 erfasst. Diese Ausführungsform ist schematisch in der Fig. 3 für die Gruppen 2, 3 anhand der jeweiligen Erfassungsbereiche verdeutlicht (die Bezugszeichen der Gruppen 2, 3 wurden der Übersichtlichkeit halber nicht dargestellt, sondern nur die zugehörigen Sensoren 2-x, 3-x). Grundsätzlich kann diese Ausführungsform auch weitere Gruppen umfassen und/oder für andere Sensorarten vorgesehen sein, beispielsweise Wärmebildkameras, Ultraschallsensoren, Radarsensoren oder Lidarsensoren.

Weiter alternativ oder zusätzlich werden aus den erfassten Sensordaten 10 abgeleitete Ergebnisse 40-2, 40-3 der zwei Gruppen 2, 3 von Sensoren 2-x, 3-x anhand von vorgegebenen Plausibilisierungsmerkmalen 21 im Umfeld plausibilisiert. Die für ein Umfeld vorgegebenen Plausibilisierungsmerkmale 21 können beispielsweise aus einer im Speicher 4-2 hinterlegten Umfeldkarte 20 (Fig. 1) abgerufen werden. Das beispielhafte Plausibilisierungsmerkmal 21 (Fig. 3) ist im (aktuellen) Umfeld des Fahrzeugs 50 angeordnet und wird von den Sensoren 2-x, 3-x der Gruppen 2, 3 erfasst. Zur Plausibilisierung wird insbesondere überprüft, ob die aus den von den Sensoren 2-x, 3-x erfassten Sensordaten 10 abgeleiteten Ergebnisse 40-2, 40-3 mit den Plausibilisierungsmerkmal 21 übereinstimmen (z.B. hinsichtlich einer Art und einer Position). Ist das Plausibilisierungsmerkmal 21 beispielsweise eine Lichtsignalanlage, so wird überprüft, ob ausgehend von den erfassten Sensordaten 10 der Sensoren 2-x, 3-x an der in der Umfeldkarte 20 zugehörig hinterlegten Position im (aktuellen) Umfeld ebenfalls das Objekt bzw. Merkmal „Lichtsignalanlage“ erkannt wurde. Ist dies der Fall, so werden die ausgehend von den erfassten Sensordaten 10 der Sensoren 2-x, 3-x abgeleiteten Ergebnisse 40-2, 40-3 als plausibel beurteilt, anderenfalls als nicht plausibel.

Die Auswertungseinrichtung 4 ist ferner dazu eingerichtet, das Fahrzeug 50 in einen sicheren Zustand zu überführen oder das Überführen in einen sicheren Zustand zu veranlassen, wenn mindestens eine der vorgenannten Plausibilisierungen fehlschlägt oder eine vorgegebene Anzahl von Sensoren 2-x, 3-x ausgefallen ist. Dies erfolgt insbesondere, indem die Auswertungseinrichtung 4 ein Steuersignal 30 an eine Fahrzeugsteuerung 51 übermittelt, welche dann eine Aktorik 52 des Fahrzeugs 50 entsprechend ansteuert.

Es kann vorgesehen sein, dass die zwei Gruppen 2, 3 von Sensoren 2-x, 3-x und/oder die Auswertungseinrichtung 4 dazu eingerichtet sind, eine Objekterkennung für zumindest jede der Gruppen 2, 3 von Sensoren 2-x, 3-x getrennt durchzuführen. Die Objekterkennung kann bereits in den Sensoren 2-x, 3-x und/oder mittels der Sensoren 2-x, 3-x durchgeführt werden und/oder mittels der Auswertungseinrichtung 4. Hierbei können an sich bekannte Verfahren der Computer Vision und/oder der Künstlichen Intelligenz, wie beispielsweise Maschinenlernen, zum Einsatz kommen.

Es kann vorgesehen sein, dass eine Beurteilung der Kritikalität der Ergebnisse 40-2, 40-3 anhand von mindestens einem vorgegebenen Kritikalitätskriterium 15 erfolgt. Das Kritikalitätskriterium 15 wird extern vorgegeben und/oder wird oder ist in dem Speicher 4-2 hinterlegt.

Es kann vorgesehen sein, dass die Ergebnisse 40-2, 40-3 ausgehend von den erfassten Sensordaten 10 im Umfeld erkannte Objekte 22 (Fig. 3) umfassen, wobei das mindestens eine vorgegebene Kritikalitätskriterium 15 eine Objektexistenz umfasst oder beinhaltet. Dies kann anhand der Fig. 3 verdeutlicht werden. Erkennen die Sensoren 2-x beispielsweise das Objekt 22, die Sensoren 3-x hingegen nicht, so werden die Sensordaten 10 bzw. die hieraus abgeleiteten Ergebnisse 40-2 der Sensoren 2-x als kritischer beurteilt, da ein erkanntes

Objekt 22 potentiell gefährlicher für das Fahrzeug 50 ist, als eine Freifläche bzw. kein Objekt 22. Zudem ist das fehlerhafte Feststellen oder Erkennen des Objektes 22 weniger gefährlich als das fehlerhafte Feststellen, dass kein Objekt 22 vorhanden ist. Daher wird mit den Sensordaten 10 bzw. mit dem Ergebnis 40-2 der Sensoren 2-x weitergearbeitet, die die Objektexistenz des Objektes 22 festgestellt haben.

Es kann vorgesehen sein, dass die Ergebnisse 40-2 ,40-3 ausgehend von den erfassten Sensordaten 10 im Umfeld erkannte Objekte umfassen, wobei das mindestens eine vorgegebene Kritikalitätskriterium 15 eine Objektart umfasst oder beinhaltet. Hierbei werden insbesondere Objekte 22 als umso kritischer beurteilt, je größer ein (mechanischer) Einfluss dieser Objekte 22 auf das Fahrzeug 50 ist. Beispielsweise wird ein Felsbrocken als kritischer beurteilt als eine Plastiktüte.

Es kann vorgesehen sein, dass die Ergebnisse ausgehend von den erfassten Sensordaten 10 im Umfeld erkannte Objekte 22-x (Fig. 2) umfassen, wobei das mindestens eine vorgegebene Kritikalitätskriterium 15 eine Objektgröße und/oder eine Objektentfernung zum Fahrzeug 50 umfasst oder beinhaltet. Dies ist schematisch in der Fig. 2 verdeutlicht. Dort ist ein einziges Objekt 22-2, 22-3 gezeigt, welches aber von den Gruppen 2, 3 von Sensoren 2-x, 3-x an unterschiedlichen Positionen im Umfeld erkannt wird (die Ziffer hinten am Bezugszeichen bezeichnet hierbei die Gruppe 2 oder 3). Da eine Objektentfernung des erkannten Objekts 22-3 kleiner ist als eine Objektentfernung des erkannten Objekts 22-2, wird das Objekt 22-3 als kritischer beurteilt und daher als (Gesamt-)Ergebnis 25 verwendet. Ein entsprechendes Szenario kann sich ergeben, wenn durch beide Gruppen 2, 3 zwar gleiche Objektentfernungen bestimmt werden, sich jedoch eine aus den Sensordaten 10 bestimmte Objektgröße unterscheidet. In diesem Fall wird die Objektgröße mit dem größeren Wert als kritischer beurteilt und entsprechend als (Gesamt-)Ergebnis 25 bereitgestellt.

Es kann vorgesehen sein, dass das Umfelderfassungssystem 1 mindestens drei Gruppen 2, 3, 5 (Fig. 1) von Sensoren 2-x, 3-x, 5-x aufweist, wobei die Auswertungseinrichtung 4 dazu eingerichtet ist, eine Plausibilisierung der ausgehend von den aus den jeweiligen erfassten Sensordaten 10 abgeleiteten Ergebnisse 40-x der Gruppen 2, 3, 5 gegeneinander auf Grundlage einer m-aus-n-Entscheidung durchzuführen und/oder ein Gesamtergebnis 25 ausgehend von den aus den jeweiligen erfassten Sensordaten 10 abgeleiteten Ergebnissen 40- x der jeweiligen Gruppen 2, 3, 5 von Sensoren 2-x, 3-x, 5-x auf Grundlage einer m-aus-n- Entscheidung zu treffen und bereitzustellen. Beispielsweise können im Rahmen einer 2-aus-3- Entscheidung diejenigen Sensordaten 10 und/oder Ergebnisse 40-x als plausibel erachtet werden, die eine 2-aus-3-Mehrheit aufweisen. Erkennen beispielsweise die Gruppen 2 und 3 das gleiche Objekt 22, die Gruppe 5 hingegen nicht, so werden die Sensordaten 10 der Sensoren 2-x, 3-x der Gruppen 2 und 3 als plausibel beurteilt und/oder ein Gesamtergebnis 25 wird ausgehend von den Sensordaten 10 und/oder den Ergebnissen 40-2, 40-3 der Gruppen 2 und 3 erzeugt und bereitgestellt. Das Ergebnis 40-5 der Gruppe 5 wird hingegen verworfen.

Bezugszeichenliste

Umfelderfassungssystem

Gruppe -x Sensor

Gruppe -x Sensor

Auswertungseinrichtung -1 Recheneinrichtung -2 Speicher

Gruppe -x Sensor 0 Sensordaten 5 Kritikalitätskriterium 0 Umfeldkarte 1 Plausibilisierungsmerkmal 2 Objekt 2-2 Objekt (von Gruppe 2 erkannt) 2-3 Objekt (von Gruppe 3 erkannt) 5 Gesamtergebnis 0 Steuersignal 0-x Ergebnis 0 Fahrzeug 1 Fahrzeugsteuerung 2 Aktorik