Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD, COMPUTER PROGRAM, EMBEDDED SYSTEM AND DRIVING SYSTEM FOR COMMUNICATION BETWEEN A VEHICLE AND ROAD USERS
Document Type and Number:
WIPO Patent Application WO/2023/012009
Kind Code:
A1
Abstract:
A method for communication between a vehicle (10) and road users (20) by means of visual and/or auditory signals (8, 9), comprising the following steps: acquiring object recognitions (20, 21) of an environment perception system (30) of the vehicle (10) (V1); determining traffic scenarios (7) on the basis of the object recognitions (20, 21) and determining hazard assessments (6) for each recognized road user (20) in the determined traffic scenarios (7) by executing instructions of at least one computer program for environment perception by means of an application-specific hardware unit (31) of the environment perception system (30) (V2); adapting signal outputs to the determined hazard assessments (6) comprising outputting specific light projections, image and/or video displays of 2D and/or 3D artefacts, color signals, noises and/or voice outputs in specific directions, with a specific volume and/or with a specific light intensity, color and/or contrast on the basis of each determined hazard assessment (6) (V3); controlling signal output units (3, 4, 5) of the vehicle (10) on the basis of the adaptation and outputting the signals (8, 9) by means of the signal output units (3, 4, 5) (V4).

Inventors:
DEUBACH PATRICK (DE)
JANTZEN IGOR (DE)
JÖST THILO (DE)
Application Number:
PCT/EP2022/071076
Publication Date:
February 09, 2023
Filing Date:
July 27, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ZAHNRADFABRIK FRIEDRICHSHAFEN (DE)
International Classes:
B60Q1/26; B60Q5/00; G06V20/58
Foreign References:
EP3216653A12017-09-13
US20210031681A12021-02-04
DE102013217057A12014-03-06
US20150145701A12015-05-28
US20170120804A12017-05-04
US20080175012A12008-07-24
DE102017217256A12019-03-28
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur Kommunikation eines Fahrzeuges (10) mit Verkehrsteilnehmern (20) mittels visuellen und/oder auditive Signalen (8, 9) umfassend die Schritte

• Erhalten von Objekterkennungen (20, 21 ) eines Umfeldwahrnehmungssys- tems (30) des Fahrzeuges (10) (V1 );

• Bestimmen von Verkehrsszenarien (7) basierend auf den Objekterkennungen (20,21 ) und Bestimmen von Gefahrenbewertungen (6) pro erkanntem Verkehrsteilnehmer (20) in den bestimmten Verkehrsszenarien (7) durch Ausführen von Befehlen wenigstens eines Computerprogramms zur Umfeldwahrneh- mung durch eine anwendungsspezifische Hardwareeinheit (31 ) des Umfeld- wahrnehmungssystems (30) (V2);

• Adaptieren von Signalausgaben an die bestimmten Gefahrenbewertungen (6) umfassend ein Ausgeben von spezifischen Lichtprojektionen, Bild- und/oder Videoanzeigen von 2D und/oder 3D Artefakten, Farbsignalen, Geräuschen und/oder Sprachausgaben in spezifische Richtungen, mit spezifischer Lautstärke und/oder mit spezifischer Lichtintensität, Farbe und/oder Kontrast basierend auf einer jeweiligen der bestimmten Gefahren bewertung (6) (V3);

• Ansteuern von Signalausgabeeinheiten (3, 4, 5) des Fahrzeuges (10) basierend auf der Adaption und Ausgeben der Signale (8, 9) mittels der Signalausgabeeinheiten (3, 4, 5) (V4).

2. Verfahren nach Anspruch 1 , wobei die Adaption der Signalausgaben, das Ansteu- ern der Signalausgabeeinheiten (3, 4, 5) und/oder das Ausgeben der Signale (8, 9) in Betriebsstufen (BS1-BS5) erfolgt zur Eskalation der Signalausgaben umfassend

• eine erste Betriebsstufe (BS1 ), die während des Betriebs des Fahrzeuges (10) aktiv ist;

• eine zweite Betriebsstufe (BS2), die in unübersichtlichen Verkehrsszenarien (7) und/oder in Verkehrsszenarien (7) mit relativ hohem Verkehrsaufkommen aktiviert wird, wobei im Vergleich zur ersten Betriebsstufe (BS1 ) die visuellen Signale (9) mit größerer Intensität und/oder unterschiedlichen Formen und/oder Farben ausgegeben werden und/oder die auditiven Signale (8) mit größerer Lautstärke und/oder in einem unterschiedlichen Frequenzspektrum ausgegeben werden;

• eine dritte Betriebsstufe (BS3), die im Vergleich zur zweiten Betriebsstufe (BS2) bei steigender Gefahrenbewertung aktiviert wird, wobei im Vergleich zur zweiten Betriebsstufe (BS2) die visuellen Signale (9) verstärkt ausgegeben werden und/oder die auditiven Signale (8) mit größerer Lautstärke und/oder als spezifische Töne oder sprachliche Kommandos ausgegeben werden;

• eine vierte Betriebsstufe (BS4), die zur unmittelbaren Warnung von Verkehrsteilnehmern (20) vor einer bevorstehenden Kollision aktiviert wird, wobei die Signalausgabe maximiert werden;

• eine fünfte Betriebsstufe (BS5), die im Falle eines besonderen Ereignisses, umfassend einen zumindest teilweisen Ausfall eines Systems des Fahrzeuges (10), extremes Wetter oder unerwartetes Verhalten anderer Verkehrsteilnehmer (20), oder direkt nach einem Unfall aktiviert wird.

3. Computerprogramm zur Kommunikation eines Fahrzeuges (10) mit Verkehrsteilnehmern (20) mittels visuellen und/oder auditive Signalen (8, 9) umfassend Befehle, die ein eingebettetes System (1 ) des Fahrzeuges (10) veranlassen, die Schritte des Verfahrens nach Anspruch 1 oder 2 auszuführen, wenn das Computerprogramm von dem eingebetteten System (1 ) ausgeführt wird.

4. Computerlesbarer Datenträger, auf dem das Computerprogramm nach Anspruch 3 gespeichert ist.

5. Datenträgersignal, das das Computerprogramm nach Anspruch 3 überträgt.

6. Eingebettetes System (1 ) zur Kommunikation eines Fahrzeuges (10) mit Verkehrsteilnehmern (20) mittels visuellen und/oder auditive Signalen (8,9) umfassend

• eine erste Schnittstelle zu einem Umfeldwahrnehmungssystem (30) des Fahrzeuges (10), über die das eingebettete System (1 ) Objekterkennungen des Umfeldwahrnehmungssystems (30) erhält;

• eine anwendungsspezifische Hardwareeinheit (2), die in einem Betrieb des eingebetteten Systems (1 ) die Objekterkennungen einliest, basierend auf den Objekterkennungen Verkehrsszenarien (7) bestimmt und in den bestimmten Verkehrsszenarien (7) Gefahrenbewertungen (6) pro erkanntem Verkehrsteilnehmer (20) bestimmt;

• wobei die anwendungsspezifische Hardwareeinheit (2) eine Signalausgabe an die bestimmten Gefahrenbewertungen (6) adaptiert umfassend ein Ausgeben von spezifischen Lichtprojektionen, Bild- und/oder Videoanzeigen von 2D und/oder 3D Artefakten, Farbsignalen, Geräuschen und/oder Sprachausgaben in spezifische Richtungen, mit spezifischer Lautstärke und/oder mit spezifischer Lichtintensität, Farbe und/oder Kontrast basierend auf einer jeweiligen der bestimmten Gefahrenbewertung (6) und entsprechende Regel- und/oder Steuerungssignale bereitstellt;

• eine zweite Schnittstelle zu Signalausgabeeinheiten (3, 4, 5) des Fahrzeuges (10), über die das eingebettete System (1 ) die Signalausgabeeinheiten (3, 4, 5) basierend auf der Adaption regelt und/oder steuert.

7. Eingebettetes System (1 ) nach Anspruch 6, wobei der Betrieb der anwendungsspezifischen Hardwareeinheit (2) in Betriebsstufen (BS1-BS5) erfolgt gemäß Anspruch 2.

8. Eingebettetes System (1 ) nach Anspruch 6 oder 7, umfassend eine dritte Schnittstelle (33), über die der computerlesbare Datenträger nach Anspruch 4 einlesbar ist oder über die das Datenträgersignal nach Anspruch 5 empfangbar und prozessierbar ist.

9. Eingebettetes System (1 ) nach einem der Ansprüche 6 bis 8, ausgeführt, über die erste Schnittstelle dem Umfeldwahrnehmungssystem (30) einen Zustand der anwendungsspezifischen Hardwareeinheit (2) bereitzustellen.

10. Fahrsystem zur Kommunikation eines Fahrzeuges (10) mit Verkehrsteilnehmern (20) mittels visuellen und/oder auditive Signalen (8, 9) umfassend ein Umfeldwahrnehmungssystem (30), ein mit dem Umfeldwahrnehmungssystem (30) in Signalaustausch stehendes eingebettetes System (1 ) nach einem der Ansprüche 6 bis 9 und mit dem eingebetteten System (1 ) in Signalaustausch stehende Signalausgabeeinheiten (3, 4, 5) umfassend wenigstens eine Lichtprojektionseinheit (4), wenigstens eine Leuchteinheit (5) und/oder wenigstens einen Lautsprecher (3).

Description:
Verfahren, Computerproqramm, eingebettetes System und Fahrsystem zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern

Die Erfindung betrifft ein Verfahren, ein Computerprogramm, ein eingebettetes System und ein Fahrsystem zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern

Die DE 10 2017 217 256 A1 offenbart ein Fahrerassistenzsystem mit einem Umfelderfassungssensor oder einem System von Umfelderfassungssensoren zur Erfassung eines Zeichens eines Verkehrsteilnehmers, einer Einsatzauswerteeinrichtung, die ausgeführt ist, ein auf eine Bedeutung des Zeichens trainiertes künstliches neuronales Netzwerk mit der Erfassung des Zeichens zu speisen und einen dem Zeichen entsprechenden Fahrzeugsteuerungsbefehl zu erhalten, und einem Signalgeber, der ausgeführt ist, den Fahrzeugsteuerungsbefehl dem Verkehrsteilnehmer zu signalisieren, um eine Bedeutung des Zeichens zu erkennen und dem Verkehrsteilnehmer eine Fahrzeugreaktion auf eine erkannte Bedeutung dieses Zeichens zu signalisieren. Der Signalgeber ist ausgeführt, ein elektrisches, optisches und/oder akustisches Signal zu erzeugen, wobei der Signalgeber vorzugsweise in einem Frontbereich und/oder Heckbereich des Fahrzeuges, vorzugsweise an einer Stoßstange, anordbar ist und vorzugsweise eine Lichtleiste aufweist.

Verkehrsteilnehmer sind jegliche Menschen und/oder Objekte, die am Straßenverkehr teilnehmen, beispielsweise Fußgänger, Radfahrer, Motoradfahrer, Pkw, LKW, Busse, autonome Shuttle, people mover, Spezialfahrzeuge und Einsatzfahrzeuge. Verkehrsteilnehmer außerhalb der Sichtlinie können das Fahrzeug nicht sehen, und nicht von ihm über die on-board Sensoren gesehen werden. Verkehrsteilnehmer, die sich plötzlich auf die Straße bewegen, können erst sehr spät gesehen werden, was zu starkem Bremsen und unter Umständen zu Unfall und Personenschaden führt.

Verkehrsteilnehmer, insbesondere Fußgänger, Radfahrer und weitere besonders gefährdete Verkehrsteilnehmer, sogenannte vulnerable road users, sind davon besonders betroffen, da sie sehr verletzlich sind. Wenn sie Fahrzeuge zu spät erkennen, oder sich unvorsichtig verhalten, kann das zu Unfällen führen. Diese Ungewissheit führt in vielen Situationen mit Fußgängern und Radfahrern zu einem hohen Risiko. Die Interaktion zwischen einem menschlichen Kraftfahrzeugfahrer und anderen Verkehrsteilnehmern findet meist nonverbal, insbesondere über Augenkontakt, statt.

Gesten und Mimik sind meist leicht verständlich und eindeutig. Wenn für das hochautomatisierte Fahrzeug der Fahrer durch ein technisches System ersetzt wird, entfällt diese Kommunikationsmöglichkeit.

Aufgabe der Erfindung war es, eine Kommunikation zwischen Verkehrsteilnehmern und Fahrzeug, unabhängig von einem Automatisierungslevel des Fahrzeuges, bereitzustellen, das in Abhängigkeit der Verkehrssituation mit den Verkehrsteilnehmern möglichst individuell, und intuitiv verständlich kommunizieren. Bei mehreren Verkehrsteilnehmern soll dies gleichzeitig möglich sein. Die Kommunikation soll zur Entschärfung einer Gefahrenlage führen und die kollaborative Interaktion im Verkehr ermöglichen. Zukünftige Verhaltensadaption und/oder Anpassung der Verkehrsteilnehmer an automatisierte Fahrzeuge, durch deren steigende Verbreitung, soll ebenfalls bedacht werden.

Die Gegenstände der Ansprüche 1 , 3, 6 und 10 lösen jeweils diese Aufgabe.

Vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Definitionen, den Unteransprüchen, den Zeichnungen und der Beschreibung bevorzugter Ausführungsbeispiele.

Nach einem Aspekt stellt die Erfindung ein Verfahren bereit zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern mittels visuellen und/oder auditive Signalen.

Das Verfahren umfasst die Schritte:

• Erhalten von Objekterkennungen eines Umfeldwahrnehmungssystems des Fahrzeuges;

• Bestimmen von Verkehrsszenarien basierend auf den Objekterkennungen und Bestimmen von Gefahrenbewertungen pro erkanntem Verkehrsteilnehmer in den bestimmten Verkehrsszenarien durch Ausführen von Befehlen wenigstens eines Computerprogramms zur Umfeldwahrnehmung durch eine anwendungsspezifische Hardwareeinheit des Umfeldwahrnehmungssystems; • Adaptieren von Signalausgaben an die bestimmten Gefahrenbewertungen umfassend ein Ausgeben von spezifischen Lichtprojektionen, Bild- und/oder Videoanzeigen von 2D und/oder 3D Artefakten, Farbsignalen, Geräuschen und/oder Sprachausgaben in spezifische Richtungen, mit spezifischer Lautstärke und/oder mit spezifischer Lichtintensität, Farbe und/oder Kontrast basierend auf einer jeweiligen der bestimmten Gefahrenbewertung;

• Ansteuern von Signalausgabeeinheiten des Fahrzeuges basierend auf der Adaption und Ausgeben der Signale mittels der Signalausgabeeinheiten.

Nach einem weiteren Aspekt stellt die Erfindung ein Computerprogramm bereit zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern mittels visuellen und/oder auditive Signalen. Das Computerprogramm umfasst Befehle, die ein eingebettetes System des Fahrzeuges veranlassen, die Schritte des erfindungsgemäßen Verfahrens auszuführen, wenn das Computerprogramm von dem eingebetteten System ausgeführt wird.

Die Befehle des erfindungsgemäßen Computerprogramms umfassen Maschinenbefehle, Quelltext oder Objektcode geschrieben in Assemblersprache, einer objektorientierten Programmiersprache, beispielsweise C++, oder in einer prozeduralen Programmiersprache, beispielsweise C. Das Computerprogramm ist nach einem Aspekt der Erfindung ein Hardware unabhängiges Anwendungsprogramm, das beispielsweise über den Datenträger oder das Datenträgersignal, nach einem Aspekt mittels Software Over The Air Technologie, für eine beliebige Hardware bereitgestellt wird, beispielsweise über eine Middleware. Nach einem weiteren Aspekt ist das Computerprogramm ein Hardware abhängiges Programm, beispielsweise eine Firmware eines Steuermoduls des autonomen Fahrsystems. Der Datenträger umfasst flüchtige Datenspeicher, beispielsweise RAM, DRAM, SRAM, und nichtflüchtige Datenspeicher, beispielsweise ROM, Flash-EEPROM. Die Datenträger sind beispielsweise Flash- Speicherkarten, USB-Sticks. Nach einem Aspekt der Erfindung wird der Datenträger an ein In/Out System des eingebetteten Systems, beispielsweise eines Mikrocontrollers, des Fahrsystems angeschlossen und überträgt das Computerprogramm in den Mikrocontroller. Durch Ausführung des Verfahrens, des Computerprogramms, Einlesen des Datenträgers und/oder Übertragen, Empfangen und Verarbeiten des Datenträgersignals wird die Interaktion zwischen einem menschlichen Fahrer und anderen Verkehrsteilnehmern ersetzt durch Ausgabe der Signale mittels der Signalausgabeeinheiten. Beispielsweise werden Mimik, Gestik, Blickkontakt und/oder Sprache ersetzt.

Nach einem weiteren Aspekt stellt die Erfindung ein eingebettetes System bereit zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern mittels visuellen und/oder auditive Signalen. Das eingebettete System umfasst

• eine erste Schnittstelle zu einem Umfeldwahrnehmungssystem des Fahrzeuges, über die das eingebettete System Objekterkennungen des Umfeldwahrnehmungssystems erhält;

• eine anwendungsspezifische Hardwareeinheit, die in einem Betrieb des eingebetteten Systems die Objekterkennungen einliest, basierend auf den Objekterkennungen Verkehrsszenarien bestimmt und in den bestimmten Verkehrsszenarien Gefahrenbewertungen pro erkanntem Verkehrsteilnehmer bestimmt;

• wobei die anwendungsspezifische Hardwareeinheit eine Signalausgabe an die bestimmten Gefahrenbewertungen adaptiert umfassend ein Ausgeben von spezifischen Lichtprojektionen, Bild- und/oder Videoanzeigen von 2D und/oder 3D Artefakten, Farbsignalen, Geräuschen und/oder Sprachausgaben in spezifische Richtungen, mit spezifischer Lautstärke und/oder mit spezifischer Lichtintensität, Farbe und/oder Kontrast basierend auf einer jeweiligen der bestimmten Gefahrenbewertung und entsprechende Regel- und/oder Steuerungssignale bereitstellt;

• eine zweite Schnittstelle zu Signalausgabeeinheiten des Fahrzeuges, über die das eingebettete System die Signalausgabeeinheiten basierend auf der Adaption regelt und/oder steuert.

Das eingebettete System ist beispielsweise ein Mikrokontroller oder ein elektronisches Steuergerät, auch electronic control unit genannt, des Fahrsystems oder des Fahrzeuges. Das eingebettete System ist nach einem Aspekt in ein Bordnetzwerk des Fahrzeuges eingebettet. Nach einem Aspekt stellt die Erfindung ein Kommunikationssystem bereit, das das erfindungsgemäße Verfahren ausführt. Gemäß dieses Aspekts ist das eingebettete System ein zentrales Steuergerät des Kommunikationssystems. Das zentrale Steuergerät des Kommunikationssystems steuert einzelne Systemteile, umfassend Lichtprojektionssysteme, Leuchten und Lautsprecher, auf Basis von Informationen von dem Umfeldwahrnehmungssystem an. An dieses gibt das zentrale Steuergerät des Kommunikationssystems nach einem Aspekt Feedback über den Zustand des Kommunikationssystems. Das eingebettete System ersetzt die Interaktion zwischen einem menschlichen Fahrer und anderen Verkehrsteilnehmern.

Nach einem weiteren Aspekt erhält das eingebettete System über die erste Schnittstelle weitere Informationen, beispielsweise Informationen über den Fahrzeugzustand, Fahrverhalten und/oder Bewegungsprädiktion von Objekten.

Nach einem weiteren Aspekt wird über die erste Schnittstelle oder über eine zusätzliche Schnittstelle ein Daten-ZSignalaustausch zu einem Automatisierungssystem, auch automated driving system genannt, hergestellt.

Nach einem weiteren Aspekt stellt die Erfindung ein Fahrsystem bereit zur Kommunikation eines Fahrzeuges mit Verkehrsteilnehmern mittels visuellen und/oder auditive Signalen. Das Fahrsystem umfasst ein Umfeldwahrnehmungssystem, ein mit dem Umfeldwahrnehmungssystem in Signalaustausch stehendes erfindungsgemäßes eingebettetes System und mit dem eingebetteten System in Signalaustausch stehende Signalausgabeeinheiten. Die Signalausgabeeinheiten umfassen wenigstens eine Lichtprojektionseinheit, wenigstens eine Leuchteinheit und/oder wenigstens einen Lautsprecher.

Die erfindungsgemäße Lösung ermöglicht damit, in Abhängigkeit des Gefahrenle- vels, auch als Kritikalität bezeichnet, die Signalausgabe in ihrer Form, Ausrichtung und/oder Stärke anzupassen, um sowohl hinweisende, warnende als auch alarmierende Kommunikation zu ermöglichen. Damit wird sowohl langsame als auch schnelle Form des Denkens angesprochen.

Fahrsystem bezeichnet die Komponenten und Funktionalitäten eines Fahrzeuges auf Systemebene als auch das Fahrzeug als solches. Das Fahrsystem wird auch automated driving system genannt. Das Fahrsystem regelt und/oder steuert die Fahrzeugbewegung, auch vehicle motion control genannt. Mittels des erfindungsgemäß eingebetteten Systems und den Signalausgabeeinheiten ersetzt das erfindungsgemäße Fahrsystem die Interaktion zwischen einem menschlichen Fahrer und anderen Verkehrsteilnehmern.

Nach einem Aspekt ist das Fahrsystem ein autonomes Fahrsystem. Autonomes Fahrsystem bezeichnet die Komponenten und Funktionalitäten eines autonom betreibbaren Fahrzeuges, beispielsweise hoch- oder vollautomatisiert, auf Systemebene als auch das autonom betriebene Fahrzeug als solches. Durch steigende Verbreitung autonomer Fahrsysteme ist von einer zukünftigen Verhaltensadaption oder Anpassung der Verkehrsteilnehmer an automatisierte Fahrzeuge auszugehen. Obwohl zunehmende Automatisierung zu einem vollständigen Automatisierungsgrad von motorisierten Straßenfahrzeugen, beispielsweise PKW, LKW, Bussen, in bestimmten Gebieten führen kann, werden beispielsweise Fußgänger und Radfahrer als menschliche Verkehrsteilnehmer erhalten bleiben.

Die Erfindung kann sowohl im manuellen als auch im automatisierten Zustand eingesetzt werden. Die Signalausgabeeinheiten, siehe auch zweite Schnittstelle des eingebetteten Systems, erweitern die Handlungsoptionen des Fahrzeuges umfassend Antrieb, Lenkung, Bremse und ergänzen die vorhandene Fahrzeugbewegungssteuerung durch die voran beschriebenen Kommunikationsmöglichkeiten.

Die erfindungsgemäße Kommunikation entschärft Gefahrenlagen und ermöglicht eine kollaborative Interaktion im Verkehr, beispielsweise Straßenverkehr. Durch die Signalausgabe können die Verkehrsteilnehmer ihr Verhalten an das Fahrzeug anpassen. Das Umfeldwahrnehmungssystem kann diese Verhaltensanpassung erkennen zur weiteren Auswertung, beispielsweise für die anwendungsspezifische Hardwareeinheit des Verfahrens, bereitstellen. Damit ist die kollaborative Interaktion bidirektional.

Das Umfeldwahrnehmungssystem nimmt das Umfeld, die Umgebung wahr. Es kann statische und/oder dynamische Objekte erkennen, klassifizieren, lokalisieren und/oder diese über die Zeit verfolgen, auch tracking genannt. Das Umfeldwahrnehmungssystem umfasst Software- und Hardwaremodule. Die Softwaremodule umfassen Erkennungs-, Klassifizierungs-, Lokalisierungs- und/oder Trackingalgorithmen für einzelne Umfelderfassungssensoren und/oder für Datenfusion. Die Algorithmen umfassen nach einem Aspekt Maschinenlernmodelle, beispielsweise künstliche neuronale Netzwerke für Objekterkennung, beispielsweise Faltungsnetzwerke oder Trans- formernetzwerke. Die Hardwaremodule umfassen Umfelderfassungssensoren, beispielsweise Kamera-, Lidar-, Radar-, Ultraschall-, Infrarot-, Akustik-, Geruchs-, GPS- und/oder Inertialsensoren, und integrierte Schaltungselemente und Schaltkreise, beispielsweise ICs, ASICs, FPGAs, CPUs, GPUs, systems on chips oder Hochleistungscomputer zur Signalverarbeitung. Die integrierte Schaltungselemente und Schaltkreise, beispielsweise ICs, ASICs, FPGAs, CPUs, GPUs, systems on chips o- der Hochleistungscomputer zur Signalverarbeitung bilden die anwendungsspezifische Hardwareeinheit des Umfeldwahrnehmungssystem und die anwendungsspezifische Hardwareeinheit des eingebetteten Systems.

Durch Bestimmen der Gefahrenbewertung und Adaptieren der Signalausgabe an die die bestimmte Gefahrenbewertung wird eine Gefahrenlage vorteilhafterweise entschärft. Die Gefahren bewertung wird nach einem Aspekt mittels bekannten Kritikali- tätsmetriken, umfassend time-to-collision, point of no return, break-threat-number, bestimmt. Je nach Schwellwert werden nach einem Aspekt entsprechende Betriebsstufen eingestellt. Nach einem Aspekt umfasst das Adaptieren der Signalausgabe an die bestimmte Gefahrenbewertung eine kaskadierte oder eskalierende Signalausgabe. Nach einem weiteren Aspekt umfasst das Adaptieren der Signalausgabe, dass die Signale zeitlich und/oder örtlich gezielt an die Empfänger gesendet werden, beispielsweise durch Position ieren/Ausrichten der Signalausgabeeinheiten an dem Fahrzeug und/oder Adaptieren von Signalaustrittswinkel.

Durch das Bestimmen von Verkehrsszenarien wird eine individuelle Kommunikation mit den Verkehrsteilnehmern in dem jeweiligen Verkehrsszenario ermöglicht. Verkehrsszenarien umfassen beispielsweise Abbiegevorgänge, Überholvorgänge, Fuß- gänger-ZFahrradfahrer auf Fahrbahn und Ein-/Ausfahrten in/aus Kreuzungen/Kreis- verkehren. Eine Gefahrenbewertung pro detektierten Verkehrsteilnehmer; das heißt threat assessment, im Wirkbereich des Fahrzeugs wird nach einem Aspekt in Echtzeit berechnet.

Die Signalausgabeeinheiten umfassen eine oder mehrere Lichtprojektionseinheiten, Leuchten, Anzeigevorrichtungen, beispielsweise Monitore, zur Bild- und/oder Videoanzeige und/oder Lautsprecher zur Ton- und/oder Sprachausgabe, die beispielsweise um das Fahrzeug herum angeordnet sein können, einen oder mehrere Lautsprechern zur Ton- und/oder Sprachausgabe, die um das Fahrzeug herum angeordnet sein können.

Die Lichtprojektionseinheiten, die Leuchten und/oder die Lautsprecher geben nach einem Aspekt die Signale zielgerichtet aus, beispielsweise durch entsprechendes beamforming. Wenn Verkehrsteilnehmer mit erhöhter Kritikalität identifiziert wurden, wird damit eine gezielte Signalausgabe erreicht, um eindeutige und schnelle Kommunikation zu ermöglichen. Diese Ausrichtung erfolgt nach einem weiteren Aspekt auf Basis der relativen Position, Orientierung und gegebenenfalls der Bewegungsprädiktion des Verkehrsteilnehmers. Zusätzlich zur Richtung kann die Nachricht auch in ihrer Form angepasst werden. So ist beispielsweise Sprachausgabe gegenüber Kindern einfach und verständlich zu gestalten, wohingegen gegenüber Erwachsenen weiterführende Informationen übermittelt werden können.

Nach einem weiteren Aspekt wird ein zeitliches Verhalten der Signalausgabeeinheiten adaptiert umfassend eine konstante, wechselnde und/oder plötzliche/einmalige Signalausgabe, um beispielsweise durch die Kontrastwirkung die Aufmerksamkeit der Verkehrsteilnehmer auf das Signal zu lenken.

Die Lichtprojektionseinheit kann Symbole, Linien und/oder Text auf eine Oberfläche, beispielsweise die Fahrbahn, projizieren, um potentiell verdeckte Verkehrsteilnehmer zu informieren und/oder ausgewählte Verkehrsteilnehmer gezielt zu signalisieren. Die Lichtprojektionseinheit umfasst eine Lichtquelle und Blenden/Spiegeln, um Formen und Farben zu erzeugen. Die Lichtquelle ist beispielsweise eine Laserdiode oder ein LED- /Halogenscheinwerfer. Die Lichtverarbeitung kann ähnlich zu einem Laserbea- mer funktionieren.

Die Leuchten können RGB-LED umfassen, die beispielsweise über eine Linse oder Spiegel einen größeren Lichtaustrittswinkel erreichen. Die verschiedenen Farben, die durch Adaptieren der Signalausgabe eingestellt werden, zeigen nach einem Aspekt den Fahrzeugzustand an. Nach einem weiteren Aspekt ermöglichen die Farben es anderen Verkehrsteilnehmern, das Fahrzeug besser in verschiedenen Orientierungen zu erkennen und dessen Status zu erkennen. Nach einem weiteren Aspekt werden die Leuchten situativ und/oder zu Tages- Nachtzeit eingestellt.

Die Lautsprecher geben nach einem Aspekt allgemein dem Fahrzeug eine Geräuschkulisse beispielsweise weißes oder braunes Rauschen, welche es anderen Verkehrsteilnehmern ermöglicht, das Fahrzeug besser wahrzunehmen und zu lokalisieren. Dies wird abhängig von dem Verkehrsszenario angepasst. Nach einem weiteren Aspekt geben die Lautsprecher Musik oder Melodien aus, um die Fahrzeugpräsenz zu signalisieren und durch verschiedene Bedeutungen der Melodien die Kritika- lität der Situation auszudrücken, beispielsweise shephard tone.

Nach einem Aspekt bilden die Lautsprecher ein acoustic vehicle alert system, oder auch Fahrzeug-Warngeräusch-Generator. Dies ist vorteilhaft für geräuscharme Fahrzeuge, besonders vorteilhaft für Elektrofahrzeuge und Hybrid-Elektrofahrzeuge.

Nach einem weiteren Aspekt geben die Lautsprecher bei plötzlichen kritischen Situationen Warnsignale aus, um andere Verkehrsteilnehmer zu warnen. Durch Sprachausgabe kann gezielt Informationen ausgegeben werden. Werden Kinder erkannt, wird nach einem Aspekt eine vereinfachte Sprache genutzt, welche von Kindern verstanden werden kann. Die Lautsprecher können handelsübliche Modelle sein, die nach einem Aspekt mit anderen Hupen, Hörnern und dergleichen kombiniert werden können. Nach einem weiteren Aspekt erfolgt die Adaption der Signalausgaben, das Ansteu- ern der Signalausgabeeinheiten und/oder das Ausgeben der Signale in Betriebsstufen zur Eskalation der Signalausgaben. Die Betriebsstufen umfassen

• eine erste Betriebsstufe, die während des Betriebs des Fahrzeuges aktiv ist;

• eine zweite Betriebsstufe, die in unübersichtlichen Verkehrsszenarien und/oder in Verkehrsszenarien mit relativ hohem Verkehrsaufkommen aktiviert wird, wobei im Vergleich zur ersten Betriebsstufe die visuellen Signale mit größerer Intensität und/oder unterschiedlichen Formen und/oder Farben ausgegeben werden und/oder die auditiven Signale mit größerer Lautstärke und/oder in einem unterschiedlichen Frequenzspektrum ausgegeben werden ;

• eine dritte Betriebsstufe, die im Vergleich zur zweiten Betriebsstufe bei steigender Gefahrenbewertung aktiviert wird, wobei im Vergleich zur zweiten Betriebsstufe die visuellen Signale verstärkt ausgegeben werden und/oder die auditiven Signale mit größerer Lautstärke und/oder als spezifische Töne oder sprachliche Kommandos ausgegeben werden;

• eine vierte Betriebsstufe, die zur unmittelbaren Warnung von Verkehrsteilnehmern vor einer bevorstehenden Kollision aktiviert wird, wobei die Signalausgabe maximiert werden;

• eine fünfte Betriebsstufe, die im Falle eines besonderen Ereignisses, umfassend einen zumindest teilweisen Ausfall eines Systems des Fahrzeuges, extremes Wetter oder unerwartetes Verhalten anderer Verkehrsteilnehmer, beispielsweise Geisterfahrer, oder direkt nach einem Unfall aktiviert wird.

Die Betriebsstufen und die entsprechende Ansteuerung der Signalausgabe werden auf der Basis der Erkennung der Verkehrsszenarien bestimmt.

Die erste Betriebsstufe entspricht einer Basisstufe. Während des Betriebs des Fahrzeuges, unabhängig von einem Automatisierungszustand, ist diese Basisstufe aktiv. Die Geräuschausgabe ist nach einem Aspekt kleiner als 80 dbA, beispielsweise 75 dbA, bei einem Frequenzspektrum, welches Menschen als angenehm empfinden. Nach einem Aspekt ist das Frequenzspektrum braunes Rauschen. Nach einem Aspekt haben Leuchten eine konstante gemäßigte Intensität. Eine Lichtprojektion projiziert nach einem Aspekt gleichbleibende Bereiche vor, hinter und/oder seitlich des Fahrzeug auf eine Fahrbahn. Die voran genannten Aspekte können in beliebigen Kombinationen untereinander vorhanden sein.

Die zweite Betriebsstufe ist eine mittelstarke Betriebsstufe. In unübersichtlichen Situationen, bei erhöhtem Verkehrsaufkommen und/oder bei Verdeckungsfällen wird die Signalausgabe verstärkt. Nach einem Aspekt werden die Signale zielgerichtet ausgegeben. Die Geräuschausgabe ist nach einem Aspekt erhöht, beispielsweise auf 80 dbA. Nach einem Aspekt entspricht das Frequenzspektrum einem weißen Rauschen. Licht und Projektion werden nach einem Aspekt in Intensität zunehmen, beispielsweise je nach Situation, Form und Farbe. Nach einem weiteren Aspekt wird ein dynamisches Verhalten genutzt, beispielsweise Blinken und/oder Schwenken, um den Kontrast zu erhöhen. Die voran genannten Aspekte können in beliebigen Kombinationen untereinander vorhanden sein.

Die dritte Betriebsstufe ist eine starke Betriebsstufe. Mit ansteigender Gefahrenbewertung wird nach einem Aspekt die Signalausgabe in Ihrer Intensität bis zur menschlichen Unbehaglichkeitsschwelle von ca. 100-110 dbA erhöht. Für die Geräuschausgabe werden nach einem Aspekt spezifische Töne oder sogar sprachliche Signale/Kommandos ausgeben bei einem maximalen Schallpegel. Lichtsignale werden nach einem weiteren Aspekt verstärkt. Die voran genannten Aspekte können in beliebigen Kombinationen untereinander vorhanden sein.

Die vierte Betriebsstufe ist eine maximale Betriebsstufe. Zur unmittelbaren Warnung von Verkehrsteilnehmern vor einer bevorstehenden Kollision wird nach einem Aspekt die Signalausgabe maximiert. Die spezifischen Werte werden nach einem Aspekt durch Tests ermittelt. Die Nutzung von Intensitäten, die schmerzhaft und/oder schadhaft für Menschen sind, kann nach einer ethischen Risikobewertung zweckmäßig sein. Damit wird eine reflexartige Handlung des Verkehrsteilnehmers hervorgerufen, die entsprechend des Szenarios einem Verharren (Fright/Freeze) oder einem Ausweichen (Flight) entspricht.

Die fünfte Betriebsstufe ist ein Spezialfall und betrifft besondere Ereignisses oder eine Situation direkt nach einem Unfall. Beispielsweise blinken die Lichter orangefarben, geben die Lautsprecher einen Sirenenton aus und/oder projizieren die Lichtprojektionen beispielsweise einen Umriss um die Unfallstelle. Allgemein können durch die erfindungsgemäße Lösung in Abhängigkeit des Unfalls, der Art des Systemausfalls etc. die Signalausgaben spezifisch angepasst werden.

Damit wird die Signalausgabe in ihrer Art, Form und weiteren Aspekten abhängig zur Kritikalität erhöht, um verschiedene Risikolevel in diversen Szenarien zu adressieren und so Sicherheit herzustellen. Damit wird auch eine kaskadierte oder eskalierende Signalausgabe ermöglicht bei einem basierend auf der Umfeldwahrnehmung erforderlichen Wechsel von einer der Betriebsstufen auf eine andere der Betriebsstufen.

Das Kritikalitätsmaß ist subjektiv und wird beim Menschen hauptsächlich unterbewusst erfasst und führt so zu entsprechender Verhaltensanpassung. Für hochautomatisierte Systeme, wie hier beschrieben, wird ein quasi-objektives Maß der Kritikalität eingeführt.

Beispiele umfassen:

• hochautomatisierte (L4) Fahrt ohne spezielle Risikofaktoren -> kein spezifisches Risiko -> erste Betriebsstufe;

• bevorstehender Überholvorgang, Rechtsabbiegen, Vorfahrt gewähren, Fußgängerüberweg voraus, starker Verkehr, verdeckte Bereiche voraus -> geringes Risiko -> zweite Betriebsstufe;

• Fußgänger auf Fahrbahn voraus, Wild auf Fahrbahn voraus, hinteres Fahrzeug fährt zu nah auf -> mittleres Risiko -> dritte Betriebsstufe;

• bevorstehende Kollision, Fußgänger betritt plötzlich Straße vor dem Fahrzeug, Geisterfahrer voraus, physischer Angriff auf das Fahrzeug -> hohes Risiko -> vierte Betriebsstufe;

• Unfall ohne/mit Beteiligung ist eingetreten, in Abhängigkeit der Unfallschwere ist beispielsweise der Unfallort zu kennzeichnen und andere Verkehrsteilnehmer zu warnen -> fünfte Betriebsstufe;

• Systemausfall und/oder Panne, in Abhängigkeit der Ausfallschwere und der verbleibenden Möglichkeiten ergibt sich eine Betriebsstufe, beispielsweise -> fünfte Betriebsstufe. Nach einem Aspekt werden die Betriebsstufen für die Anwendung in einer bestimmten operational design domain und für ein bestimmtes Fahrzeug angepasst.

Nach einem weiteren Aspekt erfolgt bei den nachfolgenden Verkehrsszenarien der

Betrieb in folgenden Betriebsstufen, abgekürzt BS: Durch bestimmte Signalfarben, -darstellungen und/oder Töne und/oder Geräusche werden so viel wie nötig und gleichzeitig so wenig wie möglich Informationen übermittelt. Zusätzlich verringern beispielsweise Signalfarben den Signalverarbeitungsaufwand beim Menschen, was wiederum ein schnelleres Reagieren ermöglicht.

Beispielsweise wird in der ersten Betriebsstufe die Signalfarbe grün, in der zweiten Betriebsstufe gelb, in der dritten Betriebsstufe orange und in der vierten Betriebsstufe rot verwendet.

Ferner sind durch Adaptieren der Signalfarben, -formen oder Piktogramme die Signale intuitiv verständlich Die Signalmenge und -dichte wird so gering wie nötig eingesetzt, um Verkehrsteilnehmer nicht unnötig zu stören und Mehrdeutigkeit bei Anwendung auf multiplen Fahrzeugen zu vermeiden.

Nach einem weiteren Aspekt wird die Gestaltung des Systembetriebs während der Entwicklung und Inbetriebnahme des automatisierten Fahrzeuges durch Fahrzeughersteller und Betreiber durchgeführt. Damit wird gewährleistet, dass das Systemverhalten unter stark unterschiedlichen Bedingungen wirkungsvoll Nachrichten übermitteln kann.

Nach einem weiteren Aspekt erfolgt bei dem eingebetteten System der Betrieb der anwendungsspezifischen Hardwareeinheit in den voran genannten Betriebsstufen. Damit realisiert das eingebettete System eine Eskalation der Signalausgabe.

Nach einem weiteren Aspekt umfasst das eingebettete System eine dritte Schnittstelle, über die der erfindungsgemäße computerlesbare Datenträger einlesbar ist o- der über die das erfindungsgemäße Datenträgersignal empfangbar und prozessierbar ist. Die dritte Schnittstelle ist beispielsweise eine In/Out Schnittstelle, eine ve- hicle-to-everything-Kommunikationsschnittstelle oder eine Internetschnittstelle. Nach einem weiteren Aspekt ist das eingebettete System ausgeführt, über die erste Schnittstelle dem Umfeldwahrnehmungssystem einen Zustand der anwendungsspezifischen Hardwareeinheit bereitzustellen.

Die Erfindung wird in den folgenden Ausführungsbeispielen verdeutlicht. Es zeigen:

Fig. 1 ein Ausführungsbeispiel eines erfindungsgemäß eingebetteten Systems,

Fig. 2 eine Darstellung von Betriebsstufen in Abhängigkeit einer Gefahrenbewertung und

Fig.3 eine schematische Darstellung des erfindungsgemäßen Verfahrens.

In den Figuren bezeichnen gleiche Bezugszeichen gleiche oder funktionsähnliche Bezugsteile. Übersichtshalber werden in den einzelnen Figuren nur die jeweils relevanten Bezugsteile hervorgehoben.

Das eingebettete System 1 ist in Fig. 1 in ein Fahrsystem 10 eines Fahrzeuges 10 eingebettet. Das eingebettete System 1 umfasst eine anwendungsspezifische Hardwareeinheit 2, die konfiguriert ist, Signale oder Daten eines Umfeldwahrnehmungs- systems 30 des Fahrzeuges 10 einzulesen, zu verarbeiten und Signalausgabeeinheiten 3, 4, 5 anzusteuern. Die Ansteuerung der Signalausgabeeinheiten 3, 4, 5 erfolgt adaptiert an Gefahrenbewertungen 6 von Verkehrsteilnehmern 20 in spezifischen Verkehrsszenarien 7. Die anwendungsspezifische Hardwareeinheit ist beispielsweise ein application specific integrated circuit. Die Signalausgabeeinheit 3 ist ein Lautsprecher oder ein Array von Lautsprechern 3 und stellt beispielsweise Warntöne an den Verkehrsteilnehmer 20 bereit. Die Signalausgabeeinheit 4 ist eine Lichtprojektionseinheit oder ein Array von Lichtprojektionseinheiten 4. Die Lichtprojektionseinheit 4 projiziert beispielsweise Warnsymbole auf eine Fahrbahnoberfläche 21 , beispielsweise eine Straße. Die Signalausgabeeinheit 5 ist eine Leuchteinheit oder ein Array von Leuchteinheiten 5 und stellt beispielsweise Lichtsignale an den Verkehrsteilnehmer 20 bereit. Das Umfeldwahrnehmungssystem 30 erkennt und verarbeitet den Verkehrsteilnehmer 20 und dessen auf die Signalausgaben des eingebetteten Systems 1 angepassten Verhaltensweisen in dem Verkehrsszenario 7 und stellt diese einer anwendungsspezifische Hardwareeinheit 31 des Umfeldwahrnehmungssystems 30 bereit. Die anwendungsspezifische Hardwareeinheit 31 bestimmt eine Gefahrenbewertung 6 für den Verkehrsteilnehmer 20. Basierend auf dieser Gefahrenbewertung adaptiert die anwendungsspezifische Hardwareeinheit 2 des eingebetteten Systems 1 die Signalausgaben.

Das Fahrsystem 10 umfasst ein zentrale elektronisches Steuergerät AD ECU für autonomous driving Funktionalitäten. Das Steuergerät AD ECU liest die Auswertungen der anwendungsspezifische Hardwareeinheit 31 des Umfeldwahrnehmungssystems 30 als Signale ein und bestimmt Regelungs- und/oder Steuerungssignale für Aktuatoren zur Längs- und/oder Quersteuerung des Fahrzeuges 10.

Ferner umfasst das Fahrsystem 10 oder das eingebettete System 1 eine dritte Schnittstelle 33, die als eine vehicle to everything Kommunikationsschnittstelle ausgebildet sein kann und über die das erfindungsgemäße Datenträgersignal empfangen werden kann.

Der Betrieb des eingebetteten Systems 1 oder des Fahrsystems 10 erfolgt in den in Fig. 2 dargestellten Betriebsstufen BS1 -BS5 in Abhängigkeit der bestimmten Gefahrenbewertung 6. Mit steigender Gefahrenbewertung 6 lauten die Betriebsstufen:

• BS1 : während des Betriebs des Fahrzeuges 10 aktiv, Basisstufe;

• BS2: aktiviert in unübersichtlichen Verkehrsszenarien 7 und/oder in Verkehrsszenarien 7 mit relativ hohem Verkehrsaufkommen, wobei im Vergleich zur ersten Betriebsstufe BS1 die visuellen Signale 9 mit größerer Intensität und/oder unterschiedlichen Formen und/oder Farben ausgegeben werden und/oder die auditiven Signale 8 mit größerer Lautstärke und/oder in einem unterschiedlichen Frequenzspektrum ausgegeben werden;

• BS3: im Vergleich zur zweiten Betriebsstufe BS2 aktiviert bei steigender Gefahrenbewertung, wobei im Vergleich zur zweiten Betriebsstufe BS2 die visuellen Signale 9 verstärkt ausgegeben werden und/oder die auditiven Signale 8 mit größerer Lautstärke und/oder als spezifische Töne oder sprachliche Kommandos ausgegeben werden;

• BS4: aktiviert bei unmittelbaren Warnung von Verkehrsteilnehmern 20 vor einer bevorstehenden Kollision, wobei die Signalausgabe maximiert werden;

• BS5: aktiviert im Falle eines besonderen Ereignisses umfassend einen zumindest teilweisen Ausfall eines Systems des Fahrzeuges 10, extremes Wetter oder unerwartetes Verhalten anderer Verkehrsteilnehmer 20 umfassend Geisterfahrer, oder direkt nach einem Unfall.

Fig. 3 zeigt schematisch die Verfahrensschritte. In einem Verfahrensschritt V1 erhält das Umfeldwahrnehmungssystem 30 Objekterkennungen 20, 21 . In einem Verfahrensschritt V2 bestimmt die anwendungsspezifische Hardwareeinheit 31 des Umfeldwahrnehmungssystems 30 Verkehrsszenarien /basierend auf den Objekterkennungen. Außerdem bestimmt die anwendungsspezifische Hardwareeinheit 31 Gefahrenbewertungen 6 pro erkanntem Verkehrsteilnehmer 20 in den bestimmten Verkehrsszenarien 7. In einem Verfahrensschritt V3 adaptiert eine anwendungsspezifische Hardwareeinheit 2 des eingebetteten System 1 Signalausgaben an die bestimmten Gefahrenbewertungen 6. Dies umfasst ein Ausgeben von spezifischen Lichtprojektionen, Farbsignalen, Geräuschen und/oder Sprachausgaben in spezifische Richtungen und/oder mit spezifischer Lautstärke basierend auf einer jeweiligen der bestimmten Gefahrenbewertung 6. In einem Verfahrensschritt V4 steuert die anwendungsspezifische Hardwareeinheit 2 die Signalausgabeeinheiten 3, 4, 5 des Fahrzeuges 10 basierend auf der Adaption. Die Signalausgabeeinheiten 3, 4, 5 geben die Signale 8, 9 entsprechend aus.

Bezugszeichen

1 eingebettetes System

2 anwendungsspezifische Hardwareeinheit

3 Lautsprecher

4 Lichtprojektionseinheit

5 Leuchteinheit

6 Gefahrenbewertung

7 Verkehrsszenario

8 auditives Signal

9 visuelles Signal

10 Fahrzeug, Fahrsystem

20 Verkehrsteilnehmer

21 Fahrbahnoberfläche

30 Umfeldwahrnehmungssystem

31 anwendungsspezifische Hardwareeinheit

32 AD ECU

33 dritte Schnittstelle

BS 1 -BS5 Betriebsstufen

V1 -V4 Verfahrensschritte