Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR OPERATING A VEHICLE HAVING ENVIRONMENT SENSORS FOR DETECTING THE SURROUNDINGS OF THE VEHICLE, COMPUTER-READABLE MEDIUM, SYSTEM AND VEHICLE
Document Type and Number:
WIPO Patent Application WO/2019/211067
Kind Code:
A1
Abstract:
The invention relates to a method for operating a vehicle having environment sensors for detecting the surroundings of the vehicle, the method comprising: detecting the surroundings of the vehicle by means of an environment sensor, the environment sensor providing raw data corresponding to the surroundings of the environment sensor; determining predefined features from the raw data of the environment sensor of the vehicle; determining one or more objects of the environment sensor on the basis of the determined, predefined features of the raw data of the environment sensor; fusing the determined objects of the environment sensors; identifying a traffic situation on the basis of the fused objects; training a machine learning process on the basis of the raw data of the environment sensors with regard to the identified traffic situation; learning of a new feature from the raw data of the environment sensor by means of the trained, machine learning process for the identified traffic situation; expanding the predefined features of the raw data of the environment sensor by the learned, new feature; determining the expanded features from the raw data of the environment sensor of the vehicle; determining one or more objects of the environment sensor on the basis of the determined, expanded features of the raw data of the environment sensor; fusing the determined objects with the expanded features of the environment sensors; and identifying the traffic situation on the basis of the fused objects with the expanded features.

Inventors:
ROSKOPF, Andre (Schüleinstr. 1, München, 81673, DE)
Application Number:
EP2019/059064
Publication Date:
November 07, 2019
Filing Date:
April 10, 2019
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BAYERISCHE MOTOREN WERKE AKTIENGESELLSCHAFT (Petuelring 130, München, 80809, DE)
International Classes:
G08G1/01; B60W40/04; G06K9/00; G06K9/62; G06N3/08; G06N5/00; G06N20/00
Foreign References:
US20180068206A12018-03-08
DE102014205180A12015-09-24
DE102016217246A12018-03-15
DE102014205180A12015-09-24
Download PDF:
Claims:
Patentansprüche

1. Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, das Verfahren umfassend:

Erfassen des Umfelds des Fahrzeugs mittels eines jeweiligen Umfeldsensors, wobei der jeweilige Umfeldsensor Rohdaten bereitstellt, die dem Umfeld des jeweiligen Umfeldsensors entsprechen;

Bestimmen von vorgegebenen Merkmalen aus den Rohdaten des jeweiligen

Umfeldsensors des Fahrzeugs;

Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors;

Fusionieren der bestimmten Objekte der Umfeldsensoren;

Erkennen einer Verkehrssituation basierend den fusionierten Objekten;

Trainieren eines maschinellen Lernverfahrens basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation;

Lernen eines neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte Verkehrssituation;

Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal;

Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs;

Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors;

Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren; und

Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen.

2. Verfahren nach Anspruch 1 , wobei die vorgegebenen Merkmale eines jeweiligen

Umfeldsensors ein Objekt des Umfelds des Fahrzeugs spezifizieren;

wobei die erweiterten Merkmale eines jeweiligen Umfeldsensors ein Objekt des Umfelds des Fahrzeugs spezifizieren.

3. Verfahren nach einem der vorhergehenden Ansprüche, das Verfahren weiterhin umfassend: Übertragen der Rohdaten der jeweiligen Umfeldsensoren von dem Fahrzeug an einen

Server;

Übertragen der erkannten Verkehrssituation von dem Fahrzeug an den Server;

Empfangen der Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs von dem Fahrzeug durch den Server;

Empfangen der erkannten Verkehrssituation von dem Fahrzeug durch den Server;

Übertragen des gelernten, neuen Merkmals von dem Server an das Fahrzeug; und

Empfangen des gelernten, neuen Merkmals durch das Fahrzeug von dem Server.

4. Verfahren nach Anspruch 3, wobei das Erfassen des Umfelds des Fahrzeugs durch das Fahrzeug ausgeführt wird;

wobei das Bestimmen von vorgegebenen Merkmalen aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs durch das Fahrzeug ausgeführt wird;

wobei das Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors durch das Fahrzeug ausgeführt wird;

wobei das Fusionieren der bestimmten Objekte der Umfeldsensoren durch das Fahrzeug ausgeführt wird;

wobei das Erkennen einer Verkehrssituation basierend den fusionierten Objekten durch das Fahrzeug ausgeführt wird;

wobei das Trainieren eines maschinellen Lern verfahre ns basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation durch den Server ausgeführt wird;

wobei das Lernen eines neuen Merkmals aus den Rohdaten des jeweiligen

Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte

Verkehrssituation durch den Server ausgeführt wird;

wobei das Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal durch den Server und/oder durch das Fahrzeug ausgeführt wird;

wobei das Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs durch das Fahrzeug ausgeführt wird;

wobei das Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen

Umfeldsensors durch das Fahrzeug ausgeführt wird; wobei das Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren durch das Fahrzeug ausgeführt wird; und

wobei das Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen durch das Fahrzeug ausgeführt wird.

5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Erweitern der

vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal umfasst:

Erzeugen eines Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten basierend auf dem trainierten, maschinellen Lernverfahren;

Hinzufügen des erzeugten Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors zu einem Softwarecode zum Bestimmen der vorgegebenen Merkmale in den Rohdaten des jeweiligen Umfeldsensors.

6. Verfahren nach einem der vorhergehenden Ansprüche, wobei das maschinelle Lernverfahren ein neuronales Netz ist; und

wobei das Erzeugen des Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten basierend auf dem trainierten, maschinellen Lernverfahren umfasst:

Bestimmen wenigstens eines Teils des trainierten, neuronalen Netzes, welches das neue Merkmal in den Rohdaten des jeweiligen Umfeldsensors erkennt.

7. Verfahren nach einem der vorhergehenden Ansprüche, das Verfahren weiterhin umfassend:

Bestimmen einer ersten Wahrscheinlichkeit mittels des maschinellen Lernverfahrens mit der die Verkehrssituation basierend auf den vorgegebenen Merkmalen die Verkehrssituation erkennt;

Bestimmen einer zweiten Wahrscheinlichkeit mittels des maschinellen Lernverfahrens mit der die Verkehrssituation basierend auf den erweiterten Merkmalen die Verkehrssituation erkennt; und

Falls die zweite Wahrscheinlichkeit höher ist als die erste Wahrscheinlichkeit:

Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal;

Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen

Umfeldsensors des Fahrzeugs; Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors;

Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren; und

Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen.

8. Computerlesbares Medium zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, wobei das Computer-lesbare Medium Instruktionen umfasst, die, wenn ausgeführt auf einem Computer oder einem Steuergerät, den Computer oder das Steuergerät dazu veranlassen, das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.

9. System zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, wobei das System dazu eingerichtet ist das Verfahren nach einem der Ansprüche 1 bis 7 auszuführen.

10. Fahrzeug umfassend das System zum Betreiben des Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs nach Anspruch 9.

Description:
l

Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, computerlesbares Medium, System, und Fahrzeug

Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs. Die Erfindung betrifft ferner ein computerlesbares Medium, ein System, sowie ein Fahrzeug umfassend das System zum Betreiben des Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs.

Es ist bekannt, dass moderne Fahrzeuge Umfeldsensoren aufweisen, mit denen ein Umfeld des Fahrzeugs erfasst werden kann. Daten bezüglich des Umfelds können einem

Fahrerassistenzsystem zugeführt werden, welches eine Entscheidung bezüglich der Steuerung des Fahrzeugs auf Basis der Daten über das Umfeld des Fahrzeugs treffen kann. Die DE 10 2014 205 180 A1 offenbart ein Verfahren zum Betreiben eines Fahrzeugs, das mehrere Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs aufweist. Das Verfahren erfasst ein Umfeld des Fahrzeugs jeweils mittels der Umfeldsensoren, so dass die Umfeldsensoren jeweils Rohdaten bereitstellen, die dem mittels des entsprechenden Umfeldsensors erfassten Umfeld entsprechen. Das Verfahren ermittelt Objekten entsprechenden Objektdaten für jeden Umfeldsensor basierend auf den Rohdaten des entsprechenden Umfeldsensors, fusioniert die jeweiligen Objektdaten der Umfeldsensoren miteinander, so dass fusionierte Objektdaten ermittelt werden, und fusioniert die jeweiligen Rohdaten der Umfeldsensoren miteinander, so dass fusionierte Rohdaten ermittelt werden. Das Verfahren ermittelt Objekten entsprechenden Rohobjektdaten basierend auf den fusionierten Rohdaten und vergleicht die fusionierten Objektdaten und die Rohobjektdaten. Wichtige Merkmale, die in den Rohdaten vorhanden sind, werden jedoch außer Acht gelassen, so dass die Genauigkeit bei der Erfassung des Umfelds reduziert sein kann.

Es ist daher eine Aufgabe der Erfindung, das Erfassen von Objekten im Umfeld des Fahrzeugs effizient zu verbessern. Insbesondere ist eine Aufgabe der Erfindung, die Genauigkeit einer Interpretation einer Verkehrssituation eines Fahrzeugs effizient zu verbessern.

Gelöst wird diese Aufgabe durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen

Ansprüchen. Gemäß einem ersten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren zum

Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs. Das Fahrzeug ist vorzugsweise ein teil-, hoch-, oder vollautomatisiert fahrendes Fahrzeug. Beispielsweise ist das Fahrzeug ein Kraftfahrzeug. Das Verfahren umfasst ein Erfassen des Umfelds des Fahrzeugs mittels eines jeweiligen Umfeldsensors, wobei der jeweilige

Umfeldsensor Rohdaten bereitstellt, die dem Umfeld des jeweiligen Umfeldsensors

entsprechen. Ein Umfeldsensor kann ein Radarsensor, ein Lasersensor, ein Kamerasensor, und/oder ein Ultraschallsensor sein. Das Verfahren bestimmt vorgegebene Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs. Ein vorgegebenes Merkmal kann ein Datum bzw. Daten eines Objekts im Umfeld des Fahrzeugs umfassen. Beispielsweise kann zum Bestimmen eines vorgegebenen Merkmals ein Softwarecode ausgeführt werden, der das vorgegebene Merkmal in den Rohdaten des jeweiligen Umfeldsensors extrahiert. Basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors bestimmt das Verfahren eines oder mehrerer Objekte des jeweiligen Umfeldsensors.

Vorzugsweise bestimmen mehrere vorgegebene Merkmale ein Objekt in dem Umfeld des Fahrzeugs. Das Verfahren fusioniert die bestimmten Objekte der Umfeldsensoren.

Beispielsweise ist ein Objekt durch den Kamerasensor bestimmt worden und das gleiche Objekt durch den Lasersensor. Das Fusionieren der bestimmten Objekte der Umfeldsensoren führt Objekte, die von mehreren Umfeldsensoren bestimmt wurden, zu einem Objekt zusammen. Die fusionierten Objekte können in einer Objektliste zusammengefasst und/oder gespeichert werden. Beispielsweise können die fusionierten Objekte in einer HashMap oder einer anderen Datenstruktur gespeichert werden. Das Verfahren erkennt und/oder interpretiert eine Situation, z.B. eine Verkehrssituation, basierend den fusionierten Objekten.

Das Verfahren kann ein maschinelles Lernverfahrens basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation trainieren. Das maschinelle Lernverfahren kann ein künstliches, neuronales Netz sein. Mittels des trainierten, maschinellen Lernverfahrens lernt das Verfahren ein neues Merkmal oder mehrere neue Merkmale aus den Rohdaten des jeweiligen Umfeldsensors für die erkannte und/oder interpretierte Verkehrssituation. Die vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors werden mit dem gelernten, neuen Merkmal bzw. den gelernten neuen

Merkmalen erweitert. Das Verfahren bestimmt die erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs und bestimmt eines oder mehrere Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors. Die bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren werden fusioniert und die Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen erkannt.

Vorteilhafterweise kann die Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen effizienter und mit einer höheren Wahrscheinlichkeit erkannt werden. Dadurch kann ein Fahrzeug, insbesondere ein autonom fahrendes Fahrzeug sicherer betrieben werden. Durch das Lernen von neuen Merkmalen aus den Rohdaten der jeweiligen Sensoren können effizient neue Merkmal erzeugt werden, die eine kontinuierliche Verbesserung der Objekterkennung und damit auch der Erkennung von Verkehrssituationen dienen. Das

Fahrzeug kann sich somit individuell an Verkehrssituationen anpassen, die durch die vorgegebenen Merkmale nicht oder nur mit einer geringeren Wahrscheinlichkeit erkannt werden können. Die Genauigkeit bei der Erkennung oder der Interpretation einer Situation,

insbesondere einer Verkehrssituation, kann somit durch das Verfahren effizient erhöht werden.

Gemäß einer vorteilhaften Ausgestaltung können die vorgegebenen Merkmale eines jeweiligen Umfeldsensors ein Objekt des Umfelds des Fahrzeugs spezifizieren, und können die erweiterten Merkmale eines jeweiligen Umfeldsensors ein Objekt des Umfelds des Fahrzeugs spezifizieren.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Verfahren die Rohdaten der jeweiligen Umfeldsensoren von dem Fahrzeug an einen Server übertragen. Vorzugsweise ist der Server in einem Backend außerhalb des Fahrzeugs angeordnet. Das Verfahren kann ferner die erkannte Verkehrssituation von dem Fahrzeug an den Server übertragen. Die erkannte Verkehrssituation kann auch die fusionierten Objekte umfassen, die für das Erkennen der Verkehrssituation verwendet wurden. Das Verfahren kann ferner ein Empfangen der Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs von dem Fahrzeug durch den Server, ein Empfangen der erkannten Verkehrssituation von dem Fahrzeug durch den Server, ein

Übertragen des gelernten, neuen Merkmals von dem Server an das Fahrzeug, und ein

Empfangen des gelernten, neuen Merkmals durch das Fahrzeug von dem Server umfassen. Hiermit kann das Lernen effizient auf einem Server in dem Backend ausgeführt werden und die gelernten Merkmale der Verkehrssituation an das Fahrzeug übertragen werden. Die

Rechenleistung des Servers in dem Backend kann effizient genutzt werden, um das Erkennen einer konkreten Verkehrssituation effizient zu verbessern und das Fahrzeug effizienter zu betreiben.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Erfassen des Umfelds des Fahrzeugs durch das Fahrzeug, kann das Bestimmen von vorgegebenen Merkmalen aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs durch das Fahrzeug, und kann das Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors durch das Fahrzeug ausgeführt werden. Ferner kann das Fusionieren der bestimmten Objekte der Umfeldsensoren durch das Fahrzeug, das Erkennen einer Verkehrssituation basierend den fusionierten Objekten durch das Fahrzeug, und das Trainieren eines maschinellen

Lernverfahrens basierend auf den Rohdaten der jeweiligen Umfeldsensoren bezüglich der erkannten Verkehrssituation durch den Server ausgeführt werden. Weiterhin kann das Lernen eines neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte Verkehrssituation durch den Server, das

Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal durch den Server und/oder durch das Fahrzeug, und das Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs durch das Fahrzeug ausgeführt werden. Schließlich kann das Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors durch das Fahrzeug, das Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen Umfeldsensoren durch das Fahrzeug, und das Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen durch das Fahrzeug ausgeführt werden. Hiermit kann das

Verfahren verteilt auf das Fahrzeug und den Server effizient ausgeführt werden, um das Erkennen der Verkehrssituation zu verbessern.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Erweitern der vorgegebenen Merkmale der Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal ein Erzeugen eines Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten basierend auf dem trainierten, maschinellen Lernverfahren, und ein Hinzufügen des erzeugten Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten des jeweiligen Umfeldsensors zu einem Softwarecode zum Bestimmen der vorgegebenen Merkmale in den Rohdaten des jeweiligen Umfeldsensors umfassen. Hiermit kann ein bestehender Softwarecode effizient um Softwarecode erweitert werden, der das neue Merkmal aus den Rohdaten des Umfeldsensors extrahieren kann.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das maschinelle Lernverfahren ein neuronales Netz sein. Ferner kann das Erzeugen des Softwarecodes zum Bestimmen des neuen Merkmals aus den Rohdaten basierend auf dem trainierten, maschinellen Lernverfahren ein Bestimmen wenigstens eines Teils des trainierten, neuronalen Netzes, welches das neue Merkmal in den Rohdaten des jeweiligen Umfeldsensors erkennt, umfassen. Hiermit kann das Erzeugen des Softwarecodes effizient vereinfacht werden.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Verfahren weiterhin ein

Bestimmen einer ersten Wahrscheinlichkeit mittels des maschinellen Lernverfahrens, mit der die Verkehrssituation basierend auf den vorgegebenen Merkmalen die Verkehrssituation erkennt, ein Bestimmen einer zweiten Wahrscheinlichkeit mittels des maschinellen

Lernverfahrens, mit der die Verkehrssituation basierend auf den erweiterten Merkmalen die Verkehrssituation erkennt, umfassen. Falls die zweite Wahrscheinlichkeit höher ist als die erste Wahrscheinlichkeit, kann das Verfahren ein Erweitern der vorgegebenen Merkmale der

Rohdaten des jeweiligen Umfeldsensors mit dem gelernten, neuen Merkmal, ein Bestimmen der erweiterten Merkmale aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs, ein Bestimmen eines oder mehrerer Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen Umfeldsensors, ein

Fusionieren der bestimmten Objekte mit den erweiterten Merkmalen der jeweiligen

Umfeldsensoren, und ein Erkennen der Verkehrssituation basierend auf den fusionierten Objekten mit den erweiterten Merkmalen, umfassen. Hiermit können neue Merkmale für das präzisere Bestimmen einer Verkehrssituation effizient ermittelt werden.

Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein computerlesbares Medium zum Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, wobei das Computer-lesbare Medium Instruktionen umfasst, die, wenn ausgeführt auf einem Computer oder einem Steuergerät, den Computer oder das Steuergerät dazu veranlassen, das oben beschriebene Verfahren auszuführen. Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein System zum

Betreiben eines Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs, wobei das System dazu eingerichtet ist das oben beschriebene Verfahren auszuführen.

Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein Fahrzeug umfassend das oben beschriebene System zum Betreiben des Fahrzeugs mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und

Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.

Im Folgenden wird anhand der beigefügten Zeichnungen ein bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung. Im Einzelnen zeigt schematisch

Fig- 1 ein beispielhaftes Verfahren zum Betreiben eines Fahrzeugs mit Umfeldsensoren.

Im Detail zeigt Fig. 1 ein beispielhaftes Verfahren 100 zum Betreiben eines Fahrzeugs 102 mit Umfeldsensoren zum Erfassen eines Umfelds des Fahrzeugs 102. Das Fahrzeug 102 kann Daten an einen Server im Backend 104 senden und Daten von dem Server des Backends 104 empfangen. Das Fahrzeug 102 kann wenigstens einen Teil des Verfahrens 100 in dem

Fahrzeug 102 ausführen. Ferner kann das Backend 104 einen Teil des Verfahrens 100 ausführen. Vorzugsweise wird der Teil des Verfahrens 100 auf dem Backend 104 ausgeführt der einen hohen Bedarf an Rechen- und/oder Speicherressourcen benötigt.

Das Verfahren 100 erfasst 106 das Umfeld des Fahrzeugs 102 mittels eines oder mehreren Umfeldsensoren des Fahrzeugs 102. Die Umfeldsensoren des Fahrzeugs 102 können dabei Radarsensoren, Lasersensoren, Kameras und/oder Ultraschallsensoren sein. Der jeweilige Umfeldsensor des Fahrzeugs 102 stellt Rohdaten bereit, die dem Umfeld des jeweiligen Umfeldsensors entsprechen. Rohdaten sind vorzugsweise Daten, die von dem jeweiligen Umfeldsensors erfasst und unverändert bereitgestellt werden. In anderen Worten werden die Rohdaten keiner Datenverarbeitung durch den jeweiligen Umfeldsensor unterzogen.

Das Verfahren 100 bestimmt 108 aus den Rohdaten des jeweiligen Umfeldsensors des Fahrzeugs vorgegebene Merkmale. Ein vorgegebenes Merkmal kann Daten eines Objekts, sogenannte Objektdaten, umfassen. Beispielsweise kann ein vorgegebenes Merkmal eine Position, eine Größe, eine Geschwindigkeit, eine Spurbreite, ein Spurverlauf, und/oder weitere Merkmal eines Objekts in dem Umfeld des Fahrzeugs sein. Ein Objekt ist vorzugsweise ein Objekt einer Verkehrssituation. Beispielsweise kann ein Objekt ein Verkehrsteilnehmer, ein Fahrzeug, eine Straße, eine Spur, und/oder ein anderes Objekt in dem Umfeld des Fahrzeugs sein. Basierend auf den vorgegebenen Merkmalen der Rohdaten des jeweiligen Umfeldsensors kann das Verfahren 100 ein oder mehrere Objekte in dem Umfeld des Fahrzeugs 102 bestimmen 1 10. Die bestimmten Objekte des Umfeldsensors können fusioniert 1 12 werden. Beim Fusionieren der bestimmten Objekte können fusionierte Objekte erzeugt werden. Dazu können Objekte, die von mehreren Umfeldsensoren des Fahrzeugs erfasst wurden, zu einem fusionierten Objekt zusammengeführt werden. Vorzugsweise erzeugt das Fusionieren der bestimmten Objekte der Umfeldsensoren eine Menge von Objekten, in der jedes Objekt in dem Umfeld des Fahrzeugs nur ein einziges Mal vorkommt. Die Menge von Objekten kann beispielsweise in einer Objektliste oder einer anderen Datenstruktur gespeichert werden.

Das Verfahren 100 kann basierend auf den fusionierten Objekten eine Verkehrssituation erkennen 1 14. Beispielshafte Verkehrssituationen können sein: Spielstraße mit Kinder, Spielstraße ohne Kinder, Kreuzung, Kreuzung mit Fußgänger, Baustelle, Kreisverkehr, Stau, Stadt, Land, Rechtsabbiegen, und/oder Linksabbiegen. Die Verkehrssituation können beispielsweise auch verknüpft werden: Kreuzung mit Fußgänger und Stadt und

Rechtsabbiegen. Die Schritte 106 bis 1 14 des Verfahrens 100 werden vorzugsweise in dem Fahrzeug 102 ausgeführt. Das Ausführen der Schritte 106 bis 1 14 des Verfahrens erfolgt kontinuierlich sobald die Umfeldsensoren das Umfeld des Fahrzeugs 102 erfassen können. In anderen Worten werden die Schritte 106 bis 1 14 des Verfahrens online ausgeführt.

Das Verfahren 100 kann Rohdaten der Umfeldsensoren des Fahrzeugs 102 an ein

maschinelles Lernverfahren 1 18, welches auf einem Server des Backends 104 ausgeführt wird, übertragen 1 16. Mittels der Rohdaten der jeweiligen Umfeldsensoren kann das maschinelle Lernverfahren 1 18 bezüglich der erkannten Verkehrssituation des Fahrzeugs 102 trainiert werden. Dazu kann das Fahrzeug 102 neben den Rohdaten der jeweiligen Umfeldsensoren des Fahrzeugs auch die fusionierten Objekte der erkannten Verkehrssituation an das Backend 104, insbesondere an das maschinelle Lernverfahren 1 18 des Backend 104, übermitteln 122.

Das Verfahren 100 kann ein neues Merkmal aus den Rohdaten des jeweiligen Umfeldsensors mittels des trainierten, maschinellen Lernverfahrens für die erkannte Verkehrssituation lernen. Beispielsweise kann das neue Merkmal ein Richtungsanzeiger eines vorausfahrenden, rechtsabbiegenden Fahrzeugs sein, der in den Rohdaten eines Kamerasensors des Fahrzeugs 102 enthalten ist und welcher dazu führt, dass die Verkehrssituation Rechtsabbiegen mit einer höheren Wahrscheinlichkeit erkannt wird. Allgemein kann das maschinelle Lernverfahren Korrelationen zwischen Merkmalen der Rohdaten der Umfeldsensoren erkennen und daraus neue Merkmale von Objekten ableiten, die es dem Fahrzeug ermöglichen mit einer höheren Wahrscheinlichkeit eine Verkehrssituation korrekt erkennen zu können. Das maschinelle Lernverfahren 1 18 kann offline auf einem Server des Backend 104 ausgeführt werden. Dies bedeutet, dass das maschinelle Lernverfahren 1 18 nach Empfang der Daten von dem Fahrzeug so ausgeführt werden kann als bestünde keine Kommunikationsverbindung zu dem Fahrzeug.

In anderen Worten benötigt das maschinelle Lernverfahren während dem Trainieren des Lernverfahrens und dem Lernen der neuen Merkmale keine Kommunikationsverbindung zu dem Fahrzeug. Ferner kann durch das Ausführen des maschinellen Lernverfahrens offline Rechenkapazität des Fahrzeugs 102 eingespart werden. Dies kann zu einer effizienteren Nutzung von vorhandener Rechenleistung in dem Fahrzeug 102 führen.

Das Verfahren 100 kann die vorgegebenen Merkmale der Rohdaten des jeweiligen

Umfeldsensors mit dem gelernten, neuen Merkmal erweitern. Dazu kann das Backend 104 einen Softwarecode zum Erkennen des neuen Merkmals erzeugen und an das Fahrzeug 102 übertragen 120. Ist der Softwarecode zum Erkennen des neuen Merkmals von dem Fahrzeug 102 empfangen worden, kann das Fahrzeug die Objekte des jeweiligen Umfeldsensors basierend auf den bestimmten, erweiterten Merkmalen der Rohdaten des jeweiligen

Umfeldsensors bestimmen. Beispielsweise kann das Fahrzeug 102 das neue Merkmal Richtungsanzeiger des Objekts vorausfahrendes, rechtsabbiegendes Fahrzeug bestimmen.

Vorteilhafterweise verknüpft das Verfahren ein Lernen von neuen Merkmalen auf Rohdaten von Umfeldsensoren im Backend mit einer Fusion von Objekten in dem Fahrzeug, um

Verkehrssituation verbessert zu erkennen. Dabei kann das Verfahren auf bestehenden Steuergeräten ausgeführt werden, da das rechenintensive Lernverfahren auf dem Backend 104 ausgeführt wird. Durch das Erweitern der vorgegebenen Merkmale um neue Merkmale kann eine Verkehrssituation mit einer erhöhten Genauigkeit von dem Fahrzeug 102 erkannt und/oder interpretiert werden.

io

Bezugszeichenliste

100 Verfahren

102 Fahrzeug

104 Backend

106 erfassen eines Umfelds mittels Umfeldsensoren

108 bestimmen von Merkmalen in Rohdaten der Umfeldsensoren

1 10 bestimmen von Objekten

1 12 fusionieren von Objekten

1 14 erkennen einer Verkehrssituation

1 16 übermitteln von Rohdaten

1 18 maschinelles Lernverfahren

120 übermitteln von neuen Merkmalen

122 übermitteln von fusionierten Objekten einer Verkehrssituation