Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR TRAINING AT LEAST ONE ALGORITHM FOR A CONTROL UNIT OF A MOTOR VEHICLE, COMPUTER PROGRAM PRODUCT, MOTOR VEHICLE AND SYSTEM
Document Type and Number:
WIPO Patent Application WO/2020/187563
Kind Code:
A1
Abstract:
A method for training at least one algorithm for a control unit of a motor vehicle is described, wherein the control unit is provided for implementing an autonomous driving function with intervention in assemblies of the motor vehicle on the basis of input data by using the at least one algorithm, wherein the algorithm is trained by means of a self-learning neural network, the method comprising the following steps: a) providing a computer program product module for the autonomous driving function, wherein the computer program product module contains the algorithm to be trained and the self-learning neural network; b) embedding the trained computer program product module into the control unit of the motor vehicle, wherein c) a simulation of critical traffic situations relevant to the autonomous driving function is carried out at a test site at which real objects are moved under remote control, and d) the algorithm is trained by self-learning in the motor vehicle.

Inventors:
EBERLE ULRICH (DE)
HALLERBACH SVEN (DE)
Application Number:
PCT/EP2020/055625
Publication Date:
September 24, 2020
Filing Date:
March 04, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
PSA AUTOMOBILES SA (FR)
International Classes:
G05D1/02; B60W60/00; G06N3/00
Foreign References:
CN109324539A2019-02-12
DE102006044086A12008-04-10
Other References:
WOLF PETER ET AL: "Learning how to drive in a real world simulation with deep Q-Networks", 2017 IEEE INTELLIGENT VEHICLES SYMPOSIUM (IV), IEEE, 11 June 2017 (2017-06-11), pages 244 - 250, XP033133715, DOI: 10.1109/IVS.2017.7995727
XINLEI PAN ET AL: "Virtual to Real Reinforcement Learning for Autonomous Driving", PROCEDINGS OF THE BRITISH MACHINE VISION CONFERENCE 2017, 26 September 2017 (2017-09-26), XP055610078, ISBN: 978-1-901725-60-5, DOI: 10.5244/C.31.11
ALEX KENDALL ET AL: "Learning to Drive in a Day", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 2 July 2018 (2018-07-02), XP081197602
Attorney, Agent or Firm:
SPITZFADEN, Ralf (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zum Trainieren wenigstens eines Algorithmus (34) für ein Steuergerät (4) eines Kraftfahrzeugs (2), wobei das Steuergerät (4) zur Umsetzung einer autono men Fahrfunktion unter Eingriff in Aggregate (22, 24, 26) des Kraftfahrzeugs (2) auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algo rithmus (34) vorgesehen ist, wobei der Algorithmus (34) durch ein selbstlernendes neuronales Netz (32) trainiert wird, umfassend folgende Schritte:

a) Bereitstellen eines Computerprogrammproduktmoduls (30) für die autonome Fahrfunktion, wobei das Computerprogrammproduktmodul (30) den zu trainierenden Algorithmus (34) und das selbstlernende neuronale Netz (32) enthält;

b) Einbetten des trainierten Computerprogrammproduktmoduls (30) in das Steuer gerät (4) des Kraftfahrzeugs (2), wobei

c) eine Simulation von für die autonome Fahrfunktion relevanten kritischen Ver kehrssituationen auf einem Testgelände (40) durchgeführt wird, auf dem Realob jekte (42, 44) ferngesteuert bewegt werden, und

d) der Algorithmus (34) durch Selbstlernen im Kraftfahrzeug (2) trainiert wird.

2. Verfahren nach Anspruch 1 , wobei das Computerprogrammproduktmodul (30) in eine Simulationsumgebung (46) zur Simulation wenigstens einer für die autonome Fahrfunktion relevanten Verkehrssituation eingebettet wird, wobei die Simulations umgebung (46) auf Kartendaten des Testgeländes (40) sowie auf einem digitalen Fahrzeugmodell des Kraftfahrzeugs (2) basiert, wobei der Algorithmus (34) durch Lernen in der Simulationsumgebung (46) trainiert wird.

3. Verfahren nach Anspruch 2, wobei der Algorithmus (34) in der Simulationsumge bung (46) durch das Verhalten des Kraftfahrzeugs (2) trainiert wird.

4. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Realobjekte (42, 44) an die Simulationsumgebung (46) angeschlossen sind, wobei der Algorithmus (34) in der Simulationsumgebung (46) durch das Verhalten der Realobjekte (42, 44) trainiert wird.

5. Verfahren nach Anspruch 4, wobei virtuelle Objekte (48, 50) in der Simulationsum gebung (46) simuliert werden, wobei die Realobjekte (42, 44) auf die simulierten vir tuellen Objekte (48, 50) reagieren und umgekehrt die virtuellen Objekte (48, 50) auf die Realobjekte (42,44) reagieren.

6. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Realobjekte (42, 44) und/oder die virtuellen Objekte (48, 50) statisch oder dynamisch sind.

7. Computerprogrammprodukt, mit einem computerlesbaren Speichermedium (8), auf dem Befehle eingebettet sind, die, wenn sie von einer Recheneinheit (6) ausgeführt werden, bewirken, dass die Recheneinheit (6) dazu eingerichtet ist, das Verfahren nach einem der vorangegangenen Ansprüche auszuführen.

8. Computerprogrammprodukt nach Anspruch 7, wobei die Befehle das Computerpro grammproduktmodul (30) nach einem der Ansprüche 1 bis 6 aufweisen.

9. Kraftfahrzeug mit einer Recheneinheit (6) und einem computerlesbaren Speicher medium (8), wobei auf dem Speichermedium (8) ein Computerprogrammprodukt nach Anspruch 7 oder 8 gespeichert ist.

10. Kraftfahrzeug (2) nach Anspruch 9, wobei die Recheneinheit (6) Bestandteil des Steuergeräts (4) ist.

11. Kraftfahrzeug nach einem der Ansprüche 9 oder 10, wobei die Recheneinheit (6) mit Umgebungssensoren (10, 12, 14, 16, 18) vernetzt sind.

12. System zum Trainieren wenigstens eines Algorithmus (34) für ein Steuergerät (4) eines Kraftfahrzeugs (2), wobei das Steuergerät (4) zur Umsetzung einer autono men Fahrfunktion unter Eingriff in Aggregate (22, 24, 26) des Kraftfahrzeugs (2) auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algo rithmus (34) vorgesehen ist, wobei der Algorithmus (34) durch ein selbstlernendes neuronales Netz (32) trainiert wird, wobei das System eine Simulationsumgebung (46) zur Simulation wenigstens einer für die autonome Fahrfunktion relevanten Ver kehrssituation aufweist, wobei die Simulationsumgebung (46) Kartendaten eines Testgeländes (40)sowie ein digitales Fahrzeugmodell des Kraftfahrzeugs (2) enthält, wobei das System Sensoren (10, 12, 14, 16, 18) zur Erfassung von Daten betref fend Realobjekte (42, 44) auf dem Testgelände (40) aufweist.

13. System nach Anspruch 12, wobei die Simulationsumgebung (46) zur Simulation vir tueller Objekte (48, 50) und zur Übermittlung von Daten betreffend die virtuellen Ob jekte (48, 50) an den Algorithmus (34) ausgebildet ist.

Description:
VERFAHREN ZUM TRAINIEREN WENIGSTENS EINES ALGORITHMUS FÜR EI N STEUERGERÄT EINES KRAFTFAHRZEUGS, COMPUTERPROGRAMMPRODUKT, KRAFTFAHRZEUG SOWIE SYSTEM

Vorliegend werden ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, ein Computerprogrammprodukt, ein Kraftfahrzeug so wie ein System beschrieben.

Verfahren, Computerprogrammprodukte, Kraftfahrzeuge sowie Systeme der eingangs ge nannten Art sind im Stand der Technik bekannt. Die ersten teil-automatisiert (entspricht SAE Level 2 gemäß SAE J3016) fahrenden Kraftfahrzeuge sind in den vergangenen Jah ren zur Serienreife gelangt. Automatisiert (entspricht SAE Level >=3 gemäß SAE J3016) bzw. autonom (entspricht SAE Level 4/5 gemäß SAE J3016) fahrende Kraftfahrzeuge müssen anhand vielfältiger Vorgaben, zum Beispiel Fahrtziel und Einhaltung gängiger Verkehrsregeln, mit maximaler Sicherheit auf unbekannte Verkehrssituationen selbständig reagieren. Da die Verkehrswirklichkeit aufgrund der Unvorhersehbarkeit des Verhaltens anderer Verkehrsteilnehmer hoch komplex ist, gilt es als nahezu unmöglich, entsprechen de Steuergeräte von Kraftfahrzeugen mit herkömmlichen Methoden und auf der Grund lage von menschengemachten Regeln zu programmieren.

Stattdessen ist es bekannt, mit Methoden des maschinellen Lernens bzw. der künstlichen Intelligenz Algorithmen zu entwickeln. Solche Algorithmen können einerseits maßvoller auf komplexe Verkehrssituationen reagieren als traditionelle Algorithmen. Andererseits ist es mithilfe künstlicher Intelligenz prinzipiell möglich, die Algorithmen während des Ent wicklungsprozesses und im Alltag durch ständiges Lernen weiterzuentwickeln. Alternativ wird ein Stand nach der Beendigung der Trainingsphase im Entwicklungsprozess durch den Hersteller eingefroren.

Aus der DE 10 2006 044 086 A1 ist ein System zur virtuellen Simulation von Verkehrssitu ationen bekannt, mit einer Anzeigeeinheit zur bildhaften Anzeige der virtuellen Verkehrssi tuationen und einer Eingabeeinheit, und mit zumindest einem modellierten Referenzfahr zeug und zumindest einem weiteren modellierten Verkehrsteilnehmer, wobei das Refe renzfahrzeug eine modellierte Detektionseinrichtung zur Erfassung der virtuellen Umge- bung des Referenzfahrzeugs aufweist, und das Verhalten des Referenzfahrzeugs wäh rend einer simulierten Verkehrssituation zumindest zeitweise unter Berücksichtigung der durch die Detektionseinrichtung erfassten Informationen erfolgt.

Nachteilig hieran ist, dass das System rein virtuell trainiert wird. In der Realität haben die verwendeten Detektionseinrichtungen jedoch einerseits nicht modellierbare Eigenheiten, Toleranzen oder Verschleißerscheinungen, die bei rein virtuellen Trainingsverfahren nicht berücksichtigt werden können.

Somit stellt sich die Aufgabe, Verfahren, Computerprogrammprodukte, Kraftfahrzeuge sowie Systeme der eingangs genannten Art dahingehend weiterzubilden, dass eine bes sere Abstimmung eines trainierten Algorithmus auf reale Umfeldsensorik stattfinden kann.

Die Aufgabe wird gelöst durch ein Verfahren zum Trainieren wenigstens eines Algorith mus für ein Steuergerät eines Kraftfahrzeugs gemäß Anspruch 1 , ein Computerpro grammprodukt gemäß dem nebengeordneten Anspruch 7, ein Kraftfahrzeug gemäß dem nebengeordneten Anspruch 9 sowie ein System gemäß dem nebengeordneten Anspruch 11. Weiterführende Ausgestaltungen und Weiterbildungen sind Gegenstand der abhängi gen Ansprüche.

Nachfolgend wird ein Verfahren zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, wobei das Steuergerät zur Umsetzung einer autono men Fahrfunktion unter Eingriff in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wo bei der Algorithmus durch ein selbstlernendes neuronales Netz trainiert wird, umfassend folgende Schritte: a) Bereitstellen eines Computerprogrammproduktmoduls für die autonome Fahr funktion, wobei das Computerprogrammproduktmodul den zu trainierenden Algo rithmus und das selbstlernende neuronale Netz enthält;

b) Einbetten des trainierten Computerprogrammproduktmoduls in das Steuergerät des Kraftfahrzeugs, wobei

c) eine Simulation von für die autonome Fahrfunktion relevanten kritischen Ver kehrssituationen auf einem Testgelände durchgeführt wird, auf dem Realobjekte ferngesteuert bewegt werden, und d) der Algorithmus durch Selbstlernen im Kraftfahrzeug trainiert wird.

Dadurch, dass das Training des Algorithmus auf einem Testgelände trainiert wird, auf dem Realobjekte ferngesteuert bewegt werden, kann eine sichere Umgebung geschaffen werden, in der der Algorithmus so naturgetreu wie möglich und ohne Gefährdung von Menschenleben trainiert werden kann. Das Ergebnis ist eine bessere Algorithmusqualität als ist mit herkömmlichen Verfahren möglich wäre.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass das Compu terprogrammproduktmodul in eine Simulationsumgebung zur Simulation wenigstens einer für die autonome Fahrfunktion relevanten Verkehrssituation eingebettet wird, wobei die Simulationsumgebung auf Kartendaten des Testgeländes sowie auf einem digitalen Fahr zeugmodell des Kraftfahrzeugs basiert, wobei der Algorithmus durch Lernen in der Simu lationsumgebung trainiert wird.

Hierdurch kann eine Rückkopplung zwischen der Simulation einerseits und dem realen Fahrmodell andererseits erzeugt werden. So kann das Verhalten des vom Algorithmus zu steuernden Kraftfahrzeugs in die Simulationsumgebung zurückgespielt werden, was dort zu einer präziseren Simulation des Verhaltens des Kraftfahrzeuges führt und damit eine virtuelle Simulation verbessert.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass der Algorith mus in der Simulationsumgebung durch das Verhalten des Kraftfahrzeugs trainiert wird.

Des Weiteren ist eine Betrachtung des Kraftfahrzeugs in dem Simulationsmodell„von au ßen“ möglich, womit sich kooperative Effekte besser simulieren lassen als bei auf rein vir tuellen Modellen basierenden Kraftfahrzeugen.

Des Weiteren ist somit umfangreiches Wissen über die komplette Umgebung des Kraft fahrzeugs, inklusive der umgebenden simulierten und ferngesteuerten realen Verkehrsob jekte sowie der Infrastruktur, erhältlich, welches zur Evaluierung des Algorithmus genutzt werden kann.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Realob- jekte an die Simulationsumgebung angeschlossen sind, wobei der Algorithmus in der Si mulationsumgebung durch das Verhalten der Realobjekte trainiert wird.

Hierdurch lässt sich die Simulationsqualität im Modell erheblich verbessern.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass virtuelle Ob jekte in der Simulationsumgebung simuliert werden, wobei die Realobjekte auf die simu lierten virtuellen Objekte reagieren und umgekehrt die virtuellen Objekte auf die Realob jekte reagieren.

Dies trägt bei zur Simulation von kausalen oder kooperativen Effekten, wie sie beispiels weise an einem Stauende oder an einer Kreuzung oder dergleichen Vorkommen können.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Realob jekte und/oder die virtuellen Objekte statisch oder dynamisch sind.

Entsprechende Realobjekte oder virtuelle Objekte können beispielsweise andere Kraft fahrzeuge oder sonstige Verkehrsteilnehmer wie Fahrradfahrer oder Fußgänger sein, es können jedoch auch bewegliche oder unbewegliche Objekte simuliert werden, beispiels weise Hindernisse.

Ein erster unabhängiger Gegenstand betrifft eine Vorrichtung zum Trainieren wenigstens eines Algorithmus für ein Steuergerät eines Kraftfahrzeugs, wobei das Steuergerät zur Umsetzung einer autonomen Fahrfunktion unter Eingriff in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorith mus vorgesehen ist, wobei selbstlernendes neuronales Netz zum Trainieren des Algorith mus vorgesehen ist, wobei die Vorrichtung: a) Mittel zum Bereitstellen eines Computerprogrammproduktmoduls für die auto nome Fahrfunktion aufweist, wobei das Computerprogrammproduktmodul den zu trainierenden Algorithmus und das selbstlernende neuronale Netz enthält;

b) Mittel zum Einbetten des trainierten Computerprogrammproduktmoduls in das Steuergerät des Kraftfahrzeugs aufweist;

c) Mittel zur Simulation von für die autonome Fahrfunktion relevanten kritischen Verkehrssituationen auf einem Testgelände durchgeführt wird, auf dem Realob jekte ferngesteuert bewegt werden, und

d) Mittel zum Trainieren des Algorithmus durch Selbstlernen im Kraftfahrzeug.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass die Vorrich tung Mittel zum Einbetten des Computerprogrammproduktmoduls in eine Simulationsum gebung zur Simulation wenigstens einer für die autonome Fahrfunktion relevanten Ver kehrssituation aufweist, wobei die Simulationsumgebung auf Kartendaten des Testgelän des sowie auf einem digitalen Fahrzeugmodell des Kraftfahrzeugs basiert, wobei in der Simulationsumgebung Mittel zum Trainieren des Algorithmus vorgesehen sind.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass Mittel zum Trainieren des Algorithmus in der Simulationsumgebung durch das Verhalten des Kraft fahrzeugs vorgesehen sind.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Realob jekte an die Simulationsumgebung angeschlossen sind, wobei Mittel zum Trainieren des Algorithmus in der Simulationsumgebung durch das Verhalten der Realobjekte vorgese hen sind.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass Mittel zum Simulieren von virtuellen Objekten in der Simulationsumgebung vorgesehen sind, wobei die Realobjekte dazu eingerichtet sind, auf die simulierten virtuellen Objekte zu reagieren, und umgekehrt.

In einer weiteren weiterführenden Ausgestaltung kann vorgesehen sein, dass die Realob jekte und/oder die virtuellen Objekte statisch oder dynamisch sind.

Ein weiterer unabhängiger Gegenstand betrifft ein Computerprogrammprodukt, mit einem computerlesbaren Speichermedium, auf dem Befehle eingebettet sind, die, wenn sie von einer Recheneinheit ausgeführt werden, bewirken, dass die Recheneinheit dazu einge richtet ist, das Verfahren nach einem der vorangegangenen Ansprüche auszuführen.

Ein entsprechendes Computerprogrammprodukt ermöglicht die Bereitstellung eines siche- ren, autonom fahrenden Kraftfahrzeugs, das auf vielfältige herausfordernde reale Ver kehrssituationen sicher reagieren kann und gleichzeitig mit einer hohen Toleranz gegen über den Sensoreingangssignalen ausgestattet ist.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass die Befehle das Computerprogrammproduktmodul der zuvor beschrieben Art aufweisen.

Hierdurch kann ein in-situ Training des Kraftfahrzeugs in einem sicheren Testgelände stattfinden.

Ein weiterer unabhängiger Gegenstand betrifft ein Kraftfahrzeug mit einer Recheneinheit und einem computerlesbaren Speichermedium, wobei auf dem Speichermedium ein Com puterprogrammprodukt der zuvor beschriebenen Art gespeichert ist.

Ein entsprechendes Kraftfahrzeug weist eine hohe Qualität des Algorithmus zum autono men Fahren auf.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass die Rechen einheit Bestandteil des Steuergeräts ist.

Hierdurch kann ein Training während des Betriebs des Kraftfahrzeugs im Alltagsverkehr weitergeführt werden, sodass sich der Algorithmus laufend weiter verbessert.

In einer anderen weiterführenden Ausgestaltung kann vorgesehen sein, dass die Rechen einheit mit Umgebungssensoren vernetzt ist.

Somit kann erreicht werden, dass der Algorithmus sich auf die individuellen Besonderhei ten der Umgebungssensoren einstellen kann.

Ein weiterer unabhängiger Gegenstand betrifft ein System zum Trainieren wenigstens ei nes Algorithmus für ein Steuergerät eines Kraftfahrzeugs, wobei das Steuergerät zur Um setzung einer autonomen Fahrfunktion unter Eingriff in Aggregate des Kraftfahrzeugs auf der Grundlage von Eingangsdaten unter Verwendung des wenigstens einen Algorithmus vorgesehen ist, wobei der Algorithmus durch ein selbstlernendes neuronales Netz trainiert wird, wobei das System eine Simulationsumgebung zur Simulation wenigstens einer für die autonome Fahrfunktion relevanten Verkehrssituation aufweist, wobei die Simulations umgebung Kartendaten eines Testgeländes sowie ein digitales Fahrzeugmodell des Kraft fahrzeugs enthält, wobei das System Sensoren zur Erfassung von Daten betreffend Real objekte auf dem Testgelände aufweist.

Ein entsprechendes System erlaubt ein schnelles Trainieren eines sehr zuverlässigen Al gorithmus zum Steuern eines autonom zu fahrenden Kraftfahrzeugs.

In einer ersten weiterführenden Ausgestaltung kann vorgesehen sein, dass die Simulati onsumgebung zur Simulation virtueller Objekte und zur Übermittlung von Daten betreffend die virtuellen Objekte an den Algorithmus ausgebildet ist.

Durch die Simulation von virtuellen Objekten können Masseneffekte, zum Beispiel dichter Verkehr, besser dargestellt werden als bei realen Objekten. Des Weiteren können in ent sprechenden Situationen besonders gefährdete Objekte, zum Beispiel Kraftfahrzeuge, die beim Trainieren einer Spurwechselfunktion neben dem autonom fahrenden Kraftfahrzeug fahren, simuliert werden, was Beschädigungen an beiden Kraftfahrzeugen, dem simulier ten und dem realen, vermeidet.

Weitere Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbei spiel im Einzelnen beschrieben ist. Beschriebene und/oder bildlich dargestellte Merkmale bilden für sich oder in beliebiger, sinnvoller Kombination den Gegenstand, gegebenenfalls auch unabhängig von den Ansprüchen, und können insbesondere zusätzlich auch Gegen stand einer oder mehrerer separater Anmeldung/en sein. Gleiche, ähnliche und/oder funk tionsgleiche Teile sind mit gleichen Bezugszeichen versehen. Dabei zeigen schematisch:

Fig. 1 ein Kraftfahrzeug, das zum autonomen Fahren eingerichtet ist;

Fig. 2 ein Computerprogrammprodukt für das Kraftfahrzeug aus Fig. 1 ;

Fig. 3 ein Testgelände mit dem Kraftfahrzeug aus Fig. 1 , sowie

Fig. 4 ein Ablaufdiagramm des Verfahrens. Fig. 1 zeigt ein Kraftfahrzeug 2, das zum autonomen Fahren eingerichtet ist.

Das Kraftfahrzeug 2 weist ein Kraftfahrzeugsteuergerät 4 mit einer Recheneinheit 6 und einem Speicher 8 auf. Im Speicher 8 ist ein Computerprogrammprodukt gespeichert, dass im Nachfolgenden insbesondere im Zusammenhang Fig. 2 und Fig. 3 eingehender be schrieben ist.

Das Kraftfahrzeugsteuergerät 4 ist einerseits mit einer Reihe von Umgebungssensoren verbunden, die eine Erfassung der aktuellen Lage des Kraftfahrzeugs 2 sowie der jeweili gen Verkehrssituation erlauben. Hierzu zählen Umgebungssensoren 10,12 an der Front des Kraftfahrzeugs 2, Umgebungssensoren 14, 16 am Heck des Kraftfahrzeugs 2, eine Kamera 18 sowie ein GPS-Modul 20. Je nach Ausgestaltung können weitere Sensoren vorgesehen sein, zum Beispiel Raddrehzahlsensoren, Beschleunigungssensoren etc., die mit dem Kraftfahrzeugsteuergerät 4 verbunden sind.

Während des Betriebs des Kraftfahrzeugs 2 hat die Recheneinheit 6 das im Speicher 8 abgelegte Computerprogrammprodukt geladen und führt dieses aus. Auf der Grundlage eines Algorithmus und der Eingangssignale entscheidet die Recheneinheit 6 über die Steuerung des Kraftfahrzeugs 2, die die Recheneinheit 6 über Eingriff in die Lenkung 22, Motorsteuerung 24 sowie Bremsen 26 erreichen kann, die jeweils mit dem Kraftfahrzeug steuergerät 4 verbunden sind.

Fig. 2 zeigt ein Computerprogrammprodukt 28 mit einem Computerprogrammproduktmo dul 30.

Das Computerprogrammprodukt 30 weist ein selbstlernendes neuronales Netz 32 auf, das einen Algorithmus 34 trainiert. Das selbstlernende neuronale Netz 32 lernt nach Me thoden des bestärkenden Lernens, d. h. das neuronale Netz 32 versucht durch Variation des Algorithmus 34, Belohnungen für ein verbessertes Verhalten entsprechend einer oder mehrerer Kriterien oder Maßstäbe, also für Verbesserungen des Algorithmus 34 zu erhal ten. Alternativ können aber auch bekannte Lernverfahren des überwachten und unüber- wachten Lernens, sowie Kombinationen dieser Lernverfahren verwendet werden. Der Algorithmus 34 kann im Wesentlichen ein komplexer Filter mit einer Matrix aus Wer ten, oft Gewichte genannt, bestehen, die eine Filterfunktion definieren, die das Verhalten des Algorithmus 34 abhängig von Eingangsgrößen, welche vorliegend über die Umge bungssensoren 10 bis 20 aufgenommen werden, bestimmt und Steuersignale zur Steue rung des Kraftfahrzeugs 2 generiert.

Die Überwachung der Güte des Algorithmus 34 wird von einem weiteren Computerpro grammproduktmodul 36 vorgenommen, das Eingangsgrößen und Ausgangsgrößen über wacht, daraus Metriken ermittelt und die Einhaltung der Güte durch die Funktionen an hand der Metriken kontrolliert. Gleichzeitig kann das Computerprogrammproduktmodul 36 negative wie positive Belohnungen für das neuronale Netz 32 geben.

Fig. 3 zeigt ein Testgelände 40 mit dem Kraftfahrzeug 2 aus Fig. 1.

Das Kraftfahrzeug 2 fährt hinter zwei weiteren Kraftfahrzeugen 42, 44. Die Kraftfahrzeuge 42,44 werden von einer Simulationsumgebung 46 ferngesteuert.

Durch die Verwendung der realen Kraftfahrzeuge 42, 44 nehmen die Umgebungssenso ren 10 bis 18 Daten auf, wie sie auch in der realen Welt Vorkommen. Somit kann sicher gestellt werden, dass die Umgebungssensoren 10 bis 18 unter allen Umständen und mit verschiedenen Kraftfahrzeugen als anderen Verkehrsteilnehmern zuverlässig funktionie ren.

Die Simulationsumgebung 46 ist im Wesentlichen ein Rechenzentrum mit Fernsteuermit teln. In der Simulationsumgebung 46 sind Kartendaten betreffend das Testgelände 40 ab gespeichert. Des Weiteren sind Simulationsdaten betreffend das Kraftfahrzeug 2 in der Simulationsumgebung 46 gespeichert.

Die Simulationsumgebung 46 simuliert auf dem Testgelände 40 des Weiteren virtuelle Objekte 48, 50, die vorliegend ebenfalls Kraftfahrzeuge darstellen. Hierdurch kann die An zahl von Objekten, mit denen der Algorithmus 34 des neuronalen Netzes 32 trainiert wird, erhöht werden, ohne die Anzahl von realen, fern zu steuernden Objekten wie den Kraft fahrzeugen 42, 44 zu erhöhen. Des Weiteren können durch die virtuellen Objekte 48, 50 Massenverkehrseffekte wie beispielsweise das Entstehen von Stau besser simuliert wer den. Die Simulationsumgebung 46, die die Kraftfahrzeuge 42, 44 sowie die virtuellen Objekte 48, 50 steuert, kann entsprechende Daten betreffend die Kraftfahrzeuge 42, 44, aber ins besondere betreffend die virtuellen Objekte 48, 50 an das Kraftfahrzeug 2 spielen, sodass das neuronale Netz 32 die virtuellen Objekte 48, 50 als Objekte wahrnimmt.

Die Simulationsumgebung 46 kann des Weiteren das Verhalten des Kraftfahrzeugs 2 ana lysieren und zur Verbesserung eines Simulationsalgorithmus sowie des Algorithmus 34 verwenden.

Fig. 4 zeigt ein Ablaufdiagramm des Verfahrens zum Trainieren eines Algorithmus.

In einem ersten Schritt wird das Computerprogrammprodukt (Software) auf dem Steuer gerät des Kraftfahrzeugs bereitgestellt.

In einem darauffolgenden Schritt wird ein Testgelände bereitgestellt, wobei Kartendaten betreffend das Testgelände für die Simulationsumgebung bereitgestellt werden.

Sodann werden verschiedene Verkehrssituationen simuliert, indem reale Objekte auf dem Testgelände ferngesteuert werden und virtuelle Objekte simuliert werden.

Die entsprechenden Daten werden anders zum trainierenden Kraftfahrzeug übermittelt bzw. in Bezug auf die Realobjekte vom zu trainierenden Kraftfahrzeug erfasst.

Sodann wird der Algorithmus im Steuergerät des Kraftfahrzeugs auf der Grundlage der gestellten Situationen trainiert.

Durch Beobachtung des zu trainierenden Fahrzeuges und Rückkopplung an die Simulati onsumgebung können die entsprechenden Informationen verwertet werden, um die Simu lation zu beeinflussen.

Mithilfe des hier beschriebenen Verfahrens können eine Vielzahl von unterschiedlichen Verkehrsteilnehmern abgebildet werden, zum Beispiel Autos, Lkws, Motorräder, Fahrrad fahrer, Fußgänger. Ebenso kann reale Infrastruktur, zum Beispiel Schilder, Ampeln, Stra ßensymbolen, Leitlinien etc. dargestellt werden. Durch die Mischung von virtueller Realität und realen Verkehrsteilnehmern können hoch kooperative Phänomene mit hohem Realitätsgehalt adressiert werden. So kann beispiels weise ein Entstehendes Stauende simuliert werden. Auch vom zu trainierenden Kraftfahr zeug weiter entfernte Verkehrsteilnehmer können als rein virtuelle Objekte dargestellt wer den.

Durch die Verwendung von virtuellen und realen Verkehrsteilnehmern können kritische Grenzfälle früher und schneller untersucht werden. Der Algorithmus kann früher lernen, mit solchen Grenzfällen umzugehen. Durch die Verwendung von ferngesteuerten und si mulierten Objekten, kann verhindert werden, dass anderen menschlichen oder tierischen Verkehrsteilnehmern auf dem Testgelände Schaden zukommt.

Mithilfe des Verfahrens können Komplexe Verkehrsmanöver im Rahmen der kooperativen Mobilität realistisch untersucht werden, zum Beispiel Auffahren auf einer Autobahn und Kommunikation zwischen den Verkehrsteilnehmern, um beispielsweise eine einfache Lü cke für das aufzufahrenden Kraftfahrzeugs zu schaffen.

Kraftfahrzeuge, die sich in einem Kollisionsbereich mit dem trainierenden Kraftfahrzeug befinden können zur Vermeidung von Beschädigungen ebenfalls simuliert werden.

Die somit gewonnenen Erfahrungen können ebenfalls in der Simulationsumgebung ver wendet werden, um neue Algorithmen schneller und besser trainieren zu können.

Zudem kann die beschriebene Simulationsumgebung mit simulierten und ferngesteuerten realen Objekten nach Abschluss der Trainingsphase für Test und Validation eines finalen Algorithmus verwendet werden.

Weiterhin findet die Simulationsumgebung und das hier beschriebene Verfahren ebenfalls Anwendung, wenn im Fahrzeug mehrere Steuergeräte mit einem jeweiligen Algorithmus sich die Aufgaben im Sinne des eingeführten Prinzips der Robotik„Sense- Plan- Act“ be züglich Umfeld-Perzeption, Planung und Ausführung der Fahraufgabe teilen.

Obwohl der Gegenstand im Detail durch Ausführungsbeispiele näher illustriert und erläu tert wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass bei spielhaft genannte Ausführungsformen nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Be schreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, auch für teilautomatisierte Fahrzeuge, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen bei spielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente vornehmen kann, ohne den Schutzbereich zu ver lassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weiter gehenden Erläuterung in der Beschreibung, definiert wird.

Bezugszeichenliste

2 Kraftfahrzeug

4 Kraftfahrzeugsteuergerät

6 Recheneinheit

8 Speicher

10 Umgebungssensor

12 Umgebungssensor

14 Umgebungssensor

16 Umgebungssensor

18 Kamera

20 GPS-Modul

22 Lenkung

24 Motorsteuerung

26 Bremsen

28 Computerprogrammprodukt

30 Computerprogrammproduktmodul

32 neuronales Netz

34 Algorithmus

36 Computerprogrammproduktmodul

40 Testgelände

42 Kraftfahrzeug

44 Kraftfahrzeug

46 Simulationsumgebung

48 virtuelles Objekt

50 virtuelles Objekt