Die Erfindung betrifft ein Verfahren zur Ermittlung einer Fahranweisung, wobei durch wenigstens eine Erfassungseinrichtung eines Kraftfahrzeugs die Umgebung des Kraftfahrzeugs betreffende Umgebungsdaten erfasst werden, wonach in Abhängigkeit der Umgebungsdaten eine den Fahrbetrieb des Kraftfahrzeugs betreffende Fahranweisung ermittelt wird, die durch eine Geste und/oder eine Pose eines durch die Umgebungsdaten abgebildeten Verkehrspostens vorgegeben wird. In besonderen Verkehrssituationen, beispielsweise wenn eine Lichtsignalanlage ausfällt, der Verkehrsfluss durch einen Stau oder durch einen Unfall behindert ist, eine Straße ganz oder teilweise gesperrt ist oder Ähnliches, kann eine Regelung des Verkehrs durch Verkehrsposten erfolgen. Dies können beispielsweise Polizisten oder Bauarbeiter, die den Verkehr im Bereich einer Baustelle leiten, sein. Kraftfahrzeuge weisen zunehmend Fahrerassistenzsysteme auf, die den Fahrer bei Fahraufgaben unterstützen oder das Kraftfahrzeug sogar automatisiert mit oder ohne Überwachung durch den Fahrer führen. Bei einer entsprechenden assistierten oder automatisierten Führung müssen selbstverständlich auch Verkehrsposten und deren potentielle An- Weisungen berücksichtigt werden.

Hierzu ist es aus der Druckschrift US 2016/0144867 A1 bekannt, Verkehrsposten durch eine fahrzeugseitige Sensorik zu überwachen und, falls ein Verkehrsposten erkannt wird, der ein Zeichen an das eigene Kraftfahrzeug gibt, dieses Zeichen mit einer Bibliothek von bekannten Zeichen zu vergleichen. Wird ein entsprechendes Zeichen in der Bibliothek aufgefunden, kann der Fahrbetrieb entsprechend angepasst werden. Andernfalls kann der Fahrer aufgefordert werden, selbst die Fahrzeugführung zu übernehmen oder das Fahrzeug kann angehalten werden. Nachteilig ist hierbei, dass entsprechende Zeichen eines Verkehrspostens, also seine eingenommenen Posen bzw. von ihm durchgeführte Gesten, häufig von verschiedenen Verkehrsposten geringfügig unterschiedlich umgesetzt werden. Zudem werden in unterschiedlichen Ländern üblicherweise unterschiedliche Zeichen durch Verkehrsposten genutzt, um den Verkehr zu regeln. Da typischerweise Zeichen genutzt werden, die durch Menschen einfacher zu interpretieren sind, ist dies bei einer manuellen Führung des Kraftfahrzeugs kein Problem. Bei einer Nutzung einer Zeichenbibliothek zur Er- kennung von Zeichen, wie sie aus dem Stand der Technik bekannt ist, wäre jedoch potentiell eine sehr umfangreiche Zeichenbibliothek erforderlich, wodurch auch die Unterscheidungsschärfe zwischen den verschiedenen Zeichen leiden könnte. Der Erfindung liegt somit die Aufgabe zugrunde, eine demgegenüber verbesserte Möglichkeit anzugeben, Fahranweisungen von Verkehrsposten automatisch zu erkennen.

Die Aufgabe wird durch ein Verfahren der eingangs genannten Art gelöst, wobei die Ermittlung der Fahranweisung in Abhängigkeit von wenigstens einem Trainingsdatensatz erfolgt, der vorangehend durch die Erfassungseinrichtung oder eine weitere Erfassungseinrichtung erfasst wurde und der den oder einen weiteren Verkehrsposten und wenigstens einen Verkehrsteilnehmer abbildet.

Der Erfindung liegt die Idee zugrunde, Vorinformationen über das Zusammenwirken wenigstens eines Verkehrspostens mit wenigstens einem Verkehrsteilnehmer in Form des wenigstens einen Trainingsdatensatzes zu erfassen. Vorzugsweise wird eine Vielzahl von Trainingsdatensätzen genutzt, um das Verhalten unterschiedlicher Verkehrsteilnehmer bei unterschiedlichem Verhalten des Verkehrspostens abzubilden. In dem erfindungsgemäßen Verfahren wird somit ein Erfahrungsschatz genutzt, der durch den wenigstens einen Trainingsdatensatz bereitgestellt wird, und aus diesem Erfahrungsschatz können, insbesondere automatisiert, Zusammenhänge zwi- sehen einem Verhalten des Verkehrspostens und dem Fahrverhalten der Verkehrsteilnehmer erkannt werden. Es kann davon ausgegangen werden, dass ein Großteil der Verkehrsteilnehmer den jeweiligen Fahranweisungen des Verkehrspostens folgt. Das beobachtete Fahrverhalten der Verkehrsteil- nehmer entspricht somit den Fahranweisungen, die durch die Geste und/oder Pose des Verkehrspostens vorgegeben werden. Somit kann anhand des wenigstens einen Trainingsdatensatzes ermittelt werden, welche Geste bzw. Pose welcher Fahranweisung entspricht. Dies kann, wie später noch detailliert erläutert werden wird, insbesondere mithilfe eines Verfahrens des Maschinenlernens erfolgen.

Es ist insbesondere möglich, dass die Ermittlung der Fahranweisung in mittelbarer Anhängigkeit von dem wenigstens einen Trainingsdatensatz erfolgt. Beispielsweise können mehrere Trainingsdatensätze genutzt werden, um eine Verarbeitungsfunktion durch ein Maschinenlernen zu parametrisieren, wonach die derart parametrisierte Verarbeitungsfunktion verwendet wird, um die Fahranweisung zu ermitteln. Der wenigstens eine Trainingsdatensatz umfasst vorzugsweise mehrere zeitlich beabstandete Aufnahmen des Verkehrsteilnehmers bzw. des Verkehrspostens, womit durch Auswertung eines einzelnen Trainingsdatensatzes bereits der momentane Fahrbetrieb des Kraftfahrzeugs im Zeitintervall der Aufnahme des Trainingsdatensatzes beschrieben wird bzw. Gesten des Verkehrspostens erkannt werden können. Beispielsweise kann der Trainingsdatensatz eine Videoaufnahme sein. Als Erfassungseinrichtung wird vorzugsweise wenigstens eine Kamera genutzt. Kameras können hochauflösende Bilddaten des Kraftfahrzeugumfelds bereitstellen, in denen ein Verkehrsposten bzw. dessen Gesten und Posen und weitere Verkehrsteilnehmer bzw. deren Fahrverhalten besonders einfach erkannt werden können. Ergänzend oder alternativ können beispielsweise Radarsensoren, Lidarsensoren, Ultraschallsensoren, Laserscanner oder Ähnliches genutzt werden. Die Erfassungseinrichtung kann auch mehrere gleiche oder unterschiedliche Sensoren umfassen, deren Sensordaten fusioniert werden. Das erläuterte Verfahren kann beispielsweise im Rahmen einer automatisierten Längs- und/oder Querführung des Kraftfahrzeugs genutzt werden. Diese Führung kann mit oder ohne Überwachung durch den Fahrer durchgeführt werden.

Die Fahranweisung kann durch Anwenden eines Verarbeitungsalgorithmus auf die Umgebungsdaten oder auf aus dem Umgebungsdaten ermittelte Verarbeitungsdaten ermittelt werden, wobei der Verarbeitungsalgorithmus durch mehrere Verarbeitungsparameter parametrisiert wird, die ermittelt werden, indem der Verarbeitungsalgorithmus durch den Trainingsdatensatz im Rahmen eines Maschinenlernens trainiert wird. Vorzugsweise werden im Rahmen des Maschinenlernens mehrere Trainingsdatensätze genutzt.

Die Trainingsdatensätze können durch die gleiche oder durch verschiedene Erfassungseinrichtungen erfasst werden und können verschiedene Verkehrsposten und/oder verschiedene Verkehrsteilnehmer und insbesondere deren Wechselwirkung zeigen, wie dies vorangehend erläutert wurde.

Der Verarbeitungsalgorithmus kann beispielsweise ein künstliches neurona- les Netz sein. Es kann ein sogenanntes„deep Iearning"-Verfahren zum Training des Verarbeitungsalgorithmus bzw. neuronalen Netzes genutzt werden. Das neuronale Netz kann ein mehrlagiges neuronales Netz sein, dessen „Neuronen" auf verschiedene Schichten verteilt sind. Ein derartiges„Neuron" kann derart implementiert sein, dass eine gewichtete Summe mehrerer Ein- gangswerte berechnet und insbesondere anschließend durch eine nichtlineare Funktion verarbeitet wird, um ein Schalten des„Neurons" bei bestimmten Eingangsreizen abzubilden. Im einfachsten Fall kann die nichtlineare Funktion eine Stufenfunktion sein. Ein mehrschichtiges neuronales Netz kann eine Eingangsschicht aufweisen, der die Umgebungsdaten bzw. die Verarbeitungsdaten zugeführt werden, und eine Ausgangsschicht, die als Ergebnis die Fahranweisung bereitstellt. Zwischen diesen Schichten können mehrere sogenannte Zwischenlagen vorgesehen sein, die Verarbeitungsergebnisse der Eingangsschicht oder anderer Zwischenlagen weiter verarbeiten, bevor sie der Ausgangsschicht zugeführt werden. Bei reinen „feed forward"-Netzen fließt die Information ausschließlich in eine Richtung von der Eingangsschicht zu der Ausgangsschicht zwischen den verschiedenen Schichten bzw. Lagen. Es ist jedoch auch möglich, Rückkoppelpfade vorzusehen.

Die Verarbeitungsparameter können insbesondere die Gewichte verschiedener Eingangsgrößen für die einzelnen„Neuronen" sein. Es kann sich bei dem Verarbeitungsalgorithmus insbesondere um ein sogenanntes subsymboli- sches System handeln, das heißt dem Verarbeitungsalgorithmus kann zwar ein berechenbares Verhalten antrainiert werden, der erlernte Lösungsweg ist aus den Verarbeitungsparametern jedoch typischerweise nicht ohne weiteres erkennbar. Verschiedene Ansätze zum Training von solchen Verarbeitungsalgorithmen sind im Stand der Technik, insbesondere aus dem Bereich der neuronalen Netze, bekannt und sollen nicht detailliert erläutert werden. Rein beispielhaft kann ein Verfahren verwendet werden, das als„backpropagation of error" oder auch als Fehlerrückführung bekannt ist. Es kann für jeden Trainingsda- tensatz für einen oder mehrere Verkehrsteilnehmer jeweils ein Fahrverhalten derart klassifiziert werden, dass eine voraussichtliche Fahranweisung ermittelt werden kann. Beispielsweise kann ermittelt werden, ob der Verkehrsteilnehmer steht, sich mit konstanter Geschwindigkeit bewegt, beschleunigt o- der bremst. Jede dieser Verhaltensklassen kann einer entsprechende Fahr- anweisung zugeordnet werden. Hierbei können insbesondere unterschiedlichen Fahranweisungen jeweils unterschiedliche Wahrscheinlichkeiten zugeordnet werden. Der Vektor dieser Wahrscheinlichkeiten kann als gewünschte Ausgabe des Verarbeitungsalgorithmus betrachtet werden. Nun können als Eingabemuster die Umgebungsdaten oder hieraus ermittelte Verarbeitungs- daten, beispielsweise eine abstrakte Beschreibung einer Geste und/oder Pose eines erkannten Verkehrspostens, zugeführt werden. Der Verarbeitungsalgorithmus kann hieraus nun wiederum Wahrscheinlichkeiten für verschiedene Fahranweisungen ermitteln und diese ermittelten Wahrscheinlichkeiten können mit der gewünschten Ausgabe verglichen werden. Der ermittelte Fehler kann anschießend rückpropagiert werden. Ein entsprechendes Vorgehen ist im Bereich der neuronalen Netzwerke bekannt und soll nicht detailliert erläutert werden. Für den Trainingsdatensatz kann eine Klassifikationsinformation ermittelt werden, durch die ein durch den im Trainingsdatensatz abgebildeten Verkehrsteilnehmer durchgeführtes Fahrmanöver und eine durch den im Trainingsdatensatz abgebildeten Verkehrsposten eingenommene Pose und/oder durchgeführte Geste klassifiziert werden, wobei die Fahranweisung in Ab- hängigkeit der Klassifikationsinformation ermittelt wird. Die Klassifikationsinformation kann insbesondere zum Training des Verarbeitungsalgorithmus genutzt werden. Insbesondere können die durchgeführten Fahrmanöver entsprechenden Fahranweisungen zugeordnet werden und somit als gewünschte Ausgabe im Rahmen des Maschinenlernens genutzt werden und die ein- genommene Pose und/oder durchgeführte Geste kann als Eingabemuster genutzt werden. Die Klassifikation der Pose bzw. Geste kann durch einen Vektor erfolgen, der einzelne Eigenschaften des Verkehrspostens beschreibt. Beispielsweise kann klassifiziert werden, ob der rechte bzw. linke Arm herabhängt, gewinkelt oder gestreckt ist, nach vorne oder seitlich vom Körper abragt, eine Schwingbewegung an der Schulter oder am Ellbogen oder am Handgelenk durchgeführt wird, eine Hand geöffnet oder geschlossen wird oder Ähnliches. Es ist auch möglich, dass der Verkehrsposten Signalmittel, beispielsweise Schilder oder Fahnen trägt. In diesem Fall kann eine Stellung bzw. eine Bewegung dieses Signalmittels ebenfalls erkannt und klassifiziert werden.

Das Fahrmanöver des Verkehrsteilnehmers und/oder die Pose und/oder Geste des Verkehrspostens kann durch einen Klassifizierungsalgorithmus klassifiziert werden, der durch mehrere Klassifikationsparameter parametri- siert wird, die ermittelt werden, indem der Klassifizierungsalgorithmus durch mehrere Anlerndatensätze im Rahmen eines Maschinenlernens trainiert wird. Die Anlerndatensätze können einerseits Erfassungsdaten, insbesondere Videodaten, umfassen, die den Verkehrsteilnehmer bzw. den Verkehrsposten zeigen. Andererseits kann für den Verkehrsposten bzw. den Ver- kehrsteilnehmer, vorzugsweise für jeden der Verkehrsteilnehmer, wenn mehrere Verkehrsthemen gezeigt sind, ein Klassifizierungsergebnis vorgegeben sein. Eine Vorgabe des Klassifizierungsergebnisses kann beispielsweise durch eine manuelle Klassifizierung durch einen Nutzer erfolgen.

Die Fahranweisung kann in Abhängigkeit wenigstens eines in den Umgebungsdaten und/oder in dem Trainingsdatensatz erkannten Infrastrukturelements ermittelt werden. Als Infrastrukturelemente können beispielsweise Lichtsignalanlagen, insbesondere inaktive Lichtsignalanlagen, Verkehrsschil- der, Fahrbahnmarkierungen, Fahrbahnen, Abzweigungen und Ähnliches erkannt werden. Die Erkennung von Infrastrukturelementen kann zur Verbesserung der Klassifizierung von Fahrmanövern eines Verkehrsteilnehmers in dem jeweiligen Trainingsdatensatz dienen. Es ist jedoch auch möglich, dass die erkannten Infrastrukturelemente von dem Verarbeitungsalgorithmus aus- gewertet werden. Hierbei kann die Erkennung von Infrastrukturelementen durch den Verarbeitungsalgorithmus selbst erfolgen, es ist jedoch auch eine Vorverarbeitung der Umgebungsdaten bzw. des jeweiligen Trainingsdatensatzes möglich, um beispielsweise vorhandene Infrastrukturelemente zu erkennen und/oder zu klassifizieren und entsprechende Informationen als Teil der Eingangsdaten des Verarbeitungsalgorithmus bereitzustellen. Das Vorhandensein, die Art und/oder die Position von Infrastrukturelementen im Fahrzeugumfeld kann somit beim Training des Verarbeitungsalgorithmus berücksichtigt werden, womit die durch Anwendung des Verarbeitungsalgorithmus ermittelte Fahranweisung hiervon abhängt.

Eine Berücksichtigung von Infrastrukturelementen ermöglicht es einerseits, die Auswirkung dieser auf die Fahrmanöver von Verkehrsteilnehmern zu berücksichtigen und andererseits zu berücksichtigen, dass in Abhängigkeit der Infrastruktursituation unterschiedliche Fahranweisungen verschieden wahr- scheinlich sind. Beispielsweise betreffen Fahranweisungen, wenn eine inaktive Lichtsignalanlage an einer Kreuzung erkannt wird, mit hoher Wahrscheinlichkeit eine Vorfahrtsregelung. Demgegenüber sind im Bereich von Baustellen auch Fahranweisungen wahrscheinlich, die zu einer Verlangsamung des Fahrzeugs und/oder zu einem Spurwechsel führen sollen. Die Fahranweisung kann ergänzend oder alternativ in Abhängigkeit von die Umgebung des Kraftfahrzeugs und/oder der weiteren Erfassungseinrichtung betreffenden digitalen Kartendaten ermittelt werden. Diese Abhängigkeit kann beispielsweise daraus resultieren, dass Fahrmanöver der Verkehrsteilnehmer in Abhängigkeit dieser Kartendaten klassifiziert werden und/oder daraus, dass die Kartendaten beim Training des Verarbeitungsalgorithmus mit berücksichtigt werden. Aus Kartendaten kann beispielsweise entnommen werden, ob der Verkehrsposten an einer Abzweigung, an einer Kreuzung oder auf offener Strecke steht. Dies beeinflusst die Wahrscheinlichkeit verschiedener Fahranweisungen. Zudem sind hierdurch die Fahrmöglichkeiten der erfassten Verkehrsteilnehmer eingeschränkt, was die Klassifizierung dieser Fahrmanöver erleichtert. Die Verarbeitungsparameter können insbesondere in Abhängigkeit von den jeweiligen Trainingsdatensätzen zugeordneten digitalen Kartendaten ermittelt werden, die die Umgebung der zur Aufnahme des jeweiligen Trainingsdatensatzes genutzten Erfassungseinrichtung, insbesondere zum Zeitpunkt der Erfassung, betreffen. Werden die Trainingsdatensätze beispielsweise zumin- dest teilweise durch die Erfassungseinrichtung des Kraftfahrzeugs selbst er- fasst, kann jeweils das unmittelbare Umfeld des Kraftfahrzeugs bei der Erfassung des jeweiligen Trainingsdatensatzes berücksichtigt werden. Das gleiche gilt bei einer Erfassung durch fahrzeugexterne Erfassungseinrichtungen bzw. Erfassungseinrichtungen anderer Kraftfahrzeuge.

Die Fahranweisung kann in Abhängigkeit von über eine Kommunikationseinrichtung des Kraftfahrzeugs empfangenen Kommunikationsdaten ermittelt werden. Die Kommunikationsdaten können beispielsweise über eine Fahr- zeug-zu-Fahrzeugkommunikation oder eine Fahrzeug-zu-lnfrastruktur- kommunikation empfangen werden. Bei den Kommunikationsdaten kann es sich um die obig erläuterten Kartendaten handeln. Es können jedoch auch Informationen über die Positionen einzelner Kraftfahrzeuge, über das Vorhandensein von Baustellen, Unfällen oder Ähnliches übertragen werden. Wird der Trainingsdatensatz bzw. werden die Trainingsdatensätze durch die Erfassungseinrichtung des Kraftfahrzeugs erfasst, können die Kommunikati- onsdaten oder hieraus ermittelte Daten mit dem Trainingsdatensatz weiterverarbeitet werden und beispielsweise im Rahmen des Trainings als Eingangsdaten des Verarbeitungsalgorithmus berücksichtigt werden. Zur Ermitt- lung der Fahranweisung kann der entsprechend parametrisierte Verarbeitungsalgorithmus anschließend auf die Umgebungsdaten bzw. die aus diesen ermittelten Verarbeitungsdaten und zusätzlich die Kommunikationsdaten oder die aus diesen ermittelten Daten angewandt werden. Daher können auch über eine Kommunikationseinrichtung empfangene Daten, die insbe- sondere das Umfeld des Kraftfahrzeugs betreffen können, bei der Ermittlung der Fahranweisung berücksichtigt werden.

Wie obig an zahlreichen Beispielen erläutert wurde, können Informationen aus verschiedenen Quellen genutzt werden, um Fahranweisungen zu ermit- teln bzw. die Verarbeitungsfunktion zu trainieren. Diese Informationen können beispielsweise gemeinsam als Eingangsdaten des trainierten Verarbeitungsalgorithmus genutzt werden bzw. auch zum Training des Verarbeitungsalgorithmus genutzt werden. Im erfindungsgemäßen Verfahren ist es vorteilhaft, wenn der Trainingsdatensatz oder die Trainingsdatensätze im normalen Fahrbetrieb des Kraftfahrzeugs ermittelt werden, da in diesem Fall ein stetiges Training stattfindet, womit die Verarbeitung beispielsweise an die unterschiedlichen, in verschiedenen Ländern von Verkehrsposten genutzten Zeichen angepasst werden kann. Beispielsweise kann während des normalen Fahrbetriebs dauerhaft eine Bilddatenerfassung erfolgen und Bilder oder Videos, die einen Verkehrsposten oder wenigstens einen Verkehrsteilnehmer abbilden, können als Trainingsdatensatz weiterverarbeitet werden. Es ist auch möglich, dass die Umgebungsdaten als weiterer Trainingsdatensatz genutzt werden, wobei durch die Erfassungseinrichtung zu einem späteren Zeitpunkt weitere Umgebungsdaten erfasst werden, wonach in Abhängigkeit der weiteren Umgebungsdaten und des weiteren Trainingsdatensatzes eine den Fahrbetrieb des Kraftfahrzeugs zu dem späteren Zeitpunkt be- treffende weitere Fahranweisung ermittelt wird, die durch die oder eine weitere Geste und/oder die oder eine weitere Pose des oder eines weiteren durch die weiteren Umgebungsdaten abgebildeten Verkehrspostens vorgegeben wird. Das Verfahren kann somit in einer Art Schleife durchlaufen werden, wobei die in einer aktuellen Fahrsituation erfassten Umgebungsdaten einerseits dazu dienen können, eine aktuelle Fahranweisung zu ermitteln, die durch die Geste und/oder Pose des Verkehrspostens vorgegeben wird, und andererseits dazu dienen können, die Ermittlung einer Fahranweisung zu einem späteren Zeitpunkt zu verbessern, beispielsweise indem die Umge- bungsdaten als Trainingsdatensatz zum Trainieren des Verarbeitungsalgorithmus genutzt werden.

Die weiteren Umgebungsdaten können an einer unterschiedlichen Position des Kraftfahrzeugs bzw. in einer anderen Fahrsituation erfasst werden. Es ist jedoch auch möglich, dass sie in relativ geringem zeitlichen und örtlichen Abstand erfasst werden. Beispielsweise können durch einen Verkehrsposten an einer Kreuzung jeweils nur einige Kraftfahrzeuge über die Kreuzung geleitet werden. Das Kraftfahrzeug kann somit während seiner Wartezeit erkennen, wie andere Fahrzeuge auf Posen und/oder Gesten des Verkehrspos- tens reagieren und entsprechende Reaktionen erlernen.

Wenigstens eine Fahrzeugeinrichtung des Kraftfahrzeugs kann in Abhängigkeit der Fahranweisung angesteuert werden, um einen die Fahranweisung betreffenden Hinweis an einen Nutzer auszugeben und/oder das Kraftfahr- zeug gemäß der Fahranweisung zu führen. Zur Führung des Kraftfahrzeugs kann wenigstens ein Aktor des Kraftfahrzeugs angesteuert werden, um in den Fahrbetrieb einzugreifen. Eine solche Führung des Kraftfahrzeugs in Abhängigkeit der Fahranweisung kann insbesondere im Rahmen eines zumindest teilautomatisierten Fahrbetriebs erfolgen, bei dem das Kraftfahrzeug die Quer- und Längsführung des Kraftfahrzeugs vollständig übernimmt. Insbesondere kann ein hoch- oder vollautomatisierter Fahrbetrieb erfolgen, bei dem keine durchgehende oder überhaupt keine Überwachung des Fahrbetriebs durch einen Fahrer erforderlich ist. Es ist hierbei möglich, dass trotz der guten mit dem erfindungsgemäßen Verfahren erreichbaren Erkennungs- quoten eine Fahranweisung eines Verkehrspostens nicht mit ausreichender Sicherheit erkannt werden kann. In diesem Fall ist es möglich, einen Fahrer zur Übernahme des Fahrbetriebs aufzufordern oder das Kraftfahrzeug in einen sicheren Zustand zu überführen, insbesondere anzuhalten oder am Streckenrand abzustellen.

Eine Hinweisgabe an einen Nutzer bezüglich der Fahranweisung kann akustisch, z. B. durch Sprachausgabe, optisch, z. B. durch Anzeige der Fahranweisung auf einer Anzeigeeinrichtung, oder haptisch, z. B. durch eine Ein- Stellung eines Pedalwiderstandes oder eine Vibration eines Lenkrades, erfolgen.

Neben dem erfindungsgemäßen Verfahren betrifft die Erfindung ein Kraftfahrzeug, umfassend eine Erfassungseinrichtung zur Erfassung von die Um- gebung des Kraftfahrzeugs betreffenden Umgebungsdaten und eine die Umgebungsdaten auswertende Verarbeitungseinrichtung, die zur Durchführung des erfindungsgemäßen Verfahrens eingerichtet ist. Die Verarbeitungseinrichtung kann ein Fahrerassistenzsystem sein, das insbesondere zur zumindest teilautomatisierten Führung des Kraftfahrzeugs eingerichtet ist. In die- sem Fall ist eine zumindest teilautomatisierte Führung des Kraftfahrzeugs möglich, bei der durch Gesten und/oder Posen eines Verkehrspostens gegebene Fahranweisungen berücksichtigt werden.

Weitere Vorteile und Einzelheiten der Erfindung ergeben sich aus den fol- genden Ausführungsbeispielen und den zugehörigen Zeichnungen. Hierbei zeigen schematisch:

Fig. 1 ein Ausführungsbeispiel eines erfindungsgemäßen Kraftfahrzeugs in einer Verkehrssituation, in der ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens durchführbar ist und/oder ein Trainingsdatensatz hierfür ermittelt werden kann, und

Fig. 2 ein Ablaufdiagramm eines Ausführungsbeispiels des erfindungsgemäßen Verfahrens. Fig. 1 zeigt ein Kraftfahrzeug 1 , das eine Erfassungseinrichtung 2 zur Erfassung von die Umgebung des Kraftfahrzeugs 1 betreffenden Umgebungsdaten und eine die Umgebungsdaten auswertende Verarbeitungseinrichtung 3 aufweist. Die Verarbeitungseinrichtung 3 kann dazu dienen, Fahrzeugeinrichtungen 4, 5 des Kraftfahrzeugs anzusteuern, um einem Nutzer über die Fahrzeugeinrichtung 4, einen Lautsprecher, Fahrhinweise zu geben, bzw. um, beispielsweise im Rahmen eines automatisierten Fahrbetriebs, über die Fahrzeugeinrichtung 5 in den Fahrbetrieb des Kraftfahrzeugs 1 einzugreifen.

In der gezeigten Fahrsituation nähert sich das Kraftfahrzeug 1 einer Kreuzung 6. Die Vorfahrt an der Kreuzung 6 wird üblicherweise durch die Lichtsignalanlage 7 geregelt, die jedoch momentan inaktiv ist. Daher erfolgt die Regelung des Verkehrs durch einen Verkehrsposten 8, beispielsweise einen Polizisten. Durch Wahl einer entsprechenden Pose oder Geste kann der Verkehrsposten 8 Fahranweisungen an das Kraftfahrzeug 1 und die weiteren Verkehrsteilnehmer 9, 10 geben. Hierbei können sich die verwendeten Gesten und Posen in verschiedenen Ländern voneinander unterscheiden. Wie im Folgenden noch detailliert dargestellt wird, ist die Verarbeitungseinrichtung 3 des Kraftfahrzeugs daher dazu eingerichtet, entsprechende Posen und Gesten dadurch zu erlernen, dass über die Erfassungseinrichtung 2 Trainingsdatensätze erfasst werden, die jeweils einen Verkehrsposten 8 und weitere Verkehrsteilnehmer 9, 10 abbilden. Diese Trainingsdatensätze können jeweils kurze Videosequenzen sein, um Bewegungen des Verkehrspostens 8 und der Verkehrsteilnehmer 9, 10 abzubilden. Aus dem Verhalten der Verkehrsteilnehmer 9, 10 kann erkannt werden, welche Fahranweisungen diese erhalten haben. Dies kann mit den erfassten Posen bzw. Gesten des Verkehrspostens korreliert werden, um zu erkennen, welche Fahranweisung welche Pose bzw. Geste für welchen Verkehrsteilnehmer bedeutet. Somit lernt die Verarbeitungseinrichtung 3 die verschiedenen genutzten Posen und Gesten und kann mithilfe dieses Wissens bei Erfassung eines Verkehrspostens 8 aus dessen Geste und/oder Pose eine Fahranweisung ermitteln. Anschließend kann die Verarbeitungseinrichtung 3 die Fahrzeugeinrichtung 5, einen Aktor, ansteuern, um gemäß der Fahranweisung in den Fahrbetrieb einzugreifen, und/oder sie kann über die Fahrzeugeinrichtung 4, einen Lautsprecher, einen eine Fahranweisung betreffenden Hinweis an den Fahrer ausgeben. Das Erlernen der Posen und Gesten bzw. die Nutzung dieses Wissens zur Ermittlung der Fahranweisung wird im Folgenden mit Bezug auf das in Fig. 2 gezeigte Ablaufdiagramm erläutert. Das gezeigte Verfahren lässt sich in drei Abschnitte untergliedern. Die Schritte S1 bis S3 betreffen das Trainieren eines Klassifizierungsalgorithmus, der dazu dient, die Verkehrsteilnehmer 9, 10 und den Verkehrsposten 8 in den über die Erfassungseinrichtung 2 er- fassten Umgebungsdaten bzw. in vorangehend erfassten Trainingsdatensätzen zu erkennen und zudem das Fahrverhalten der Kraftfahrzeuge und die Gesten bzw. Posen des Verkehrspostens zu klassifizieren. Verkehrsteilnehmer und Verkehrsposten können dazu zunächst vollständig unabhängig von- einander betrachtet werden. Die Verfahrensschritte S1 bis S3 können vorzugsweise unabhängig vom Kraftfahrzeug durchgeführt werden. Beispielsweise kann der Klassifizierungsalgorithmus durch den Fahrzeughersteller parametrisiert werden und die entsprechenden Klassifikationsparameter können bereits bei der Herstellung oder zu einem späteren Zeitpunkt, bei- spielsweise während einer Wartung des Kraftfahrzeugs 1 , in der Verarbeitungseinrichtung 3 gespeichert werden.

Der zweite Abschnitt des Verfahrens, der die Schritte S4 bis S6 umfasst, betrifft das Erlernen eines Zusammenhangs zwischen den erkannten Gesten und/oder Posen eines Verkehrspostens und dem Fahrverhalten von Verkehrsteilnehmern bzw. von Fahranweisungen, die diese Verkehrsteilnehmer befolgen. Wie bereits erwähnt, ist es vorteilhaft, wenn ein derartiger Lernpro- zess im Kraftfahrzeug 1 bzw. durch die Verarbeitungseinrichtung 3 selbst durchgeführt wird, da in diesem Fall das Kraftfahrzeug 1 dynamisch neue Gesten und Posen hinzulernen kann. Alternativ wäre es jedoch möglich, auch diese Schritte separat vom Kraftfahrzeug durchzuführen und einen entsprechend parametrisierten Verarbeitungsalgorithmus bereits bei der Herstellung oder im Rahmen einer Wartung in die Verarbeitungseinrichtung 3 zu speichern. In den Schritten S7 bis S10 wird schließlich ein Verkehrsposten durch eine Erfassungseinrichtung des Kraftfahrzeugs erfasst und mithilfe des vorangehend gelernten Wissens wird eine Fahranweisung erkannt, die dieser durch eine Geste und/oder Pose vermitteln möchte. Das Vorgehen wird im Folgenden im Detail dargestellt:

In einem Erfassungsschritt S1 werden mehrere Sätze von Videodaten erfasst, die jeweils einen Fahrbetrieb von Verkehrsteilnehmern und/oder einen Verkehrsposten in einer Pose und/oder der eine Geste durchführt, zeigen. Mithilfe dieser Videodaten wird im Folgenden ein Maschinenlernen durchgeführt, um einen Klassifizierungsalgorithmus zur Klassifikation von Fahrmanövern von Verkehrsteilnehmern und/oder Posen und/oder Gesten von Verkehrsposten zu parametrisieren. Prinzipiell wäre es auch möglich, separate Klassifizierungsalgorithmen zur Klassifikation der Fahrmanöver einerseits und der Posen und/oder Gesten andererseits zu nutzen und diese separat voneinander durch entsprechende Videodaten zu trainieren.

Es soll ein überwachtes Lernverfahren genutzt werden. Daher wird in dem Klassifikationsschritt S2 für die jeweiligen Videodaten zunächst ein gewünschtes Klassifikationsergebnis manuell festgelegt. Hierbei kann beispielsweise das Fahrmanöver derart klassifiziert werden, dass zwischen einem stehenden Kraftfahrzeug, einem konstant schnell fahrenden Kraftfahrzeug und einem Kraftfahrzeug, das seine Geschwindigkeit verringert aber weiterfährt, unterschieden wird. Die Längsführung des Kraftfahrzeugs kann weiter ausdifferenziert werden und/oder es kann zusätzlich die Querführung berücksichtigt werden. Bezüglich des Verkehrspostens kann die Klassifizierung einerseits die Ausrichtung des Verkehrspostens, insbesondere die Ausrichtung seines Rumpfes, seines Oberkörpers und/oder seines Kopfes, be- rücksichtigen, wobei beispielsweise mehrere Winkelsegmente bezüglich eines Verkehrsteilnehmers oder einer Blickrichtung der Erfassungseinrichtung definiert werden können. Beispielsweise kann zwischen einer Ausrichtung in Richtung des Verkehrsteilnehmers, entgegen der Ausrichtung des Verkehrsteilnehmers und senkrecht zu der Richtung des Verkehrsteilnehmers unter- schieden werden. Vorzugsweise wird zudem eine Arm- und Handstellung klassifiziert. Hierbei kann für den rechten und linken Arm jeweils klassifiziert werden, ob dieser Arm gestreckt oder gebeugt ist. Zudem kann eine Schulterstellung berücksichtigt werden, also ob der Arm nach vorne, zur Seite oder nach oben gestreckt ist oder herabhängt. Werden ausreichend hochauflösende Sensoren genutzt, kann auch eine Handstellung berücksichtigt werden. Zudem können insbesondere periodische Wechsel zwischen bestimmten Stellungen als Gesten klassifiziert werden. Bezüglich des in Fig. 1 abgebildeten Verkehrspostens 8 könnte beispielsweise klassifiziert werden, dass er in Richtung des Verkehrsteilnehmers 9 ausgerichtet ist, der Arm 1 1 nach vorne, also in Richtung des Verkehrsteilnehmers 9 gestreckt ist, die Hand 13 aufgerichtet ist, so dass die Handfläche dem Verkehrsteilnehmer 9 zugewiesen ist, und der linke Arm 12 seitlich weggestreckt ist, wobei, wie durch den Pfeil 15 angedeutet ist, durch ein regelmäßiges Knicken des Ellbogens eine Winkbewegung resultiert.

In einem Lernschritt S3 werden Klassifikationsparameter eines Klassifizierungsalgorithmus bestimmt, indem ein neuronales Netz derart trainiert wird, dass bei einer Zuführung des in Schritt S1 erfassten Videos als Eingangsdaten mit möglichst guter Exaktheit die in Schritt S2 manuell vorgegebenen Klassifizierungen als Ausgangsdaten resultieren. Hierzu können bekannte Verfahren des Maschinenlernens, insbesondere eine Fehlerrückführung, verwendet werden.

In dem Bereitstellungsschritt S4 werden eine Vielzahl von Trainingsdatensätzen bereitgestellt, bei denen es sich vorzugsweise um Videoaufnahmen handelt, die mit der Erfassungseinrichtung 2 aufgenommen wurden. Die Trainingsdatensätze zeigen jeweils einen Verkehrsposten 8 sowie wenigs- tens einen Verkehrsteilnehmer 9, 10. Die Trainingsdatensätze können im laufenden Fahrbetrieb des Kraftfahrzeugs erfasst werden.

In dem Klassifizierungsschritt S5 wird der in Schritt S3 trainierte Klassifizierungsalgorithmus auf jeden der Trainingsdatensätze angewandt, um den Verkehrsposten und den oder die Verkehrsteilnehmer in dem jeweiligen Trainingsdatensatz zu erkennen und, wie obig erläutert, zu klassifizieren. Jedem klassifizierten Fahrverhalten kann eindeutig eine bestimmte Fahranweisung oder eine Gruppe von Wahrscheinlichkeiten für verschiedene Fahr- anweisungen zugeordnet werden, die zu diesem Fahrverhalten führt oder führen.

In einem weiteren Maschinenlernschritt S6 liegt somit für jeden der Trainingsdatensätze ein Merkmalsvektor für die Pose bzw. Geste des Verkehrs- postens vor, der beispielsweise die obig erläuterten Merkmale bezüglich der Ausrichtung des Verkehrspostens und der Haltung und der Bewegung seiner Arme bzw. Hände umfasst. Zudem sind den einzelnen Verkehrsteilnehmern Fahranweisungen oder Wahrscheinlichkeitsverteilungen für verschiedene Fahranweisungen zugeordnet.

Mithilfe dieser Information kann ein Verarbeitungsalgorithmus, beispielsweise ein neuronales Netz, trainiert werden, der dazu dient, aus der erfassten Geste bzw. Pose eine Fahranweisung zu gewinnen. Hierzu kann beispielsweise, wie obig erläutert, ein überwachtes Lernverfahren durchgeführt werden, wo- bei die Fahranweisung bzw. die Wahrscheinlichkeitsverteilung der Fahranweisungen als gewünschte Ausgabe vorgegeben wird und der Merkmalsvektor zur Beschreibung der Pose und/oder Geste des Verkehrspostens als Eingangsgröße genutzt wird. Die Robustheit des Verarbeitungsalgorithmus kann weiter verbessert werden bzw. der Lernvorgang kann beschleunigt werden, wenn als zusätzliche Eingangsgrößen des Verarbeitungsalgorithmus sowohl bei dem Maschinenlernen als auch bei der späteren Nutzung des Verarbeitungsalgorithmus Zusatzdaten berücksichtigt werden, die Zusatzinformationen über die Fahrsitua- tion des Kraftfahrzeugs 1 bzw. der Verkehrsteilnehmer 9, 10 bereitstellen.

Beispielsweise kann auf der Verarbeitungseinrichtung 3 eine digitale Karte gespeichert sein, womit nach einer Positionsbestimmung für das Kraftfahrzeug 1 , beispielsweise über ein satellitenbasiertes Positionsbestimmungs- System, Kartenmaterial bezüglich der Umgebung des Kraftfahrzeugs 1 vorliegt. Hierdurch kann beispielsweise unterschieden werden, ob der Verkehrsposten 8 einen Verkehrsfluss auf einer Kreuzung, an einer Einmündung oder auf offener Strecke regelt.

Der Trainingsdatensatz bzw. bei späterer Verwendung des Verarbeitungsalgorithmus die Umgebungsdaten können zudem ausgewertet werden, um Infrastrukturelemente 7 zu erkennen. Das Vorhandensein und die Art der Infrastrukturelemente können somit als weitere Eingangsdaten des Verarbei- tungsalgorithmus genutzt werden.

Ergänzend ist es möglich, über die Kommunikationseinrichtung 16 des Kraftfahrzeugs Kommunikationsdaten zu erfassen, die beispielsweise über eine Fahrzeug-zu-Fahrzeugkommunikation weitere Informationen über die weite- ren Verkehrsteilnehmer 9, 10 bereitstellen können, und solche Kommunikationsdaten als weitere Eingangsdaten des Verarbeitungsalgorithmus zu nutzen.

Durch das Maschinenlernen werden die Verarbeitungsparameter des Verar- beitungsalgorithmus, also beispielsweise die Gewichte der gewichteten Summen, die in einzelnen„Neuronen" eines neuronalen Netzes berechnet werden, derart vorgegeben, dass für einen gegebenen Merkmalsvektor für die Pose bzw. Geste des Verkehrspostens 8 und optional die obig beschriebenen Zusatzinformationen mit möglichst geringem Fehler Fahranweisungen für die einzelnen Verkehrsteilnehmer 9, 10 ermittelt werden, die dem tatsächlich beobachteten Fahrverhalten der Verkehrsteilnehmer 9, 10 zuordenbar sind. Ein derart trainierter Verarbeitungsalgorithmus kann somit aus einem beobachteten Verhalten des Verkehrspostens, optional unter der Berücksichtigung von weiteren Informationen, die durch die Geste bzw. Pose dieses Verkehrspostens gegebene Fahranweisung ermitteln.

In dem Erfassungsschritt S7 werden durch die Erfassungseinrichtung 2 die Umgebung des Kraftfahrzeugs 1 betreffende Umgebungsdaten ermittelt. Diese bilden den Verkehrsposten 8 ab. Anschließend werden im Klassifizie- rungsschritt S8 die Geste und/oder Pose des Verkehrspostens 8 klassifiziert, wie dies bereits zu Schritt S5 erläutert wurde. Der resultierende Merkmals- vektor wird im Verarbeitungsschritt S9 durch den in Schritt S6 parametrisier- ten Verarbeitungsalgorithmus, also beispielsweise durch ein entsprechend parametrisiertes neuronales Netz, ausgewertet, um eine Fahranweisung zu ermitteln. Hierbei können, wie zu Schritt S6 erläutert wurde, Zusatzinformationen wie beispielsweise das Vorhandensein der Infrastruktureinrichtung 7, die Kreuzung 6 abbildende digitale Kartendaten oder über die Kommunikationseinrichtung 16 empfangene Kommunikationsdaten berücksichtigt werden.

In Schritt S10 steuert die Verarbeitungseinrichtung 3 die Fahrzeugeinrichtung 5, beispielsweise einen Aktor, an, um den Fahrbetrieb des Kraftfahrzeugs 1 gemäß der ermittelten Fahranweisung anzupassen. Alternativ oder ergänzend kann die Fahranweisung über die Fahrzeugeinrichtung 4, einen Laut- Sprecher, ausgegeben werden.

Um ein kontinuierliches weiteres Training der Verarbeitungsfunktion bzw. der Ermittlung der Fahranweisungen zu ermöglichen, werden die Schritte S4 bis S6 wiederholt, wobei die zuletzt erfassten Umgebungsdaten als zusätzliche Trainingsdaten mitberücksichtigt werden. Spätere Ermittlungen von Fahranweisungen erfolgen somit auch in Abhängigkeit dieser weiteren Trainingsdaten bzw. der vorangehend erfassten Umgebungsdaten.