Die Erfindung betrifft ein Verfahren zum Zuordnen einer Ampel zu einer Fahrspur sowie ein Fahrzeug und ein Speichermedium zum Ausführen eines solchen Verfahrens.

Ampeln werden in vielen Fällen eingesetzt, um den Verkehr zu regeln. Dabei können Ampeln auch in einer Weise eingesetzt werden, dass eine Ampel nur für eine bestimmte Fahrspur gilt, insbesondere wenn mehrere Fahrspuren nebeneinander angeordnet sind. Derartige Ampeln werden typischerweise unmittelbar über den Fahrspuren aufgehängt.

Es existieren Algorithmen, die in Einzelbildern oder Bildfolgen Ampeln sowie deren aktuelle Phase erkennen. Unter einer Phase ist dabei insbesondere zu verstehen, welches Licht oder welche Farbe gerade aufleuchtet. Typischerweise sind dies rot, gelb und grün. Nach der Detektion von Ampeln sowie deren aktueller Phase besteht das nächste Problem in der Bestimmung der für das eigene Fahrzeug bzw. Ego-Fahrzeug relevanten Ampel bzw. der allgemeinen Zuordnung von Ampeln zu Fahrspuren. Dies wird gemäß dem Stand der Technik beispielsweise mit regelbasierten Verfahren durchgeführt, welche beispielsweise auf einer Position der Ampel und/oder einer Reihenfolge basieren. Ein weiteres Problem besteht darin, dass für eine auf der Ampeldetektion aufbauende Funktion der zeitliche Verlauf der Phasenfolge bekannt sein sollte, zum Beispiel die genaue zeitliche Abfolge grün-gelb-rot . Diese Information ist typischerweise rein kamerabasiert aus einer Einzelfahrt nicht verfügbar, da die Schaltzeiten von Ampel zu Ampel unterschiedlich sein können und daher keine sichere Prädiktion möglich ist. Über ein Backend bzw. eine Fahrzeug-zu-X-Kommunikation kann ein zweiter Kanal für Ampelinformationen realisiert werden, welcher auch eine mögliche Prädiktion der AmpelschaltZeitpunkte in der Zukunft ermöglicht. Allerdings ist die erhaltene Information zum einen zeitlich unsicher, da unklar ist, wann eine Schaltung rot-gelb-grün ausgelöst wird (zum Beispiel durch einen Fußgänger, einen Bus oder ein Einsatzfahrzeug) , und da die Kom ^¬ munikation mit erheblichen Latenzzeiten behaftet sein kann. Es ist deshalb eine Aufgabe der Erfindung, ein Verfahren vorzusehen, welches im Vergleich zum Stand der Technik alternativ ausgeführt ist, beispielsweise eines oder mehrere der genannten Probleme löst. Es ist des Weiteren eine Aufgabe der Erfindung, ein Fahrzeug vorzusehen, welches dazu konfiguriert ist, ein solches Verfahren auszuführen. Außerdem ist es eine Aufgabe der Erfindung, ein Speichermedium vorzusehen, welches Programmcode enthält, bei dessen Ausführung ein Prozessor ein solches Verfahren ausführt. Dies wird erfindungsgemäß durch ein Verfahren nach Anspruch 1, ein Fahrzeug nach Anspruch 13 und ein nichtflüchtiges compu ^¬ terlesbares Speichermedium nach Anspruch 15 erreicht. Vorteilhafte Ausgestaltungen können beispielsweise den jeweiligen Unteransprüchen entnommen werden. Der Inhalt der Ansprüche wird durch ausdrückliche Inbezugnahme zum Inhalt der Beschreibung gemacht .

Die Erfindung betrifft ein Verfahren zum Zuordnen einer Ampel zu einer Fahrspur, welches folgende Schritte aufweist:

- Aufnehmen einer Bildfolge von der Ampel,

Erkennen einer Phasenfolge der Ampel in der Bildfolge, Vergleichen der erkannten Phasenfolge mit Phasendaten, wobei die Phasendaten eine Anzahl erwarteter Phasenfolgen für jeweilige Fahrspuren beinhalten, und Zuordnen der Ampel zu einer Fahrspur, wenn die erkannte Phasenfolge mit einer für diese Fahrspur erwarteten Phasenfolge übereinstimmt. Mittels des erfindungsgemäßen Verfahrens ist in vorteilhafter Weise eine zuverlässige Zuordnung einer Ampel zu einer Fahrspur möglich. Hierzu kann auf die Phasendaten zurückgegriffen werden, wobei erkannte Phasenfolgen den Daten zugeordnet werden können. Eine Phasenfolge kann insbesondere einen Übergang zwischen zwei oder drei beleuchteten Flächen und/oder Farben der Ampel beinhalten. Typischerweise handelt es sich dabei um die Farben rot, gelb und grün, welche durch unterschiedliche beleuchtete Flächen bzw. Lampen realisiert sind.

Eine Phasenfolge kann insbesondere eine Zeitdauer aufweisen, für welche eine beleuchtete Fläche und/oder eine Farbe der Ampel aufleuchtet. Dies kann die Zuordnung erleichtern, da derartige Zeitdauern typischerweise gut erkannt und verglichen werden können.

Eine Phasenfolge kann insbesondere eine Uhrzeit aufweisen, zu welcher eine beleuchtete Fläche und/oder eine Farbe der Ampel eingeschaltet wird oder ausgeschaltet wird. Auch dies kann eine besonders genaue und zuverlässige Zuordnung ermöglichen.

Die Phasendaten können gemäß einer Ausführung in einer fahrzeuginternen Datenbank gespeichert sein. Die Phasendaten der fahrzeuginternen Datenbank können insbesondere aus vorher erkannten Phasendaten gebildet sein. Dadurch kann ein Fahrzeug sich selbst seine eigene Datenbank mit Phasendaten aufbauen.

Gemäß einer weiteren Ausführung, welche alternativ zur eben beschriebenen Ausführung sein kann oder auch mit dieser kom- biniert werden kann, können die Phasendaten mittels Fahr- zeug-zu-X-Kommunikation oder mittels einer anderen Funkkommunikation erhalten werden. Dies erlaubt eine Versorgung von Fahrzeugen mit Phasendaten über Funkkommunikation, was laufende Aktualisierungen und Abgleichsoperationen durch eine Zentralstelle ermöglicht.

Die Phasendaten jeder Ampel können insbesondere mit einer Fahrspur verknüpft sein. Dies ermöglicht eine genaue Zuordnung der jeweiligen Fahrspur zu einer Ampel und umgekehrt.

Bei der Bildfolge kann es sich insbesondere um eine Bildfolge einer Mehrzahl von Ampeln handeln, wobei eine jeweilige Phasenfolge für jede der Ampeln erkannt wird, und wobei eine Anzahl der Ampeln oder jede der Ampeln einer jeweiligen Fahrspur zugeordnet werden. Dadurch kann eine Zuordnung mehrerer Ampeln zu jeweiligen Fahrspuren, wie sie typischerweise bei mehrspurigen Straßen vorkommen, in vorteilhafter Weise erreicht werden .

Gemäß einer vorteilhaften Ausführung weist das Verfahren ferner folgenden Schritt auf:

Erkennen, dass zumindest eine erwartete Phasenfolge der Phasendaten mit keiner erkannten Phasenfolge überein- stimmt, und

darauf ansprechend Feststellen, dass eine zu der erwarteten Phasenfolge zugeordnete Ampel nicht erkannt oder nicht aufgenommen wurde. Damit können beispielsweise Fehler im Erkennungssystem oder in den Phasenfolgen erkannt werden.

Gemäß einer vorteilhaften Ausführung weist das Verfahren ferner folgenden Schritt auf: Voraussagen einer künftigen Ampelphase einer Ampel basierend auf der erkannten Ampelphase und der erwarteten Ampelphase . Die Bildfolge kann insbesondere mittels einer Kamera aufgenommen werden. Es kann jedoch grundsätzlich auch die Bildfolge durch andere Kommunikationswege aufgenommen werden, beispielsweise kann die Ampel entsprechende Signale aussenden, welche das Fahrzeug erkennen kann. Dabei kann es sich beispielsweise um Fahrzeug-zu-X-Nachrichten handeln.

Die Erfindung betrifft des Weiteren ein Fahrzeug, welches dazu konfiguriert ist, ein Verfahren gemäß der Erfindung auszuführen. Dabei kann auf alle hierin beschriebenen Ausführungen und Varianten zurückgegriffen werden.

Das Fahrzeug kann bevorzugt ferner dazu konfiguriert sein, eine jeweilige Zuordnung einer Ampel zu einer Fahrspur einem Fahrer des Fahrzeugs anzuzeigen und/oder für eine autonome Fahr- zeugsteuerung zu verwenden. Dies entspricht einer typischen Verwendung der durch das erfindungsgemäße Verfahren erhaltenen Information .

Die Erfindung betrifft des Weiteren ein nichtflüchtiges com- puterlesbares Speichermedium, welches Programmcode enthält, bei dessen Ausführung ein Prozessor ein erfindungsgemäßes Verfahren ausführt. Dabei kann auf alle hierin beschriebenen Ausführungen und Varianten zurückgegriffen werden. Es kann davon gesprochen werden, dass die beispielsweise über Backend- bzw. Fahrzeug-zu-X-Kommunikation bereitgestellten Informationen so mit den kamerabasierten Informationen verbunden werden können, dass aus Sicht einer ADAS/AD-Funktion ein Mehrwert erzeugt werden kann. Eine Möglichkeit besteht darin, die Zuordnung der von der Kamera detektierten Ampeln zum Ego-Fahrzeug bzw. zum Fahrstreifen zu verbessern, indem die SchaltZeitpunkte der Ampeln berücksichtigt werden. So werden zum Beispiel zum aktuellen Zeitpunkt tO zwei Ampeln und zwei Fahrstreifen A und B detektiert, die zum Zeitpunkt tO beide grün sind. Über das Backend wird die Information erhalten, dass die Ampel für Fahrstreifen A zum (zukünftigen) Zeitpunkt tl auf gelb schaltet, während die Ampel für Fahr ^¬ streifen B zunächst grün bleibt. Wenn die Kamera zur Zeit tl detektiert, dass eine der zwei Ampeln auf gelb schaltet, kann sie diese sicher dem Fahrstreifen A zuordnen.

Insbesondere kann der zeitliche Verlauf auch in wenig eindeutigen Situationen für eine Verbesserung der Zuordnung verwendet werden. So können zum Beispiel drei Ampeln 1, 2 und 3 für die zwei Fahrstreifen A und B detektiert werden, womit eine eindeutige Zuordnung nicht mehr möglich ist. Wird jedoch zum Zeitpunkt tl detektiert, dass die zwei Ampeln 1 und 2 auf gelb schalten, können beide Ampeldetektionen dem Fahrstreifen A zugeordnet werden.

Ebenso kann erkannt werden, ob eine Ampel nicht detektiert werden konnte. Wenn zum Beispiel nur eine Ampel detektiert wurde, die zum Zeitpunkt tl ihre Phase nicht ändert, kann mit einer gewissen Wahrscheinlichkeit davon ausgegangen werden, dass die Ampel für den Fahrstreifen A nicht detektiert wurde.

Neben der Bereitstellung über ein Backend bzw. eine Fahr- zeug-zu-X-Kommunikation kann auch eine Datenbank im Fahrzeug aufgebaut werden, welche typische Schaltzeiten und Schalt- Zeitpunkte für regelmäßig befahrene Stammstrecken enthält.

Ein weiterer Vorteil kann nach erfolgter Zuordnung der kamerabasierten Detektionen zu dem vom Backend erhaltenen Informationen über die zeitlichen Phasenverläufe erhalten werden, da bei den vom Backend erhaltenen Daten zwar eine hohe Sicherheit über den zeitlichen Verlauf nach erfolgter Schaltung besteht (zum Beispiel ist genau klar, dass die Gelbphase fünf Sekunden dauert) , aber es besteht eine Rest-Unsicherheit, wann genau die Schaltfolge eingeleitet wird. Nachdem mit der Kamera erkannt wurde, dass eine Ampel auf gelb geschaltet hat, ist sicher, dass die Schaltung eingeleitet wurde. In Kombination mit den Ba- ckend-Informationen kann dann mit großer Sicherheit der zukünftige Verlauf der Ampelphasen vorhergesagt werden, was rein kamerabasiert nicht möglich ist.

Weitere Merkmale und Vorteile wird der Fachmann dem nachfolgend mit Bezug auf die beigefügte Zeichnung beschriebenen Ausführungsbeispiel entnehmen. Dabei zeigt:

Fig. 1: eine Situation, in welcher das erfindungsgemäße

Verfahren durchgeführt werden kann.

Fig. 1 zeigt schematisch eine Straße 1, welche eine rechte Fahrspur 5 und eine linke Fahrspur 6 aufweist. Über der rechten Fahrspur 5 ist eine erste Ampel 15 aufgehängt. Über der linken Fahrspur 6 ist eine zweite Ampel 16 aufgehängt. Die beiden Ampeln 15, 16 sind als normale Verkehrsampeln mit den drei Farben rot, gelb und grün ausgebildet. Sie sperren jeweils nur diejenige Fahrspur, über welcher sie aufgehängt sind, bzw. geben diese frei.

Auf der rechten Fahrspur 5 fährt ein Fahrzeug 10, welches hier lediglich schematisch dargestellt ist. Das Fahrzeug 10 weist eine Kamera 12 und ein Fahrzeug-zu-X-Kommunikationsmodul 13 auf. Mittels der Kamera 12 kann das Fahrzeug 10 die beiden Ampeln 15, 16 erfassen und dabei auch erkennen, in welcher Phase sich die Ampeln 15, 16 gerade befinden. Insbesondere kann dabei erkannt werden, welche Farbe bzw. welche Fläche der jeweiligen Ampel 15, 16 gerade leuchtet. Auch Umschaltzeiten können entsprechend erkannt werden. Daraus können Phasenfolgen ermittelt werden.

Über das Fahrzeug-zu-X-Kommunikationsmodul 13 kann das Fahrzeug 10 Phasendaten von einem nicht gezeigten zentralen Server empfangen, wobei diese Phasendaten unter anderem angeben, zu welchen Zeiten die beiden Ampeln 15, 16 eine jeweilige Phase einnehmen bzw. ihre Phase wechseln sollen. Derartige Daten können als erwartete Phasenfolge bezeichnet werden. Wird eine solche Phase bzw. ein Phasenwechsel mittels durch die Kamera 12 aufgenommener Bilder erkannt, so kann eine entsprechende Zu ^¬ ordnung erfolgen. Anders ausgedrückt erkennt das Fahrzeug 10 anhand einer Übereinstimmung von mittels der Kamera 12 erkannten Phasendaten und über das Fahrzeug-zu-X-Kommunikationsmodul 13 erkannten Phasendaten, dass eine Ampel 15, 16 einer jeweiligen Fahrspur 5, 6 zugeordnet ist. Entsprechende Zuordnungsinfor ^¬ mationen sind hierzu in den über Fahrzeug-zu-X-Kommunikation erhaltenen Phasendaten enthalten. Es sei verstanden, dass dieses Ausführungsbeispiel lediglich schematisch ist und grundsätzlich alle weiter oben beschriebenen Ausführungen und Varianten des erfindungsgemäßen Verfahrens verwendet werden können. Allgemein sei darauf hingewiesen, dass unter Fahrzeug-zu-X-Kommunikation insbesondere eine direkte Kommunikation zwischen Fahrzeugen und/oder zwischen Fahrzeugen und Infrastruktureinrichtungen verstanden wird. Beispielsweise kann es sich also um Fahrzeug-zu-Fahrzeug-Kommunikation oder um Fahrzeug-zu-Infrastruktur-Kommunikation handeln. Sofern im Rahmen dieser Anmeldung auf eine Kommunikation zwischen Fahrzeugen Bezug genommen wird, so kann diese grundsätzlich beispielsweise im Rahmen einer Fahr- zeug-zu-Fahrzeug-Kommunikation erfolgen, welche typischerweise ohne Vermittlung durch ein Mobilfunknetz oder eine ähnliche externe Infrastruktur erfolgt und welche deshalb von anderen Lösungen, welche beispielsweise auf ein Mobilfunknetz aufbauen, abzugrenzen ist. Beispielsweise kann eine Fahr- zeug-zu-X-Kommunikation unter Verwendung der Standards IEEE 802.11p oder IEEE 1609.4 erfolgen. Eine Fahr- zeug-zu-X-Kommunikation kann auch als C2X-Kommunikation bezeichnet werden. Die Teilbereiche können als C2C (Car-to-Car) oder C2I (Car-to-Infrastructure) bezeichnet werden. Die Er- findung schließt jedoch Fahrzeug-zu-X-Kommunikation mit Vermittlung beispielsweise über ein Mobilfunknetz explizit nicht aus .

Erwähnte Schritte des erfindungsgemäßen Verfahrens können in der angegebenen Reihenfolge ausgeführt werden. Sie können jedoch auch in einer anderen Reihenfolge ausgeführt werden. Das erfindungsgemäße Verfahren kann in einer seiner Ausführungen, beispielsweise mit einer bestimmten Zusammenstellung von Schritten, in der Weise ausgeführt werden, dass keine weiteren Schritte ausgeführt werden. Es können jedoch grundsätzlich auch weitere Schritte ausgeführt werden, auch solche welche nicht erwähnt sind.

Die zur Anmeldung gehörigen Ansprüche stellen keinen Verzicht auf die Erzielung weitergehenden Schutzes dar.

Sofern sich im Laufe des Verfahrens herausstellt, dass ein Merkmal oder eine Gruppe von Merkmalen nicht zwingend nötig ist, so wird anmelderseitig bereits jetzt eine Formulierung zumindest eines unabhängigen Anspruchs angestrebt, welcher das Merkmal oder die Gruppe von Merkmalen nicht mehr aufweist. Hierbei kann es sich beispielsweise um eine Unterkombination eines am Anmeldetag vorliegenden Anspruchs oder um eine durch weitere Merkmale eingeschränkte Unterkombination eines am Anmeldetag vorliegenden Anspruchs handeln. Derartige neu zu formulierende Ansprüche oder Merkmalskombinationen sind als von der Offenbarung dieser Anmeldung mit abgedeckt zu verstehen.

Es sei ferner darauf hingewiesen, dass Ausgestaltungen, Merkmale und Varianten der Erfindung, welche in den verschiedenen Ausführungen oder Ausführungsbeispielen beschriebenen und/oder in den Figuren gezeigt sind, beliebig untereinander kombinierbar sind. Einzelne oder mehrere Merkmale sind beliebig gegeneinander austauschbar. Hieraus entstehende Merkmalskombinationen sind als von der Offenbarung dieser Anmeldung mit abgedeckt zu verstehen .

Rückbezüge in abhängigen Ansprüchen sind nicht als ein Verzicht auf die Erzielung eines selbständigen, gegenständlichen Schutzes für die Merkmale der rückbezogenen Unteransprüche zu verstehen. Diese Merkmale können auch beliebig mit anderen Merkmalen kombiniert werden.

Merkmale, die lediglich in der Beschreibung offenbart sind oder Merkmale, welche in der Beschreibung oder in einem Anspruch nur in Verbindung mit anderen Merkmalen offenbart sind, können grundsätzlich von eigenständiger erfindungswesentlicher Bedeutung sein. Sie können deshalb auch einzeln zur Abgrenzung vom Stand der Technik in Ansprüche aufgenommen werden.