Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Erkennen von Bodensymbolen für Fahrzeuge und findet insbesondere bei Fahrerassistenzfunktionen und -Systemen Anwendung.

Eine kamerabasierte Erkennung von Verkehrsschildern ist grundsätzlich Stand der Technik. Die kamerabasierte Erkennung von Lichtzeichen- bzw. Ampelanlagen und deren Signalen ist Gegenstand aktueller Forschung und Entwicklung. Für ein vollständigeres Verständnis von Fahrsituationen und Ver ^¬ kehrsregelungen, insbesondere im Urbanen Raum, ist die Erkennung von Bodensymbolen eine weitere Herausforderung, nicht zuletzt auf dem Weg zum automatisierten Fahren.

Es ist eine Aufgabe der vorliegenden Erfindung, die Erkennung von Bodensymbolen durch Umgebungserfassungssensoren zu verbessern bzw. in manchen Situationen überhaupt erst zu ermöglichen.

Eine Grundüberlegung, auf der die vorliegende Erfindung aufbaut, ist die Beobachtung, dass Bodensymbole häufig in Städten, insbesondere vor Kreuzungen mit Ampelanlagen, verwendet werden, dort aber zum Teil von anderen Verkehrsteilnehmern verdeckt sein können. Ein vorausfahrendes Fahrzeug, das teilweise über einem Bodensymbol steht oder gerade fährt macht es für den Fahrer wie für einen im oder am Fahrzeug angeordneten Umgebungserfas- sungssensor unmöglich, den Regelungsgehalt dieses Bodensymbols zu ermitteln.

Unter einem Bodensymbol ist insbesondere eine auf die Ver ^¬ kehrsfläche bzw. Fahrbahnoberfläche aufgebrachte Symbolisierung zu verstehen. Bodensymbole dienen oftmals als Ergänzung zu Verkehrszeichen und sollen zu einem korrekten und voraus- schauenden Fahren im Straßenverkehr beitragen. Ein typischer Vertreter der Bodensymbole sind Richtungspfeile. Beispielsweise ist der Richtungspfeil ein auf einer Abbiegerspur signali ^¬ sierender Abbiegerpfeil oder ein Richtungspfeil, welcher die korrekte Fahrtrichtung der entsprechenden Fahrbahn oder Fahrspur aufzeigt. Bodensymbole sollen dem Fahrzeugführer die Orientierung erleichtern und sicheres Fahren unterstützen. So sollen z. B. Richtungspfeile mit dem Zeichen 297 der deutschen Straßenverkehrsordnung (StVO) dem Fahrzeugführer ein recht- zeitiges Einordnen auf die für ihn richtige Fahrspur empfehlen.

Weitere Bodensymbole sind beispielsweise auf die Fahrbahn aufgebrachte Sonderzeichen oder Buchstabenfolgen, z. B. die Aufschrift „STOP" oder ein dem„Vorfahrt Achten" Verkehrszeichen entsprechendes Dreieck, dessen Spitze nach unten zeigt. Auch Haltelinien können als eine spezielle Art von Bodensymbolen aufgefasst werden.

Ein erfindungsgemäßes Verfahren zum Erkennen von Bodensymbolen mittels eines optischen bzw. bildgebenden Umgebungserfas ^¬ sungssensors eines Fahrzeugs umfasst die folgenden Schritte: eine Folge von Bildern wird mittels des bildgebenden Umgebungserfassungssensors während einer Bewegung des Fahrzeugs aufgenommen;

aus Scanbereichen von Bildern aus der Bilderfolge wird ein zusammengesetztes Bild eines Bodenbereichs der Umgebung zu ^¬ sammengesetzt wird;

eine Erkennung des Bodensymbols erfolgt aus dem zusam ^¬ mengesetzten Bild des Bodenbereichs; und

das erkannte Bodensymbol bzw. eine Information hinsichtlich des erkannten Bodensymbols wird ausgegeben.

Als bildgebender Umgebungserfassungssensor kann eine im Inneren des Fahrzeugs angeordnete, durch die Windschutzscheibe blickende Mono- oder Stereokamera, eine am Frontbereich des Fahrzeugs angeordnete Kamera eines Rundumsichtsensorsystems (Surround View oder auch Top View) oder ein abbildendes Lasersystem verwendet werden.

Mittels des bildgebenden Umgebungserfassungssensors kann ein Abbild einer Umgebung und eines Bodenbereichs in der Umgebung des Fahrzeugs aufgenommen werden. Insbesondere kann der Umge ^¬ bungserfassungssensor im Wesentlichen vorwärtsgerichtet sein, die optische Achse im Wesentlichen horizontal und/oder weniger als 20°, insbesondere weniger als 45° gegenüber der Horizontalen geneigt sein. Der bildgebende Umgebungserfassungssensor kann vorzugsweise im Bereich der Windschutzscheibe, der Kühlerhaube, des Frontstoßfängers oder der Motorhaube angeordnet sein.

Während einer Bewegung des Fahrzeugs bedeutet insbesondere, dass zumindest von zwei unterschiedlichen Positionen des eigenen Fahrzeugs und damit zwei unterschiedlichen Positionen des (fahrzeugfesten) bildgebenden Umgebungserfassungssensors Bilder aufgenommen werden. Das schließt natürlich nicht aus, dass mittels des bildgebenden Umgebungserfassungssensors auch während des Stillstands des eigenen Fahrzeugs Bilder aufgenommen werden . Vorteilhaft wird das Verfahren nur bei teilweiser Verdeckung eines Bodensymbols eingesetzt, wenn also der Umgebungserfas ^¬ sungssensor nicht das vollständige Bodensymbol abbilden kann, weil es teilweise von einem Objekt verdeckt ist. Als Scanbereich dient ein Ausschnitt (dieser kann auch als Region of Interest bezeichnet werden) eines Bildes, das vom bildgebenden Umgebungserfassungssensor aufgenommen wird. Dieser Scanbereich kann vorteilhaft hinsichtlich Größe bzw. Erstreckung und Po- sition im Erfassungsbereich des Umgebungserfassungssensors im Rahmen des Verfahrens bestimmt und vorgegeben werden.

Größe und/oder Position des Scanbereichs innerhalb des Er ^¬ fassungsbereichs des Umgebungserfassungssensors können vor- zugsweise derart definiert werden, dass keine Verdeckung in ^¬ nerhalb eines Scanbereichs auftritt.

Es kann ein konstanter Scanbereich in Bildern der Bilderfolge verwendet werden. Alternativ kann der Scanbereich hinsichtlich Größe und/oder Position bei Bildern der Bilderfolge angepasst werden.

Vorzugsweise kann eine Anpassung derart erfolgen, dass die Größe (und /oder die Position) des Scanbereichs von der Geschwindigkeit des eigenen Fahrzeugs abhängt. Bevorzugt werden die einzelnen Scanbereiche transformiert in ein ortsfestes oder in ein fahrzeugfestes Koordinatensystem und das zusammengesetzte Bild wird in diesem Koordinatensystem aus den Scanbereichen zusammengesetzt. Dadurch kann vorteilhaft eine perspektivische Verzerrung von Bildern des Umgebungserfas- sungssensors eliminiert werden.

Vorteilhaft werden Bilder mit Scanbereichen der Bilderfolge derart ausgewählt, dass aus den Scanbereichen ein lückenloses Bild des Bodenbereichs mit dem Bodensymbol zusammengesetzt werden kann. Die Auswahl berücksichtigt vorteilhaft einen oder mehrere der folgenden Parameter: Größe und/oder Position der Scanbereiche in den Bildern der Bilderfolge, die Aufnahme ^¬ zeitpunkte der Bilder der Bilderfolge, die Bewegung des Um ^¬ gebungserfassungssensor zwischen den Aufnahmezeitpunkten und die Relativbewegung des verdeckenden Objekts.

Eine Ausgabe des erkannten Bodensymbols bzw. einer Information hinsichtlich des erkannten Bodensymbols kann insbesondere dadurch erfolgen, dass der Regelungsgehalt des Bodensymbols ausgegeben wird, z.B. „Geradeauspfeil" oder „STOP". Die Ausgabe kann an ein Fahrerassistenzsystem erfolgen, wie z.B. Kreuzungsassistenten, Vorfahrtsassistenten, Ampelassistenten; an ein System zur Routenführungsunterstützung oder Navigations- System; an eine Telematikeinrichtung (Vehicle to X) oder an ein Steuergerät für ein autonom fahrendes Fahrzeug.

In einer besonderen Ausführungsform werden Fahrspurbegrenzungsmarkierungen (z.B. durchgezogene, gestrichelte oder aus Bott's Dots gebildete Linien) nicht als zu erkennende Boden ^¬ symbole im Sinne des Verfahrens berücksichtigt. Mit anderen Worten sind bei dieser Ausführungsform Fahrspurbegrenzungs ^¬ markierungen keine Bodensymbole. Das Verfahren kann sich auf Bodenbereiche innerhalb von Fahrspuren beschränken. Bei dieser Ausführungsform steht die Erkennung von punktuell regelnden Bodensymbolen im Fokus.

Vorteilhaft ist oder umfasst der bildgebende Umgebungserfas- sungssensor eine Monokamera. Dies kann eine Frontkamera hinter der Windschutzscheibe sein, die in Fahrtrichtung durch die Windschutzscheibe blickt. In diesem Fall wird der Bereich des Bodens unmittelbar vor dem eigenen Fahrzeug wird nicht abge ^¬ bildet, da die Motorhaube des Fahrzeugs diesen verdeckt. Mit einer solchen Kamera können vorteilhaft Daten für weitere Fahrerassistenzfunktionen bereitgestellt werden.

Bevorzugt ist oder umfasst der bildgebende Umgebungserfas- sungssensor eine Stereokamera ist. Diese bietet insbesondere den Vorteil, dass durch die 3D-Erfassung die Eigengeschwindigkeit, die Distanz zu einem verdeckenden Objekt, dessen Geschwindigkeit präzise durch die Stereokamera ermittelt werden kann.

Gemäß einem vorteilhaften Ausführungsbeispiel ist oder umfasst der bildgebende Umgebungserfassungssensor mindestens eine Kamera eines Rundumsichtsensorsystems (Surround View System oder Top View System) . Durch die Einbauposition ermöglicht die Kamera des Rundumsichtsensorsystems die Abbildung des Bereichs des Bodens unmittelbar vor (neben oder hinter) dem eigenen Fahrzeug.

Bevorzugt kann der bildgebende Umgebungserfassungssensor ein bildgebendes Lasersensorsystem sein. Dies bietet ebenfalls den Vorteil einer präzisen 3D-Erfassung der Fahrzeugumgebung. Optional kann ein weiterer Umgebungserfassungssensorsensor, insbesondere ein Radar-/Lidarsensor den Abstand und fakultativ auch die Relativgeschwindigkeit zu einem verdeckenden Objekt messen. Somit kann die Größe und/oder Position des Scanbereichs innerhalb des Erfassungsbereichs des bildgebenden Umgebungs- erfassungssensors angepasst werden an den Abstand und ggfs. auch die Relativbewegung des verdeckenden Objekts.

Ein weiterer Gegenstand der Erfindung ist eine Vorrichtung zum Erkennen von Bodensymbolen mittels eines bildgebenden Umge- bungserfassungssensors eines Fahrzeugs, die eine entsprechend ausgebildete Steuer- und Auswertungseinheit umfasst.

Im Folgenden werden Ausführungsbeispiele der Erfindung und Fig. beschrieben und erläutert.

Dabei zeigen:

Fig. 1 eine Situation, in der ein vorausliegendes Bodensymbol von einem vorausfahrenden Fahrzeug teilweise verdeckt ist, und Fig. 2 schematisch das Zusammensetzen eines zusammengesetzten Bildes eines Bodenbereichs mit einem Bodensymbol aus mehreren Scanbereichen, die einer Folge von Bildern entnommen wurden.

Die Fig. 1 zeigt beispielhaft eine Situation, die insbesondere in Urbanen Räumen häufig vorkommt. Der Fahrer eines Fahrzeugs (1) kann ein vorausliegendes Bodensymbol (3) nicht erkennen, da es zum großen Teil (30) von einem vorausfahrenden Fahrzeug (4) verdeckt ist. Insbesondere auf einer von mehreren Spuren vor einer Ampelanlage kommt es vor, dass das vorausfahrende Fahrzeug (4) teilweise über dem Bodensymbol (3) steht. Entsprechend kann auch ein in Fahrtrichtung die Umgebung des (eigenen) Fahrzeugs (1) erfassender bildgebender Umgebungserfassungssensor (2), also z.B. eine Kamera, das Bodensymbol nicht vollständig er ^¬ fassen, bzw. das Bodensymbol aus einem Bild der Kamera nicht erkannt werden. Die Kenntnis des vollständigen Bodensymbols (3) könnte für den Fahrer des Fahrzeugs (1) entscheidend sein, um auf einer mehrspurigen Straße vor einer Kreuzung zu wissen, ob er sich auf der richtigen Fahrspur eingeordnet hat, je nachdem ob das Bodensymbol (3) ein Links-, Rechts- und/oder Geradeauspfeil ist.

Die in Fig. 1 dargestellte Kamera als bildgebender Umge ^¬ bungserfassungssensor (2) verfügt über den gepunktet dargestellten Erfassungsbereich (20) . Da die Kamera im Bereich der Windschutzscheibe im Inneren des eigenen Fahrzeugs (1) ange- ordnet ist, kann sie den Boden erst ab einer Linie (21; ge ^¬ strichelt mit kurzen Strichen dargestellt) erfassen. Den Boden links von dieser Linie (21) in Fig. 1 verdeckt die Motorhaube des eigenen Fahrzeugs (1) . Ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens kann wie folgt ablaufen:

Mit einer Kamera als bildgebendem Umgebungserfassungssensor (2) werden Bilder der Fahrzeugumgebung aufgenommen.

Wenn in einem Bild mittels einer Bilddatenverarbeitung bzw. Objekterkennung ein potentielles Bodensymbol (3 ohne den ge ^¬ punktet dargestellten Teil 30) ermittelt wird, das aber nicht erkannt werden kann, und ein das vollständige Bodensymbol möglicherweise verdeckendes Objekt bzw. Fahrzeug (4) ermittelt wird, wird ein Scanprozess gestartet.

Wenn also die Kamerabilddatenverarbeitung wie in Fig. 1 erkennt, dass ein Symbol (3) auf der Fahrbahn vorliegt, das teilweise verdeckt ist (30), kann folgendermaßen vorgegangen werden:

Es wird ein Scanbereich (22, gestrichelt mit langen Strichen dargestellt) im Erfassungsbereich (20) der Kamera (2) definiert, der einen Bodenbereich vor dem eigenen Fahrzeug (1) abbildet, der nicht von einem darüber befindlichen Objekt bzw. Fahrzeug (4) verdeckt ist.

Die Größe des Scanbereichs (22) und/oder die Position des Scanbereichs innerhalb des Erfassungsbereichs (20) kann aus der Bilddatenverarbeitung bzw. Objekterkennung derart definiert werden, dass der Abstand zum verdeckenden Objekt (4), die Bodenerfassungslinie der Kamera (21), eine erwartete Breite des Bodensymbols (3) und/oder weitere Gegebenheiten berücksichtigt werden.

Der Inhalt des Scanbereichs (22; 22.1), also die Bilddaten des entsprechenden Bildbereichs des aufgenommenen Bildes der Fahrzeugumgebung, werden zwischengespeichert.

Es wird eine Folge von Bildern während der Weiterfahrt des eigenen Fahrzeugs (1) mit der Kamera (2) aufgenommen. Von nachfolgend aufgenommenen Bildern wird der Inhalt weiterer Scanbereiche (22; 22.2 bis 22.6) zwischengespeichert.

Vorteilhaft können die weiteren Scanbereiche (22; 22.2 bis 22.6) daraufhin untersucht werden, ob darin bereits ein Endstück eines potentiellen Bodensymbols (3) enthalten ist, z.B. eine Pfeilspitze oder abschließende Kante. Falls dies der Fall ist, kann mit dem Zusammensetzen eines zusammengesetzten Bildes aus zwischengespeicherten Scanbereichen (22; 22.1 bis 22.6) begonnen werden . Fig. 2 zeigt schematisch das Zusammensetzen eines Bildes des Bodensymbols, das in Fig. 1 verdeckt war, aus sechs zwi ^¬ schengespeicherten Scanbereichen (22.1 bis 22.6).

Aus dem zusammengesetzten Bild kann das Bodensymbol (3) erkannt bzw. dessen Regelungsgehalt ermittelt (z.B. klassifiziert) werden .

Eine Information hinsichtlich des erkannten Bodensymbols (3) wird ausgegeben. Beispielsweise kann an einen Ampelassistenten die Information ausgegeben werden, dass sich das eigene Fahrzeug (1) auf einer Geradeausspur befindet.

Der bzw. die Scanbereich (e) (22; 22.1 bis 22.6) können fol ^¬ gendermaßen definiert werden:

a) Ein aus dem ersten Bild definierter Scanbereich (22; 22.1) kann hinsichtlich Größe und Position innerhalb des Erfassungsbereichs (20) der Kamera (2) konstant gehalten werden;

b) Die Größe des Scanbereichs (22; 22.2 bis 22.6) kann in nachfolgenden Bildern variiert werden;

c) Alternativ oder kumulativ kann die Position des Scanbereichs (22; 22.2 bis 22.6) innerhalb des Erfassungsbereichs (20) der Kamera (2) in nachfolgenden Bildern angepasst werden .

In nachfolgend aufgenommenen Bildern kann also der Scanbereich (22; 22.2 bis 22.6) optional angepasst werden an die Ge ^¬ schwindigkeit und/oder Bewegungsdaten (Gier-/ Nick-/ Rollwinkel und -rate) des eigenen Fahrzeugs (1) . Vorteilhaft kann eine Bewegung des verdeckenden Objekts (4) berücksichtigt werden, damit der Scanbereich (22) eine unverdeckte Abbildung des Bodenbereichs enthält. Ein weiterer Aspekt betrifft die Auswahl von Bildern aus der Bilderfolge, deren Scanbereich (22; 22.2 bis 22.6) beim Zusammensetzen verwendet werden soll. Die Auswahl sollte vorteilhaft zeitliche Intervalle zwischen den Aufnahmezeitpunkten von Bildern der Bilderfolge und die Eigengeschwindigkeit des eigenen Fahrzeugs (1) berücksichtigen.

Eine Möglichkeit ist, dass die Scanbereiche (22; 22.1 bis 22.6) in allen Bildern gleich groß definiert sind und aus Bildern der Bildfolge derart ausgewählt werden, dass sie einen exakt oder in etwa gleichen Abstand zueinander aufweisen, der kleiner ist, als die Größe des Scanbereichs (22 ; 22.1 bis 22.6) in dieser Richtung . Ein Beispiel soll dies illustrieren: erfolgt die Aufnahme eines Bildes alle 40ms und beträgt die Eigengeschwindigkeit des eigenen Fahrzeugs (1) konstant 36 km/h, so verschiebt sich der Scan- bereich (22; 22.1 bis 22.6) von einem Bild zum folgenden in Fahrtrichtung um 0,4m. Bei einer Erstreckung des Scanbereichs (22; 22.1 bis 22.6) in Fahrtrichtung von einem Meter, wäre es folglich ausreichend, aus jedem zweiten Bild einen Scanbereich bzw. dessen Inhalt zwischenzuspeichern, um eine Überlappung der Scanbereiche von jeweils 0,2m zu gewährleisten.

Es muss also nicht zwingend für jedes aufgenommene Bild der Bilderfolge ein Scanbereich (22; 22.1 bis 22.6) ausgewertet werden, dies kann abhängig von der Geschwindigkeit bzw. Ei- genbewegung des eigenen Fahrzeugs (1) und der Bildaufnahmerate der Kamera (2) angepasst werden.

Dies ermöglicht sogar im Falle unterschiedlicher zeitlicher Intervalle zwischen der Aufnahme aufeinander folgender Bilder und sich ändernder Eigengeschwindigkeit des eigenen Fahrzeugs (1) eine Anpassung der Auswahl der (nachfolgenden) Bilder bzw. Scanbereiche (20; 20.2 bis 20.6) aus der Bilderfolge. Unter Berücksichtigung der Eigenbewegung des eigenen Fahrzeugs (1), der Größe des Scanbereichs (22), und der Bildaufnahmerate kann beispielsweise prädiziert werden, aus welchem nachfolgend aufgenommenen Bild der Bilderfolge der nächste Scanbereich ausgewertet wird.

Vorteilhaft ergeben die Scanbereiche (22.1 bis 22.6) zusam ^¬ mengesetzt ein vollständiges bzw. lückenloses Bild des un- verdeckten Bodenbereichs, in dem sich das Bodensymbol (3) befindet. Dies ist der Fall beim zusammengesetzten Bild nach Fig. 2.

Aus den einander überlappenden Scanbereichen (22; 22.1 bis 22.6) von einzelnen Bildern der Bilderfolge kann somit ein zusammengesetztes Bild des Bodenbereichs der Umgebung erstellt werden. Diese Vorgehensweise ähnelt dem Prinzip einer Zei ^¬ lenkamera .

Die sechs in Fig. 2 dargestellten Abbildungen (22.1 bis 22.6) des Scanbereichs (22) der Kamera (2) konnten z.B. bei einer Wei- terfahrt des eigenen Fahrzeugs mit konstanter Geschwindigkeit aufgenommen werden. Durch Zusammensetzen dieser Abbildungen (22.1 bis 22.6) unter Berücksichtigung der vom eigenen Fahrzeug zurückgelegten Entfernung zwischen den Aufnahmen der sechs Bilder mit diesen Scanbereichen (22.1 bis 22.6) wird ein zu- sammengesetztes Bild ermittelt, welches das vollständige Bo ^¬ densymbol (3) enthält. Anhand dieses zusammengesetzten Bildes kann mittels einer Bildverarbeitung das Bodensymbol (3) als Geradeauspfeil erkannt bzw. interpretiert werden, obwohl der Geradeauspfeil zu keinem Zeitpunkt für die Kamera (2) als Ganzes erfassbar war. So können auch bei schwierigsten Bedingungen (dichter Verkehr, geringe Sichtweite) Bodensymbole erkannt werden. Bei der Festlegung bzw. Definition der Größe des Scanbereichs (22) kann vorteilhaft die Geschwindigkeit des eigenen Fahrzeugs (2) berücksichtigt werden, da sonst bei höheren Geschwindigkeiten möglicherweise Lücken im zusammengesetzten Bild entstehen könnten. Eine Koppelung mit einer Objekterkennung bzw. mit einem Radarsensor könnte an dieser Stelle auch vorteilhaft sein, um den Abstand zu einem vorausfahrenden Fahrzeug (4) zu messen und den Scanbereich daran anpassen zu können. Eine Option für die Definition des Scanbereichs ist somit, dessen Größe zu variieren in Abhängigkeit von Geschwindigkeit und Abstand zu vorraus- fahrenden Fahrzeugen. Schließlich sollte bevorzugt der Scan- bereich (22) in jedem Bild frei von Verdeckungen durch das vorausfahrende Fahrzeug (4) sein. Alternativ kann hierzu bei einem (teil-) autonom fahrenden eigenen Fahrzeug (1) die Geschwindigkeit derart begrenzt werden, dass sich das eigene Fahrzeug (1) nicht schneller als ein vorausfahrendes Fahrzeug (4) bewegt. Dies ist vergleichbar einer Stop & Go Abstandsregelung (ACC) bereits heute realisierbar.

Die Akkumulierung der Bilder bzw. der Scanbereiche (22.1 bis 22.6) kann insbesondere in einer weltfesten Karte oder in einer fahrzeugfesten Karte erfolgen, um die Abbildungseigenschaften der Kamera (2) zu berücksichtigen bzw. der perspektivischen Verzerrung entgegenzuwirken.