Verfahren und Vorrichtung zur kamerabasierten Verkehrszeichenerkennung in einem Kraftfahrzeug

In vielen Kraftfahrzeugen ist eine Verkehrs Zeichenerkennung mittels einer Kamera vorgesehen, welche Bilder eines in Fahrtrichtung vor dem Kraftfahrzeug liegenden Verkehrsraums aufnimmt . Die von der Kamera aufgenommenen Bilder werden mittels eines Computers und entsprechender Software analysiert, und Verkehrszeichen werden per Mustererkennung in den Bildern erkannt . Inhalte von erkannten Verkehrszeichen werden extrahiert und die extrahierten Informationen werden einem Fahrer angezeigt oder in ein Fahrerunterstützungssystem übernommen . Insbesondere werden Informationen über Geschwindigkeitsbegrenzungen angezeigt, um dem Fahrer eine weitere Möglichkeit zu geben diese wahrzunehmen für den Fall, dass der Fahrer ein entsprechendes Verkehrszeichen übersehen hat. Die Erkennung von Verkehrszeichen mittels einer Kamera und einer automatischen Bildauswertung hat gegenüber einer Anzeige von Verkehrszeichen aus einer Datenbank und entsprechender Positionsbestimmung des Fahrzeugs den Vorteil, dass temporär aufgestellte Verkehrszeichen, beispielsweise in Baustellen, stets berücksichtigt werden können, während dies bei daten ^¬ bankgestützten Systemen von der Aktualisierungsfreguenz der Datenbank abhängig ist.

An der Rückseite einiger Fahrzeuge, insbesondere bei LKW und Bussen, aber auch an Wohnanhängern, sind häufig Aufkleber in Form von eine Geschwindigkeitsbegrenzung signalisierenden Verkehrszeichen angebracht, die den nachfolgenden Verkehr über eine für dieses Fahrzeug geltende Höchstgeschwindigkeit informieren sollen. Unter den eine Geschwindigkeitsbegrenzung signali- sierenden Verkehrszeichen sind auch verkleinerte Abbilder von Ortseingangstafeln, die eine Verbundenheit des Fahrzeughalters mit einem Ort anzeigen sollen. All diese "Verkehrszeichen" können von der Verkehrszeichenerkennung erkannt werden und zumindest eine daraus resultierende Verkehrsempfehlung oder -beschränkung kann einem Fahrer fälschlicherweise angezeigt oder sogar von einem Fahrerunterstützungssystem zur automatischen Beeinflussung der gefahrenen Route oder der Geschwindigkeit verwendet werden. Eine solche Falscherkennung erfolgt besonders bei Kolonnenfahrten oder Überholvorgängen, weil dann der das Verkehrszeichen darstellende Aufkleber frontal vor oder seitlich von dem Kraftfahrzeug erkannt wird, also von der Kamera gut erfasst werden kann und in ein übliches Schema für Aufstellorte von Verkehrszeichen passt.

Technisches Problem

Es ist eine Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur kamerabasierten Verkehrs Zeichenerkennung anzugeben .

Technische Lösung

Diese Aufgabe wird durch das in Anspruch 1 angegebene Verfahren und die in Anspruch 8 angegebene Vorrichtung gelöst . Vorteilhafte Ausgestaltungen und Weiterentwicklungen des Verfahrens und der Vorrichtung sind in den jeweiligen abhängigen Ansprüchen angegeben .

Das erfindungsgemäße Verfahren und die erfindungsgemäße Vor ^¬ richtung für eine verbesserte Verkehrs Zeichenerkennung sehen vor, neben der bekannten Erkennung von Verkehrszeichen eine von einem Geschwindigkeitsmesser bereitgestellte Information über die aktuelle Fahrzeuggeschwindigkeit für eine Plausibili- tätsprüfung der Erkennung zu nutzen.

Die Erfindung nutzt die Erkenntnis, dass gültige Verkehrszeichen in der Regel ortsfest angebracht sind oder, falls sie bei ^¬ spielsweise an einem Fahrzeug der Straßenmeisterei angebracht sind, welches eine Kontrollfahrt auf einer Straße durchführt, sich nur mit sehr geringer Geschwindigkeit bewegen. Ein ein Verkehrszeichen darstellender Aufkleber an einem Fahrzeug, beispielsweise an einem LKW, wird mit sich mit einer deutlich höheren Geschwindigkeit bewegen, z.B. auf Autobahnen mit der für LKW geltenden Höchstgeschwindigkeit von 80 km/h.

Ein erfindungsgemäßes Verfahren zur kamerabasierten Verkehrszeichenerkennung umfasst das Aufnehmen mindestens eines Bildes eines vor einem Fahrzeug befindlichen Raumes mit einer Kamera und das Durchführen einer Mustererkennung zur Erkennung von Verkehrszeichen in dem mindestens einen aufgenommenen Bild. Erfindungsgemäß wird, nach der Erkennung eines Verkehrszeichens in einem ersten Bild und gegebenenfalls nach einer erfolgreichen Mustererkennung eine Folge weiterer Bilder des vor dem Fahrzeug befindlichen Raumes mit der Kamera aufgenommen, und das in dem ersten Bild erkannte Verkehrszeichen in der Folge der weiteren Bilder verfolgt .

Unter Verfolgung ist hierbei das Wiedererkennen desselben Verkehrszeichens und das Feststellen einer jeweiligen Position des wiedererkannten Verkehrszeichens in den jeweiligen weiteren Bildern zu verstehen. Hierbei kann es genügen, das Verkehrszeichen als solches zu erkennen, ohne durch das Verkehrszeichen vermittelte Information zu extrahieren, wenn die Information bereits bei der ersten Erkennung sicher extrahiert wurde. Durch den Verzicht auf die Extraktion der Information kann die benötigte Rechenleistung reduziert werden. Eine Plausibili- tätsprüfung, ob es sich bei dem verfolgten Verkehrszeichen tatsächlich um das zuvor erkannte Verkehrszeichen handelt kann erfolgen, beispielsweise, wenn sich das Verkehrszeichen nicht an einer erwarteten Position in einem nachfolgenden Bild befindet, oder eine andere Grundform und/oder -färbe hat. Die Plausi- bilitätsprüfung kann auch mit unterschiedlichen Parametern oder Verfahren erfolgen, je nachdem wie viele Verkehrszeichen in dem von der Kamera aufgenommenen Bild nahe beieinander liegen, insbesondere wenn es sich dabei um sich ähnelnde Verkehrszeichen handelt. Sich ähnelnde Verkehrszeichen können beispielsweise ähnliche Grundformen und/oder ähnliche Farbkombinationen aufweisen . Aus der Größenänderung und/oder Verschiebung einer Position des erkannten und verfolgten Verkehrszeichens in den jeweiligen Bildern über die Folge der weiteren Bilder wird ein erster Geschwindigkeitswert ermittelt der angibt, mit welcher Ge ^¬ schwindigkeit das erkannte und verfolgte Verkehrszeichen auf die Kamera zukommt und/oder an der Kamera vorbeizieht. Dabei wird ausgenutzt, dass Objekte im Aufnahmebereich einer Kamera bei unveränderter Brennweite bei Annäherung zunehmend größer in aufeinanderfolgenden Bildern abgebildet sind. Der Ausdruck „aufeinanderfolgende Bilder" bezieht sich hierbei auf diejenigen aufeinanderfolgenden Bilder, die der Bildbearbeitung zum Zwecke der Verkehrszeichenerkennung zugeführt werden . Außerdem wird ein außerhalb einer geraden Blickrichtung der Kamera angeordnetes Objekt in einer Folge von Bildern bei Annäherung an das Objekt seine Position innerhalb der jeweiligen Bilder ändern. Wenn eine Kamera mehr Bilder pro Zeiteinheit liefert, als zum Zwecke der erfindungsgemäßen Verkehrszeichenerkennung erforderlich sind, kann von den tatsächlich aufgenommenen Bildern nur eine Auswahl verwendet werden, während andere Bilder nicht verwendet werden.

Unter der allgemein zulässigen Annahme, dass das Verkehrszeichen seine Größe nicht ändert kann also aus der Größenveränderung über die Zeit in der Bilderreihe eine Annäherungsgeschwindigkeit ermittelt werden. Außerdem wird ein Verkehrszeichen in der Regel nicht so auf einer Fahrspur einer Straße angebracht sein, dass ein Fahrzeug frontal darauf zufährt, es sei denn, dass die Fahrspur vor dem Verkehrszeichen endet oder nach links oder rechts abbiegt. Dementsprechend verändert ein Verkehrszeichen seine Position bei Annäherung des Kraftfahrzeugs in aufeinanderfolgenden Bildern einer in Fahrtrichtung nach vorne orientierten Kamera. Die Position des Verkehrszeichens wird sich, ausgehend von der ersten Position, an der es erkannt wurde, und bei unveränderter Fahrtrichtung, zu den Seiten hin und/oder nach oben bzw. unten im Bildausschnitt verschieben. Aus der Veränderung der Position des erkannten und verfolgten Verkehrszeichens kann, bei bekannten und unveränderten Eigenschaften der Kamera und der Optik, ebenfalls eine Geschwindigkeit ermittelt werden. Die beiden Möglichkeiten, aus dem in der Folge der Bilder verfolgten Verkehrszeichen einen Geschwindig- keitswert zu ermitteln können natürlich auch kombiniert werden, um eine höhere Genauigkeit zu erzielen.

Der erste Geschwindigkeitswert wird dann mit einem zweiten, von einem Geschwindigkeitsmesser des Kraftfahrzeugs bereitgestellten Geschwindigkeitswert verglichen, der eine Fahrge ^¬ schwindigkeit des Kraftfahrzeugs repräsentiert. Der Ge ^¬ schwindigkeitsmesser funktioniert dabei unabhängig von der Kamera. Wenn eine Differenz aus erstem und zweitem Geschwindigkeitswert unter einem Schwellwert liegt, wird das Ver ^¬ kehrszeichen oder daraus extrahierte Information dem Fahrer oder dem Fahrerunterstützungssystem signalisiert. Anderenfalls wird das Verkehrszeichen als nicht zuverlässig erkannt verworfen und daraus extrahierte Information wird nicht signalisiert oder verwendet, weil das Verkehrszeichen nicht ortsfest war und mit hoher Wahrscheinlichkeit an einem anderen Fahrzeug angebracht war. Alternativ zum Verwerfen kann ein Hinweis auf ein nicht sicher erkanntes Verkehrszeichen erfolgen, damit der Fahrer anhand der gegenwärtigen Verkehrs Situation oder der Umgebung selbst entscheiden kann, ob er möglicherweise ein Verkehrs ^¬ zeichen übersehen hat.

Bei einer Ausführung des erfindungsgemäßen Verfahrens wird der zweite Geschwindigkeitswert über einen Datenbus des Fahrzeugs bereitgestellt. Beispielsweise kann eine Geschwindigkeitsin ^¬ formation über einen CAN-Bus bereitgestellt werden, ähnlich wie bei einer geschwindigkeitsabhängigen Lautstärkeregelung für ein Autoradio. Die Verbindung zu dem Datenbus kann dabei über Kabel oder drahtlos, z.B. gemäß IEEE 802.15.1 (Bluetooth) erfolgen.

Der zweite Geschwindigkeitswert kann beispielsweise aus Daten eines oder mehrerer Drehzahlsensoren an einem Fahrzeuggetriebe oder an einem oder mehreren Rädern oder Antriebswellen ermittelt werden, oder auch aus Daten eines Satellitennavigationssystems ermittelt werden. Kombinationen der unterschiedlichen Quellen von Daten zur Ermittlung des zweiten Geschwindigkeitswerts sind natürlich ebenfalls denkbar. Bei einer Ausgestaltung des Erfindungsgemäßen Verfahrens erfolgt das Aufnehmen weiterer Bilder mit einer festen Bildrate. Der Begriff Bildrate bezieht sich in diesem Zusammenhang auf die Anzahl von Bildern pro Zeiteinheit . Hierdurch ist es möglich, die Bestimmung des ersten Geschwindigkeitswerts nur von der Größenoder Positionsänderung des erkannten und verfolgten Verkehrszeichens sowie festen Parametern der Kamera und der Optik abhängig zu machen. Allerdings ist bei dieser Ausgestaltung die Genauigkeit der Bestimmung des ersten Geschwindigkeitswerts wird bei niedrigen Geschwindigkeiten des Kraftfahrzeugs höher als bei hohen Geschwindigkeiten, weil die Veränderung der Größe oder der Position eines erkannten und verfolgten Verkehrszeichens zwischen zwei Bildern kleiner ist als bei hohen Geschwindigkeiten des Kraftfahrzeugs. Außerdem kann, insbesondere bei einer eher geringen Bildrate, bei einer großen Positionsveränderung zwischen zwei aufeinander folgenden Bildern die Verfolgung des erkannten Verkehrszeichens bei höheren Geschwindigkeiten schwierig werden oder es kann vermehrt zu Fehlern bei der Verfolgung kommen.

Der Schwellwert für die Differenz zwischen dem ersten und dem zweiten Geschwindigkeitswert kann so gewählt sein, dass die geringere Genauigkeit der Geschwindigkeitsschätzung aus den Kamerabildern gegenüber dem Geschwindigkeitsmesser des Fahrzeugs zu berücksichtigt wird. So kann beispielsweise ein Schwellwert oder Toleranzwert so gewählt sein, dass eine langsame Ortsveränderung von Verkehrszeichen als gültig angesehen wird. Derartige langsame Ortsveränderungen kommen z.B. vor, wenn an der Rückseite eines langsam fahrenden Kontrollfahrzeugs einer Straßenmeisterei ein Verkehrszeichen angebracht ist, um die Geschwindigkeit zu regeln oder eine Fahrspur vorzugeben.

Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens ist der Schwellwert für die Differenz zwischen dem ersten und dem zweiten Geschwindigkeitswert von dem zweiten Geschwindigkeitswert abhängig. So kann beispielsweise bei einer festen Bildrate einer bei höheren Geschwindigkeiten geringeren Genauigkeit der Be- Stimmung des ersten Geschwindigkeitswerts Rechnung getragen werden .

Bei einer Ausgestaltung des Erfindungsgemäßen Verfahrens erfolgt das Aufnehmen weiterer Bilder mit einer von dem zweiten Geschwindigkeit swert abhängigen Bildrate. Die Bildrate kann bei niedrigen Geschwindigkeiten kleiner sein als bei hohen Geschwindigkeiten. Dadurch kann sichergestellt werden, dass die Veränderungen der Größe oder der Position des erkannten und verfolgten Verkehrszeichens in zwei aufeinanderfolgenden Bildern innerhalb eines begrenzten Bereichs bleiben. Dies kann zu einer Vereinfachung und Beschleunigung der Wiedererkennung des Verkehrszeichens im jeweils nächsten Bild führen, weil der bei der Wiedererkennung zu durchsuchende Bildbereich enger eingegrenzt werden kann und eine Vorhersage der zu erwartenden Größe und Position aufgrund eines einfacher mathematisch zu beschreibenden Zusammenhangs vereinfacht wird. Die Bildrate kann alternativ oder zusätzlich von anderen, nachfolgend beschriebenen Faktoren abhängig verändert werden, um etwa die Veränderungen des Bildinhalts in aufeinanderfolgenden Bildern gering zu halten.

Die Veränderung der Bildrate kann dabei durch tatsächliches Anpassen der Bildrate in der Kamera erfolgen. Wenn die Kamera jedoch keine Einstellung der Bildrate ermöglicht oder bei ^¬ spielsweise zur Erledigung anderer Aufgaben mit einer höheren Bildrate betrieben werden muss, als es für die Verkehrszei ^¬ chenerkennung erforderlich wäre, kann eine Veränderung der Bildrate auch durch Verwendung nur jedes n-ten Bildes für die Zwecke der Verkehrszeichenerkennung erfolgen, also durch Weglassen von Bildern bei der Bildverarbeitung. Die Veränderung der Bildrate kann dabei im Wesentlichen kontinuierlich mit der Geschwindigkeit erfolgen, oder auch in diskreten Stufen für Geschwindigkeitsbereiche .

Eine geringere Bildrate bei niedrigen Geschwindigkeiten benötigt weniger Ressourcen bei der Bildverarbeitung, die dadurch für andere Zwecke frei werden. So kann bei niedrigeren Geschwin- digkeiten frei werdende Rechenleistung z.B. für eine verbesserte Fußgänger- oder Ob ekterkennung verwendet werden, wenn man eine höhere Wahrscheinlichkeit für die Gegenwart von Fußgängern oder für den Fahrer eines Kraftfahrzeugs relevanten Objekten in Verkehrsräumen annimmt, in denen geringere Geschwindigkeiten gefahren werden.

Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens wird zusätzlich zu dem zweiten Geschwindigkeitswert ein Lenkwinkel, also eine von einer Stellung einer Lenkeinrichtung des

Kraftfahrzeugs abhängige Größe, bei der Bestimmung des ersten Geschwindigkeitswerts berücksichtigt. Die Berücksichtigung des Lenkwinkels zusammen mit dem zweiten Geschwindigkeitswert ermöglicht es, eine Veränderung der Position des erkannten und verfolgten Verkehrszeichens in aufeinander folgenden Bildern aufgrund des Schwenkens der mit dem Kraftfahrzeug fest ver ^¬ bundenen Kamera durch die Veränderung der Fahrtrichtung vorherzusagen oder zu bestimmen, und bei der Bestimmung des ersten Geschwindigkeitswerts entsprechend zu berücksichtigen. Den Lenkwinkel repräsentierende Werte oder Daten können dabei beispielsweise von entsprechenden Sensoren an der Lenkeinrichtung und/oder von Beschleunigungs- oder Gyrosensoren für eine elektronische Stabilitätskontrolle des Kraftfahrzeugs oder von einem elektronischen Kompass bereitgestellt werden. Der elektronische Kompass oder die Beschleunigungs- oder Gyro ^¬ sensoren können dabei auch in einem zeitweise mit dem Fahrzeug verbundenen Mobiltelefon oder Smartphone angeordnet sein, wobei die entsprechenden Daten dann über eine kabelgebundene oder drahtlose Verbindung bereitgestellt werden . Vorzugsweise ist das Mobiltelefon oder das Smartphone so in dem Kraftfahrzeug an ^¬ geordnet, dass es Bewegungen der Karosserie zeitgleich und weitgehend identisch vollzieht.

In ähnlicher Weise kann eine Veränderung der Neigung des Fahrzeugs in Längs- und/oder Querrichtung, beispielsweise bei einer sich ändernden Steigung oder einem sich ändernden Profil der Oberfläche der Straße, in aufeinander folgenden Bildern berücksichtigt werden. So kann bei einer Fahrt auf einer Straße mit Bodenwellen, die nicht vollständig von einer Fahr- werksaufhängung des Kraftfahrzeugs kompensiert werden können, die Karosserie und damit die Kamera eine auf-und-ab Bewegung oder eine seitliche Rollbewegung ausführen, die in der Seefahrt auch als „Stampfen" oder „Rollen" bekannt ist. Da die Kamera fest mit der Karosserie des Kraftfahrzeugs verbunden ist, wird auch der von der Kamera erfasste Bereich sich entsprechend ändern. Eine Veränderung der Position könnte jedoch bei der Bestimmung des ersten Geschwindigkeitswerts fälschlicherweise zur Ermittlung einer anderen als der tatsächlichen Geschwindigkeit führen. Gerade bei größeren Distanzen zwischen dem Kraftfahrzeug und dem Verkehrszeichen kann bereits eine leichte Veränderung der Steigung der Straße dazu führen, dass die Position eines weiter voraus befindlichen Verkehrszeichens in aufeinander folgenden Bildern nach oben wandert, beispielsweise bei Durchfahren einer Bodensenke. Diese Positionsveränderung könnte als eine höhere Geschwindigkeit als die tatsächliche Geschwindigkeit des Kraftfahrzeugs interpretiert werden, weil eine vergleichbare Positionsveränderung in aufeinander folgenden Bildern auf ebener Strecke mit einer höheren Geschwindigkeit korreliert. Eine Berücksichtigung der Veränderung Neigung des Kraftfahrzeugs kann also zu einer höheren Genauigkeit der Bestimmung des ersten Geschwindigkeitswerts führen. Für die Bestimmung der Neigung sowohl in Längs- als auch in Querrichtung des Kraftfahrzeugs können ohnehin im Kraftfahrzeug vorhandene Sensoren an oder in der Fahrwerksaufhängung und/oder für eine elektronische Stabilitätskontrolle verwendet werden. Eine Verwendung von Be ^¬ schleunigungssensoren, Gyrosensoren oder eines elektronischen Kompasses eines im Kraftfahrzeug vorhandenen Satellitennavigationssystems ist ebenfalls denkbar. Es ist vorstellbar, entsprechende Sensoren eines zeitweise mit dem Fahrzeug ver ^¬ bundenen Mobiltelefons oder Smartphones zu verwenden. Die Sensoren können entsprechende Daten über eine kabelgebundene oder drahtlose Verbindung bereitstellen. Vorzugsweise ist das Mobiltelefon oder das Smartphone so in dem Kraftfahrzeug an ^¬ geordnet, dass es Bewegungen der Karosserie zeitgleich und weitgehend identisch vollzieht. Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens wird der Schwellwert, bei dessen Überschreitung ein Verkehrszeichen verworfen wird, in Abhängigkeit von dem zweiten Geschwindig ^¬ keitswert, dem Lenkwinkel und/oder einer Veränderung der Neigung des Fahrzeugs in Längs- und/oder Querrichtung verändert. Dazu kann eine ZuOrdnungsvorschrift vorgesehen sein, die eine Zu ^¬ ordnung zweier oder mehrerer Werte oder Parameter zueinander beschreibt. Die ZuOrdnungsvorschrift kann dabei formelmäßig beschrieben sein, oder auch als Zuordnungstabelle implementiert sein. Zuordnungen können dabei kontinuierlich oder bereichsweise erfolgen. Dadurch kann einer mit der Geschwindigkeit des Kraftfahrzeugs, einem Lenkwinkel oder dynamischen Veränderungen der Karosserielage variierenden Genauigkeit der Ermittlung des ersten Geschwindigkeitswerts Rechnung getragen werden.

Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens wird ein erkanntes Verkehrszeichen verworfen, wenn es nicht in einer ununterbrochen aufeinander folgenden Mindestanzahl von weiteren Bildern erkannt oder verfolgt werden konnte. Die Mindestanzahl kann dabei in Abhängigkeit von dem zweiten Geschwindigkeitswert, dem Lenkwinkel und/oder einer Veränderung der Neigung des Fahrzeugs in Längs- und/oder Querrichtung bestimmt sein.

Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens pausiert das Verfahren, wenn die zweiten Geschwindigkeitswerte einem nicht in Bewegung befindlichen Kraftfahrzeug entsprechen. Hier wird die Erkenntnis genutzt, dass das Aufnehmen von weiteren Bildern und eine Verfolgung von Verkehrszeichen, während das Kraftfahrzeug steht, keine sinnvoll auswertbaren Informationen zur Ermittlung einer Geschwindigkeit liefert. Während das Verfahren pausiert, also keine Verfolgung des erkannten Verkehrszeichens durchführt, und keine Ermittlung einer Ge ^¬ schwindigkeit aus einer Reihe von Bildern, kann Energie ein ^¬ gespart werden und/oder die Ressourcen, also beispielsweise ein zur Durchführung des Verfahrens eingerichteter Computer, können in dieser Zeit für andere Zwecke eingesetzt werden. Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens pausiert das Verfahren, wenn ein Verkehrszeichen mit einer Geschwindigkeitsbegrenzung auf sehr niedrige Werte erkannt wurde, beispielsweise 6 km/h. Aufkleber mit solchen Ge ^¬ schwindigkeitsbegrenzungen sind gelegentlich auf landwirtschaftlichen Zugfahrzeugen angebracht, kommen aber sonst sehr selten vor.

Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens erfolgt eine Datenbankabfrage, um an der aktuellen Position des Fahrzeugs bekannte, fest installierte Verkehrszeichen zu ermitteln. Die Datenbankabfrage kann zur weiteren Verifizierung der Erkennung erfolgen . Wenn die Datenbankabfrage keine Übereinstimmung ergibt ist es auch möglich, das Ergebnis der Erkennung an die Datenbank zu senden. Wenn ein an einer Position erkanntes, in der Datenbank nicht enthaltenes Verkehrszeichen von mehreren Verkehrsteil ^¬ nehmern unabhängig voneinander und über einen bestimmten Zeitraum an die Datenbank gemeldet wird, kann die Datenbank entsprechend aktualisiert werden.

Bei einer Ausgestaltung des Verfahrens werden Informationen einer Fahrspurerkennung verwendet, um die Verkehrszeichenerkennung zu verbessern. So kann etwa, wenn das Kraftfahrzeug auf einer mittleren Spur einer dreispurigen Fahrbahn fährt, ein auf einer unmittelbar nebenan liegenden Spur erkanntes Verkehrszeichen verworfen werden, weil in diesem Fall nur ein oberhalb der Fahrbahn angeordnetes Verkehrszeichen gültig sein kann.

Bei einer Ausgestaltung des Verfahrens werden Informationen eines Assistenzsystems verwendet, welches vorausfahrende Fahrzeuge identifizieren kann, um Bildbereiche von der Verkehrszeichenerkennung auszunehmen, die als zu einem vorausfahrenden Fahrzeug zugehörig erkannt wurden .

Im Folgenden wird die Erfindung mit Bezug auf die Zeichnung beschrieben. In der Zeichnung zeigt Figur 1 eine schematische Darstellung einer Kamerasicht auf eine erste Verkehrssituation vor einem Fahrzeug zu einem ersten Zeitpunkt ;

Figur 2 eine schematische Darstellung der Kamerasicht auf die erste Verkehrssituation vor dem Fahrzeug zu einem zweiten Zeitpunkt ;

Figur 3 eine schematische Darstellung einer Kamerasicht auf eine zweite Verkehrssituation vor einem Fahrzeug zu einem ersten Zeitpunkt ;

Figur 4 eine schematische Darstellung der Kamerasicht auf die zweite Verkehrssituation vor dem Fahrzeug zu einem zweiten Zeitpunkt ;

Figur 5 eine schematische Darstellung einer Kamerasicht auf eine dritte Verkehrssituation vor einem Fahrzeug zu einem ersten Zeitpunkt;

Figur 6 eine schematische Darstellung der Kamerasicht auf die dritte Verkehrssituation vor dem Fahrzeug zu einem zweiten Zeitpunkt ;

Figur 7 ein exemplarisches Flussdiagramm einer Ausführung des erfindungsgemäßen Verfahrens; und

Figur 8 ein schematisches Blockdiagramm einer Vorrichtung zur Durchführung des Verfahrens.

In den Figuren sind gleiche oder ähnliche Elemente mit gleichen Bezugszeichen gekennzeichnet.

Figur 1 zeigt eine erste schematische Darstellung einer Ka ^¬ merasicht auf eine erste Verkehrssituation 100 vor einem Fahrzeug (nicht gezeigt) zu einem ersten Zeitpunkt. Die Verkehrssituation zeigt eine gerade bis zum Horizont 101 verlaufende zweispurige Straße 102. Das in der Figur nicht gezeigte Fahrzeug fährt auf der rechten Fahrbahn in Richtung Horizont 101. In einiger Entfernung zu der derzeitigen Position des Fahrzeugs befindet sich ein Verkehrszeichen 103, welches eine Geschwindigkeit s- begrenzung auf 80 km/h signalisiert. Die in der Figur nicht gezeigte Kamera liefert Bilder der Verkehrssituation an ein in der Figur ebenfalls nicht gezeigtes Modul zur Verkehrszei ^¬ chenerkennung, welches eine dafür vorgesehene Software umfassen kann, die auf einer geeigneten Hardware ausgeführt wird.

Verfahren zur Verkehrszeichenerkennung sind aus dem Stand der Technik bekannt. Erfindungsgemäß wird, wenn ein Verkehrszeichen erkannt wurde, in diesem Beispiel das Verkehrszeichen 103, das Verkehrszeichen in darauffolgend aufgenommenen Bildern verfolgt. Dazu kann ein von dem Verkehrszeichen eingenommener oder ein um das Verkehrszeichen herum liegender Bereich des Bildes markiert werden, der in den nachfolgend aufgenommenen Bildern wieder erkannt werden muss. Die von der Kamera erfasste Szene verändert sich wegen der Bewegung der Kamera mit dem Fahrzeug. Diese Veränderung zeigt sich beispielsweise in einer Größenänderung von Objekten, aber auch in einer Ortsveränderung von Objekten innerhalb des von der Kamera aufgenommenen Bildes. Aus einem bekannten zeitlichen Abstand zwischen zwei Bildern der Kamera und einer Größenänderung und/oder Ortsveränderung von Objekten kann eine Geschwindigkeit der Kamera und somit des Fahrzeugs ermittelt werden. Unveränderliche Eigenschaften eines Objektivs der Kamera, beispielsweise Nichtlinearitäten oder Verzerrungen in bestimmten Bildbereichen können dabei entsprechend berücksichtigt werden.

Figur 2 zeigt eine schematische Darstellung der Kamerasicht auf die erste Verkehrssituation 100 vor dem Fahrzeug zu einem zweiten Zeitpunkt . Das Fahrzeug hat sich um eine gewisse Distanz vorwärts bewegt und ist dem Verkehrszeichen 103 näher gekommen. Dementsprechend ist das Verkehrszeichen 103 in dem Bild nun größer abgebildet und befindet sich an einer anderen Position in dem Bild. Die Veränderung der Position gegenüber der in Figur 1 gezeigten Kamerasicht zu dem ersten Zeitpunkt ist durch die Pfeile 205 und 206 verdeutlicht. Aus der Zeitdifferenz zwischen dem ersten und dem zweiten Zeitpunkt sowie der Veränderung der Position des Verkehrszeichens 103 wird erfindungsgemäß eine Geschwindigkeit ermittelt, mit der die Kamera sich auf das Verkehrszeichen zubewegt hat. Die ermittelte Geschwindigkeit wird mit einem von einem Geschwindigkeitsmesser des Fahrzeugs gelieferten Geschwindigkeitswert verglichen. Wenn die Differenz der beiden Geschwindigkeiten unterhalb eines Toleranz- oder Schwellwertes liegt kann davon ausgegangen werden, dass das Verkehrszeichen 103 ortsfest angebracht ist. Erfahrungsgemäß sind ortsfest angebrachte Verkehrszeichen von Verkehrsteil ^¬ nehmern in der Regel zu berücksichtigen. Das erkannte Verkehrszeichen 103 kann somit dem Fahrer des Fahrzeugs angezeigt und/oder die durch das Verkehrszeichen signalisierte Geschwindigkeit sbegrenzung für eine automatisierte Fahrzeugsteuerung verwendet werden.

Die Wiedererkennung des zu dem ersten Zeitpunkt erkannten Verkehrszeichens 103 kann vereinfacht und/oder beschleunigt werden, wenn der Suchbereich in einem nachfolgenden Bild eingegrenzt werden kann. Die Fahrzeuggeschwindigkeit wird durch einen von der Kamera unabhängigen Geschwindigkeitsmesser des Fahrzeugs zu jedem Zeitpunkt gemessen wird und somit bekannt. Aus der bekannten FahrZeuggeschwindigkeit und den bekannten Eigenschaften der Kamera kann somit ein Suchbereich vorhergesagt werden, innerhalb dessen sich das Verkehrszeichen in einem nachfolgenden Bild befinden muss. Die Vorhersage betrifft nicht nur eine Ortsveränderung innerhalb des Bildes, sondern auch eine Größenänderung. Der vorhergesagte Suchbereich ist in Figur 2 exemplarisch durch den strichpunktierten Rahmen 207 um das Verkehrszeichen 103 angedeutet.

Figur 3 zeigt eine schematische Darstellung einer Kamerasicht auf eine zweite Verkehrssituation 300 vor einem Fahrzeug zu einem ersten Zeitpunkt. Die Verkehrssituation ist ähnlich zu der aus den Figuren 1 und 2, jedoch verläuft die Straße 102 in einer Linkskurve. Um dem Fahrbahnverlauf der Straße 102 zu folgen muss der Fahrer des Fahrzeugs das Lenkrad nach links einschlagen. Durch den Lenkradeinschlag ändert sich der von der Kamera erfasste Bildausschnitt entsprechend; die Änderung der

Fahrtrichtung entspricht guasi einem Kameraschwenk. Ein in dem zum ersten Zeitpunkt aufgenommenen Bild erkanntes Verkehrs ^¬ zeichen 103 wird somit in einem zu einem zweiten Zeitpunkt aufgenommenen nachfolgenden Bild eine stärkere Änderung der Position erfahren als in der mit Bezug auf die Figuren 1 und 2 beschriebenen Situation. Wenn die Geschwindigkeit der Kamera und somit des Fahrzeugs ausschließlich aus der Größen-und Posi- tionsänderung des Verkehrszeichens in aufeinanderfolgenden Bildern, deren zeitlicher Abstand bekannt ist, bestimmt wird, kann die durch das Schwenken des Fahrzeugs bedingte stärkere Positionsänderung des Verkehrszeichens zu einer weniger genauen Bestimmung der Geschwindigkeit führen, oder es wird eine falsche Geschwindigkeit ermittelt. Dies kann dazu führen, dass bei einem Vergleich der durch die Kamerabilder bestimmten Geschwindigkeit mit dem durch den Geschwindigkeitsmesser des Fahrzeugs gelieferten Geschwindigkeitswert die Differenz der Geschwindigkeiten über einem Schwellwert liegt, so dass das Ver ^¬ kehrszeichen nicht als gültig erkannt gewertet wird. Ein nicht als gültig erkanntes Verkehrszeichen wird dem Fahrer des Fahrzeugs nicht angezeigt werden bzw. wird nicht für die au ^¬ tomatisierte Fahrzeugsteuerung verwendet werden.

Figur 4 zeigt eine schematische Darstellung der Kamerasicht auf die zweite Verkehrssituation 300 zu einem zweiten Zeitpunkt. Wie zuvor mit Bezug auf Figur 2 beschrieben hat das Fahrzeug sich um eine gewisse Distanz vorwärts bewegt und ist dem Verkehrszeichen einladen drei näher gekommen. Dementsprechend ist das Verkehrszeichen 103 in dem Bild nun größer abgebildet und befindet sich an einer anderen Position in dem Bild. Die Veränderung der Position gegenüber der in Figur 3 gezeigten Kamerasicht zu dem ersten Zeitpunkt ist durch die Pfeile 405 und 406 verdeutlicht. Aus der Zeitdifferenz zwischen dem ersten und dem zweiten Zeitpunkt sowie der Veränderung der Position des Verkehrs ^¬ zeichens 103 wird erfindungsgemäß eine Geschwindigkeit er ^¬ mittelt, mit der die Kamera sich auf das Verkehrszeichen zubewegt hat. Erfindungsgemäß wird bei der Ermittlung der Geschwindigkeit der Lenkradeinschlag berücksichtigt , um die daraus resultierende größere Veränderung der Position des Verkehrszeichens 103 zu kompensieren. Die größere Veränderung der Position des Verkehrszeichens 103 gegenüber der vergleichbaren Szene in Figur 2 ist deutlich erkennbar. Wie zuvor mit Bezug auf die Figuren 1 und 2 beschrieben wird die ermittelte Geschwindigkeit mit einem von einem Geschwindigkeitsmesser des Fahrzeugs gelieferten Geschwindigkeit swert verglichen. Wenn die Differenz der beiden Geschwindigkeiten unterhalb eines Toleranzwertes liegt kann davon ausgegangen werden, dass das Verkehrszeichen 103 ortsfest angebracht ist. Erfahrungsgemäß sind ortsfest angebracht Verkehrszeichen von Verkehrsteilnehmern stets zu berücksichtigen. Das erkannte Verkehrszeichen 103 kann somit dem Fahrer des Fahrzeugs angezeigt und/oder die durch das Verkehrszeichen signalisierte Geschwindigkeitsbegrenzung für eine automatisierte Fahrzeugsteuerung verwendet werden.

Diese Ausgestaltung der Erfindung ermöglicht es also, den Einfluss einer seitlichen VerSchiebung der von der Kamera erfassten Szene bei der Ermittlung der Geschwindigkeit zu kompensieren bzw. zu verringern .

Die Berücksichtigung des Lenkradeinschlags kann auch bei der Wiedererkennung des zu dem ersten Zeitpunkt erkannten Verkehrszeichens 103 zur Vereinfachung oder Beschleunigung verwendet werden, indem der Suchbereich in einem nachfolgenden Bild entsprechend eingegrenzt wird. Der Suchbereich wird also nicht nur aus der zu erwartenden Veränderung der Position des Verkehrszeichens aufgrund der Annäherung des Fahrzeugs an ein Verkehrszeichen, sondern auch aufgrund der seitlichen Verschiebung der von der Kamera erfassten Szene positioniert. In Figur 4 ist der Suchbereich wie zuvor in Figur 2 durch einen strichpunktierten Rahmen 407 gekennzeichnet. Die Vereinfachung oder Beschleunigung der Wiedererkennung von Objekten führt zu einer kürzeren oder geringeren Verwendung der in dem Fahrzeug vorgesehenen Ressourcen für eine Verkehrszeichenerkennung, die entsprechend für andere Zwecke verwendet oder in einen Ruhemodus versetzt werden können. Die Vorhersage des Suchbereichs kann auch andere fahrdynamisch bedingte Änderungen der Kamerasicht be ^¬ rücksichtigen, z.B. eine Änderung der Neigung des Kraftfahrzeugchassis in Längs- oder Querrichtung.

Figur 5 zeigt eine schematische Darstellung einer Kamerasicht auf eine dritte Verkehrssituation 500 vor einem Fahrzeug zu einem ersten Zeitpunkt. Wie zuvor in Figur 1 zeigt die Verkehrssi ^¬ tuation eine gerade bis zum Horizont 101 verlaufende zweispurige Straße 102. Das in der Figur nicht gezeigte Fahrzeug fährt auf der linken Fahrbahn in Richtung Horizont 101 und ist dabei, einen LKW 501 zu überholen, der auf der rechten Fahrbahn mit 80 km/h fährt. An der Rückseite des LKW 501 ist ein Aufkleber 502 angebracht, der ein Verkehrszeichen darstellt . In der Figur zeigt der Aufkleber 502 ein eine Geschwindigkeitsbegrenzung 80 km/h signalisierendes Verkehrszeichen und soll darauf hinweisen, dass die Höchstgeschwindigkeit des LKW 501 80 km/h beträgt. Die durch das am Straßenrand aufgestellte Verkehrszeichen 503 angezeigte zulässige Höchstgeschwindigkeit auf diesem Abschnitt der Straße beträgt 100 km/h. Es wird angenommen, dass das Verkehrszeichen 503 bereits zuvor zuverlässig erkannt wurde und dass das in der Figur nicht gezeigte Fahrzeug mit einer Geschwindigkeit von 100 km/h fährt. Die erfindungsgemäße Vorrichtung erkennt das an der Rückseite des LKW 501 angebrachte „Verkehrszeichen" 502, und verfolgt es erfindungsgemäß auf nachfolgend aufgenommenen Bildern der Kamera.

Figur 6 zeigt eine schematische Darstellung der Kamerasicht auf die dritte Verkehrssituation vor dem Fahrzeug zu einem zweiten Zeitpunkt. Deutlich zu erkennen ist, dass das Verkehrszeichen 503 aus dem Blickfeld der Kamera verschwunden ist, während der LKW 501 sich an einer nur wenig veränderten Position im Bild befindet . Insbesondere die Veränderung der Größe und der Position des „Verkehrszeichens" 502 ist gegenüber dem zuvor aufgenommenen Bild nur vergleichsweise gering. Wie zuvor mit Bezug auf die Figuren 1 und 2 beschrieben ermittelt die erfindungsgemäße Vorrichtung aus der Größenveränderung und der Veränderung der Position des „Verkehrszeichens" 502 in aufeinanderfolgenden Bildern eine Geschwindigkeit . Im vorliegenden Beispiel ermittelt die erfindungsgemäße Vorrichtung aus der nur geringen Veränderung der Größe und Position des „Verkehrszeichens" 502 eine Geschwindigkeit von 20 km/h, entsprechend der Differenzge ^¬ schwindigkeit zwischen dem Fahrzeug und dem LKW 501. Der Ge ^¬ schwindigkeitsmesser des Fahrzeugs liefert jedoch eine gemessene Fahrgeschwindigkeit von 100 km/h. Die Differenz von 80 km/h zwischen den beiden Geschwindigkeiten liegt über dem

Schwellwert . Daraus kann geschlossen werden, dass es sich bei dem Verkehrszeichen nicht um ein gültiges ortsfest angebrachtes Verkehrszeichen handelt. Entsprechend wird das fälschlich erkannte Verkehrszeichen nicht angezeigt bzw. die Information daraus nicht zur Beeinflussung von Fahrparametern verwendet.

Auch in diesem Beispiel kann ein Suchbereich, in welchem das Verkehrszeichen zum Zwecke der Verfolgung in einem nachfolgend aufgenommenen Bild erwartet wird, anhand der Geschwindigkeit des Kraftfahrzeugs geschätzt werden. Bei einer Geschwindigkeit von 100 km/h sollte ein gültiges, ortsfestes Verkehrszeichen in dem durch den strichpunktierten Rahmen 507 markierten Bereich des Bildes wiedererkannt werden. Die Position des Rahmens 507 markiert den erwarteten Suchbereich. Bereits die Tatsache, dass das „Verkehrszeichen" 502 nicht in dem erwarteten Bereich wiedererkannt wurde kann als Indiz dafür gelten, dass es sich nicht um ein gültiges, ortsfestes Verkehrszeichen handelt. An dieser Stelle kann die Suche für die Wiedererkennung abgebrochen werden und die Signalisierung des Verkehrszeichens an den Fahrer oder an eine Vorrichtung zum automatisierten Fahren unterbleiben. Alternativ kann der Suchbereich erweitert oder neu positioniert werden, um aus einer tatsächlichen Position des „Verkehrszeichens" 502 in dem Bild eine Geschwindigkeit zu ermitteln. Eine Differenz zwischen der aus der Bildfolge ermittelten Geschwindigkeit und einer von dem Geschwindig ^¬ keitsmesser des Kraftfahrzeugs ermittelten Geschwindigkeit wird dann in der zuvor beschriebenen Weise mit einem Schwellwert verglichen. Wenn der Schwellwert überschritten ist, die Differenz also zu groß ist, unterbleibt die Signalisierung des Verkehrszeichens an den Fahrer oder an eine Vorrichtung zum automatisierten Fahren.

Da der erwartete, vorhergesagte Suchbereich für die Wieder ^¬ erkennung und die Verfolgung des Verkehrszeichens bereits unter Verwendung der von dem Geschwindigkeitsmesser des Kraftfahrzeugs gelieferten Daten bestimmt werden kann, bevor überhaupt ein zu durchsuchendes Bild vorliegt, kann die Suche unmittelbar auf den erwarteten Bereich eingeschränkt werden. Dadurch kann die Suche schneller durchgeführt werden und erfordert weniger Ressourcen bzw. beansprucht vorhandene Ressourcen für einen kürzeren Zeitraum. Weitere Daten von Sensoren des Kraftfahrzeugs, etwa zum Lenkradeinschlag oder einer Neigung des Fahrzeugs, können, wie weiter oben beschreiben, zur Verbesserung der Positionierung des Suchbereichs in die Vorhersage einbezogen werden.

Figur 7 zeigt ein exemplarisches Flussdiagramm einer Ausführung des erfindungsgemäßen Verfahrens 700. In Schritt 702 wird zunächst ein Bild aufgenommen, das in Schritt 704 einer Mus ^¬ tererkennung zur Erkennung von Verkehrszeichen zugeführt wird. Wenn kein Verkehrszeichen erkannt wurde, „nein"-Zweig von

Schritt 706, wird das Verfahren von vorne begonnen. Wenn ein Verkehrszeichen erkannt wurde, „ja"-Zweig von Schritt 706, wird ein weiteres Bild aufgenommen, Schritt 708, das Verkehrszeichen in Schritt 710 in dem weiteren Bild erkannt bzw. verfolgt (Tracking) , und in Schritt 712 eine Geschwindigkeit aus der Verschiebung und der Größenänderung des verfolgten Verkehrszeichens in den Bildern ermittelt. Die Schritte 708, 710 und 712 können auch ein oder mehrmals wiederholt ablaufen (nicht in der Figur gezeigt), wobei jeweils eine Geschwindigkeit aus der Folge von Bildern ermittelt wird, und eine mittlere Geschwindigkeit aus mehreren Durchläufen bestimmt wird. Ebenfalls wird in Schritt 712 ein Geschwindigkeitswert von dem Geschwindigkeitsmesser des Fahrzeugs bezogen, entweder zu jedem Bild oder nach einer wiederholten Ausführung der Schritte 708, 710 und 712 für eine Reihe von mehreren Bildern. In Schritt 714 wird eine Differenz aus dem von dem Geschwindigkeitsmesser bezogenen Geschwindigkeitswert und dem aus der Verfolgung des Verkehrseichens über die Reihe von Bildern bestimmten Geschwindigkeitswert bestimmt und mit einem Schwellwert verglichen. Wenn die Differenz über dem Schwellwert liegt, „ja"-Zweig von Schritt 714, wird das erkannte Verkehrszeichen verworfen, also dem Fahrer oder der Vorrichtung zum automatisierten Fahren nicht signalisiert. Anderenfalls, „nein"-Zweig von Schritt 714, wird das Verkehrszeichen dem Fahrer bzw. der Vorrichtung signalisiert, welche darauf hin das Fahrzeug ent sprechend steuern können . Es wird darauf hingewiesen, dass das in der Figur gezeigte Flussdiagramm nur exemplarisch für eine Vielzahl von Ausführungsvarianten steht . Beispielsweise kann die Aufnahme von Bildern für andere Zwecke kontinuierlich erfolgen, und nur das Tracking kann bedingt erfolgen, wenn ein Verkehrszeichen erkannt wurde. Die Aufnahme des oder der weiteren Bilder kann somit auch in der bedingten Weiterleitung von Bildern an ein Tracking-Modul bestehen.

Figur 8 zeigt ein schematisches Blockdiagramm einer Vorrichtung 800 zur Durchführung des Verfahrens . Eine Kamera 802 ist mit einem Modul 804 zur Verkehrs Zeichenerkennung, einem Tracking-Modul 806 zur Verfolgung eines erkannten Verkehrszeichens und zur Ermittlung einer Geschwindigkeit aus dem verfolgten Verkehrs ^¬ zeichen über eine Reihe von Bildern, einem Interface-Modul 808, welches Geschwindigkeitswerte von einem Geschwindigkeitsmesser eines Kraftfahrzeugs bezieht, und einem Modul 810, welches einer Differenz aus der ermittelten und der bezogenen Geschwindigkeit bestimmt und mit einem Schwellwert vergleicht, über einen oder mehrere Bussysteme und/oder Dateninterfaces 812 verbunden. Optional kann bei einer oder mehreren Ausgestaltungen der Vorrichtung ein Sensormodul 814 mit anderen Modulen über das oder die Bussysteme und/oder Dateninterfaces verbunden sein. Das Sensormodul 814 kann z.B. Werte von Fahrzeugsensoren betreffend eine seitliche oder vertikale Neigung des Fahrzeugs oder einen Lenkwinkel und dergleichen beispielsweise an das Modul 804 zur Verkehrs Zeichenerkennung und das Tracking-Modul 806 liefern, um deren jeweilige Funktion und/oder Genauigkeit zu verbessern. Eines oder mehrere der Module können dabei von jeweiligen Computerprogrammen gebildet sein, die auf einem oder mehreren Prozessoren in Verbindung mit entsprechend vorgesehenen Arbeitsspeichermitteln und nicht-flüchtigen Speichermitteln ausgeführt werden. Das Bussystem bzw. die Dateninterfaces 812 können in Hardware oder in Software ausgeführt sein, umfassen also auch Softwareschnittstellen zum Datenaustausch zwischen Programmen oder Programmteilen innerhalb eines Computers.