Verfahren und Vorrichtung zur Verkehrszeichenerkennung

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Verkehrszeichenerkennung, bei dem mindestens zwei Bilder mit jeweils einer Abbildung eines Bereichs der Umgebung eines Kraftfahrzeugs durch ein Bilderfassungssystem eines Kraftfahrzeugs als Bildfolge erfasst werden. Das Bilderfassungssystem erzeugt zu jedem erfassten Bild der Abbildung entsprechende Bilddaten, die verarbeitet und zur Verkehrszeichenerkennung ausgewertet werden.

Die durch ein Bilderfassungssystem zur Verkehrszeichenerkennung bereit gestellten Bilder haben insbesondere bei ungünstigen Umgebungsbedingungen, bei ungünstigen Aufnahmewinkeln, bei weit entfernten Verkehrszeichen und/oder bei hoher Eigengeschwindigkeit des Fahrzeugs nur eine ungenügende Qualität, um die Verkehrszeichenerkennung mit einer hohen Erkennungsgenauigkeit durchzuführen. Verschiedene Systeme zur Verkehrszeichenerkennung sind beispielsweise aus den Dokumenten EP 1 145 186 B l, EP 1 383 098 B l und EP 1 131 803 B l bekannt. Diese Systeme analysieren die erfassten Bilder und führen eine Verkehrszeichenerkennung für die in den Bildern enthaltenen Verkehrszeichen durch.

Ferner sind zur Verarbeitung von Bilddaten eine Vielzahl von Verfahren bekannt. Solche Verfahren sind beispielsweise im Dokument "Image su- per-resolution survey", J. D. van Ouwerkerk, Image Vision Computing Volume 24, Issue 10, Oktober 2006, beschrieben.

Aufgabe der Erfindung ist es, die zur Verkehrszeichenerkennung von einem Bilderfassungssystem bereitgestellten Abbildungen der Verkehrszei-

chen zu verbessern und eine hohe Erkennungsgüte bei der Verkehrszeichenerkennung zu erreichen.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 und einer Vorrichtung mit den Merkmalen des Patentanspruchs 9 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den abhängigen Patentansprüchen angegeben.

Durch ein Verfahren zur Verkehrszeichenerkennung mit den Merkmalen des Patentanspruchs 1 sowie durch eine Vorrichtung mit den Merkmalen des Patentanspruchs 9 wird erreicht, dass aus einzeln aufgenommenen Bildern einer Bildfolge eine verbesserte Abbildung des Verkehrszeichens erzeugt wird, die dann als Grundlage für die Verkehrszeichenerkennung genutzt wird.

Bei einer Weiterbildung der Erfindung wird zur Verkehrszeichenerkennung eine Klassifizierung des Objekts mit Hilfe eines bekannten Klassifizierungsverfahrens durchgeführt. Mit Hilfe des Klassifizierungsverfahrens zum Klassifizieren des Objekts als Verkehrszeichen wird zunächst ermittelt, ob das Objekt zur Gruppe der relevanten Verkehrszeichen gehört und wenn ja, um welches konkrete Verkehrszeichen es sich handelt.

Ferner kann überprüft werden, ob das in jedem der Bilder ermittelte Objekt ein Verkehrszeichen ist oder ein Verkehrszeichen sein könnte. Das Ermitteln der Bildbestandteile des Objekts in den einzelnen Bildern und die überlagerung der Bildbestandteile wird vorzugsweise nur dann durchgeführt, wenn festgestellt worden ist, dass es sich bei dem Objekt um ein Verkehrszeichen handelt oder handeln könnte. Die Bildbestandteile kön-

nen insbesondere mit Hilfe eines Super-Resolution- Verfahrens überlagert werden.

Um die relevanten Bildbestandteile überlagern zu können, kann eine eindeutige Zuordnung ein und desselben Objektes in zeitlich geordneten Bildern erfolgen, wobei die Bilder nicht zwingend unmittelbar aufeinander folgen müssen. Für diese optische Zuordnung existieren verschiedene Möglichkeiten, wie nachfolgend beispielhaft erläutert wird.

Zur Vereinfachung wird das Objekt als ortsfest angenommen, da es sich bei den relevanten Objekten um ortsfeste Verkehrszeichen handelt. Dadurch ist es möglich aufgrund der bekannten Eigenbewegung des Kraftfahrzeugs zwischen zwei Bildern die Positions- und Größenänderung des Objekts zwischen dem ersten und dem zweiten Bild zu ermitteln. Alternativ oder zusätzlich kann die Positionsänderung im Bild eines Objektes durch Vergleich von spezifischen Merkmalen, wie Form, Farbe und/oder Textureigenschaften, des Objektes im ersten Bild mit Kandidaten von Objekten im zweiten Bild ermittelt werden, wobei dasjenige Objekt im zweiten Bild ausgewählt wird, welches die ähnlichsten Eigenschaften besitzt und dadurch die größte übereinstimmung mit dem im ersten Bild ermittelten Objekt aufweist.

Die dem Objekt im ersten Bild zugeordneten Bildbestandteile und die dem Objekt in mindestens einem zweiten Bild zugeordneten Bildbestandteile werden durch Skalierung und Translation derart angepasst, dass Größen- und/oder Positionsunterschiede der Bildbestandteile kompensiert werden. Ferner kann beim überlagern der Bildbestandteile die lokale Bildauflösung bzw. Bildqualität der Bildbestandteile des Objekts, vorzugsweise mit Hilfe eines Super-Resolution- Verfahrens, erhöht werden. Durch das über-

lagern der Bildbestandteile des Objekts wird insbesondere die Bildschärfe der Abbildung des Objekts in der durch das überlagern der Bildbestandteile des Objekts erzeugten Abbildung erhöht.

Die Vorrichtung mit den Merkmalen des Patentanspruchs 9 kann auf die gleiche Weise weitergebildet werden wie für das Verfahren nach Patentanspruch 1 angegeben. Insbesondere kann auch die Vorrichtung mit den Merkmalen des Patentanspruchs 9 mit den zur Weiterbildung des Verfahrens nach Patentanspruch 1 in den abhängigen Patentansprüchen angegebenen Merkmalen bzw. entsprechenden Vorrichtungsmerkmalen weitergebildet werden.

Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung, welche in Verbindung mit den beigefügten Figuren die Erfindung anhand eines Ausführungsbeispieles näher erläutert.

Es zeigen:

Fig. 1 ein Blockdiagramm eines Systems zur Bildaufnahme und

Bildauswertung der Umgebung eines Kraftfahrzeugs;

Fig. 2a bis 2e mehrere nacheinander aufgenommene Bilder mit der Abbildung desselben Verkehrszeichens;

Fig. 2f eine durch die überlagerung von Bildbestandteilen der

Bilder 2a bis 2f erzeugte Abbildung des Verkehrszeichens;

F ig. 3 a bis 3e nacheinander aufgenommene Abbildungen eines Verkehrszeichens; und

Fig. 3f eine aus Bildbestandteilen der Bilder 3a bis 3e zusammengesetzte Abbildung des Verkehrszeichens.

In Fig. 1 ist ein Blockdiagramm eines Bildaufnahme- und Auswertesystems 10 dargestellt, das in ein Kraftfahrzeug, insbesondere in einen PKW oder einen LKW, integriert ist. Das Bildaufnahme- und Auswertesystem 10 hat ein Kamerasystem 12, das eine Bildfolge mit Abbildungen zumindest eines Bereichs vor dem Fahrzeug erfasst und jeweils entsprechende Bilddaten erzeugt. Diese Bilddaten werden zu einer Bildverarbeitungseinheit 14 des Systems 10 übertragen und mit Hilfe von Steuerungs- und Verarbeitungsmodulen 16a bis 16d der Bildverarbeitungseinheit 14 analysiert und verarbeitet.

Die Bildverarbeitungseinheit 14 ist über einen Fahrzeugbus 18 des Fahrzeugs mit weiteren Steuer- und Verarbeitungseinheiten 20 bis 26, wie dem Navigationssystem, dem Geschwindigkeitserfassungs- und/oder Regelungssystem, des Fahrzeugs verbunden, wobei die Bildverarbeitungseinheit 14 über den Fahrzeugbus 18 Daten mit diesen weiteren Steuereinheiten 20 bis 26 austauschen kann. Die Bildverarbeitungseinheit 14 ist weiterhin über eine geeignete Datenleitung mit einer Anzeige- und Warneinheit 28 sowie mit einer Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 verbunden. Ferner ist die Bildverarbeitungseinheit 14 über eine Datenleitung mit einem Permanentspeicher 32 verbunden. Ein solcher Permanentspeicher 32 kann beispielsweise ein Festplattenspeicher, ein Flashspeicher oder eine weitere Steuereinheit sein. Ferner kann der Permanentspeicher 32 auch durch ein Datenbanksystem des Kraftfahr-

zeugs bereitgestellt werden. Das Kamerasystem 12 kann eine Monokame- ra, mehrere Monokameras, ein Stereokamerasystem und/oder mehrere Stereokamerasysteme umfassen, wobei die einzelnen Kameras Graustufenbilder oder Farbbilder erzeugen. Als Fahrzeugbus 18 können übliche bekannte Bussysteme, wie ein LIN-Bus, ein CAN-Bus und/oder ein Flexray- Bus eingesetzt werden. Die Optiken der Kamera bzw. der Kameras des Kamerasystems 12 können insbesondere verschiedene Festbrennweiten oder eine insbesondere über ein Revolver-Objektivsystem oder ein Vari- oobjektivsy stem einstellbare Brennweite aufweisen.

über den Fahrzeugbus 18 kommuniziert die Bildverarbeitungseinheit 14 auch mit weiteren Sensoren und Empfangseinheiten, die insbesondere eine ad hoc Kommunikation mit weiteren Fahrzeugen und/oder mit Verkehrseinrichtungen, wie Lichtsignalanlagen, Schilderbrücken und/oder einzelnen Verkehrsschildern, aufnehmen können. Ferner werden über den Fahrzeugbus 18 Informationen über Signalzustände einzelner Aktoren und Sensoren, insbesondere über die Aktivierung der Fahrtrichtungsanzeiger des Fahrzeugs, übertragen.

Mit Hilfe der durch das Kamerasystem 12 aufgenommenen Bildfolge werden durch eine Analyse der Bilddaten mit Hilfe der Bildverarbeitungseinheit 14 die Verkehrszeichen im Erfassungsbereich des Kamerasystems 12 ermittelt und klassifiziert. Durch das Klassifizieren der Verkehrszeichen mit Hilfe eines geeigneten Erkennungsverfahrens wird das abgebildete Verkehrszeichen als konkretes Verkehrszeichen identifiziert. über die Anzeige- und Warneinheit 28 wird die Abbildung des Verkehrszeichens und/oder ein diesem Verkehrszeichen entsprechendes Symbol angezeigt.

Zusätzlich oder alternativ kann auch eine Textinformation und/oder eine akustische Information ausgegeben werden. Ferner wird eine Verkehrsinformation insbesondere über eine Geschwindigkeitsbegrenzung oder eine Mindestgeschwindigkeit an die Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 übergeben, wobei die Geschwindigkeitsregel- und/oder Begrenzungssteuerung 30 ein Warnsignal bei überschreitung der zulässigen Höchstgeschwindigkeit und/oder Unterschreitung einer Mindestgeschwindigkeit ausgeben kann. Alternativ können die Geschwindigkeitsbegrenzungen als maximale Begrenzungswerte einer Geschwindigkeitsregelung und/oder -begrenzung ggf. mit einem Offset zugrunde gelegt werden.

Ein weiteres Verarbeitungs- und Steuerungsmodul 16a bis 16d der Bildverarbeitungseinheit 14 ermittelt aufgrund der Abbildungen der Bildfolge die aktuelle Fahrspur des Fahrzeugs. Ein weiteres Verarbeitungsmodul 16a bis 16d ordnet die einer der ermittelten Fahrspuren eindeutig zuor- denbaren Verkehrszeichen nur dieser Fahrspur zu, wobei diese nur einer Fahrspur zugeordneten Verkehrszeichen der Fahrspur zugeordnet im Permanentspeicher 32 gespeichert werden. Ferner können in dem Permanentspeicher 32 Vergleichsdaten für einen Mustervergleich zur Erkennung von Verkehrsschildern, insbesondere länderspezifische Muster von Verkehrszeichen, Symbole, die anstatt der Abbildungen der erkannten Verkehrszeichen auf der Anzeigeeinheit 28 ausgegeben werden können, sowie auszugebende Texte und/oder akustische Informationen gespeichert werden.

Die negativen Einflüsse der Eigenschaften des abbildenden optischen Systems der Kamera (Windschutzscheibe, Abbildungsoptik, Bildsensor) auf die Bildqualität müssen entsprechend reduziert oder ganz beseitigt werden, um eine Verbesserung von Bildern mit einer Abbildung eines Verkehrszeichens auch bei unterschiedlichen Umgebungsbedingungen sicher

zu erreichen. Jedoch sind diese Einflussfaktoren oft nur mit einem relativ hohen Aufwand dahingehend zu verbessern, dass Bilder mit einer konstant hohen Qualität von der Umgebung des Fahrzeugs, insbesondere von der Abbildung eines zu klassifizierenden Verkehrszeichens, aufgenommen werden können. Andere Einflussfaktoren, wie die Eigenschaften des Verkehrszeichens, können nicht durch Maßnahmen am Fahrzeug selbst beein- flusst werden. In der Praxis können aber insbesondere relativ schlechte Bildaufnahmen des Verkehrszeichens in Folge von Regen, Nebel, Nebelschwaden sowie von Schneefall nicht vermieden werden. Auch die Einflüsse der Fahrzeugbewegung in Folge des Fahrbahnverlaufs können nicht vermieden jedoch bei der Verarbeitung der Bilder zumindest teilweise berücksichtigt werden.

Veränderungen bzw. Verbesserungen der Optik, des Bildsensors und zusätzliche Maßnahmen zur Ausleuchtung des Bereichs, von dem mit Hilfe der Bilderfassungseinheit eine Abbildung erzeugt werden soll, sind oft mit hohen Kosten verbunden und führen nicht immer zum gewünschten Erfolg.

Zur Bildverbesserung der Abbildung des Verkehrszeichens wird das Verkehrszeichen als Objekt in mehreren nacheinander als Bildfolge aufgenommenen Bildern detektiert. Dies erfolgt insbesondere mit Hilfe eines bekannten Trackingverfahrens. In jedem dieser Bilder oder zumindest in einem Teil dieser Bilder werden Bildelemente des Verkehrszeichens ermittelt, die dann überlagert werden, sodass ein verbessertes Gesamtbild des Verkehrszeichens erzeugt wird. Bilddaten des verbesserten Gesamtbildes werden dann weiterverarbeitet, wobei das Verkehrszeichen ausgehend von den Bilddaten des verbesserten Gesamtbildes klassifiziert wird. Durch das Klassifizieren erfolgt eine Erkennung des Verkehrszeichens.

Das überlagern der Bildbestandteile erfolgt insbesondere mit Hilfe eines Super-Resolution- Verfahrens. Vorzugsweise erfolgt vor oder bei der ü- berlagerung der Bildbestandteile eine Größen- und/oder Positionsanpassung, um die aus der Fahrzeugbewegung während und zwischen den Bildaufnahmen resultierenden Größen- und Positionsunterschiede zu kompensieren. Ferner kann mit Hilfe eines Vorklassifizierungsverfahrens das ermittelte Objekt vorklassifiziert werden, wobei die weitere Verarbeitung zur Verkehrszeichenerkennung bzw. zur Bildverbesserung mit Hilfe der überlagerung der Bildbestandteile nur durchgeführt wird, wenn es sich bei dem Objekt um ein Verkehrszeichen handelt oder handeln könnte.

In den Figuren 2a bis 2e sind nacheinander mit Hilfe des Kamerasystems 12 des Fahrzeugs aufgenommene Bilder dargestellt, die in Folge der relativ kleinen Abbildung des Verkehrszeichens in dem jeweiligen durch das Kamerasystem 12 aufgenommenen Gesamtbild ein relativ großes Bildrauschen aufweisen. Die Entfernung zwischen dem Verkehrszeichen und dem Fahrzeug bzw. dem Kamerasystem 12 reduziert sich zwischen den in gleichen Zeitabständen aufgenommenen Bildern 2a bis 2e kontinuierlich, wobei vorzugsweise eine konstante Fahrzeuggeschwindigkeit zwischen den Aufnahmezeitpunkten der Bilder 2a bis 2e vorliegt. Mit Hilfe eines SuperResolution-Verfahrens werden Bildbestandteile der einzelnen Bilder 2a bis 2e nach einer entsprechenden Größenänderung der einzelnen Bildbestandteile des Verkehrszeichens überlagert und zu einem neuen Gesamtbild des Verkehrszeichens zusammengefügt, wobei aufgrund der Redundanz und der Ergänzung von lokalen Informationen eine Bildverbesserung erreicht wird, wie dies in Figur 2f dargestellt ist.

In den Figuren 3a bis 3 e sind weitere unter anderen Aufnahmebedingungen durch das Kamerasystem 12 aufgenommene Bilder anderer Abbildun-

gen des in den Figuren 2a bis 2e dargestellten Verkehrszeichens gezeigt, wobei die in den Figuren 3a bis 3e gezeigten Bilder eine relativ große Bewegungsunschärfe, insbesondere in Folge relativ großer Belichtungszeiten und der Eigenbewegung des Kamerasystems 12 während der Belichtung, aufweisen. Durch eine entsprechende überlagerung, die im Wesentlichen auf die gleiche Weise wie die überlagerung der in den Figuren 2a bis 2e erfolgt, werden die dem Verkehrszeichen zugeordneten Bildbestandteile der in den Figuren 3a bis 3e gezeigten Bilder zu dem in Figur 3f gezeigten Bild überlagert. Sowohl das in Figur 2f als auch in Figur 3f gezeigte Bild haben eine für die Klassifizierung des Verkehrszeichens erheblich verbesserte Bildqualität gegenüber den jeweiligen Ursprungsbildern, sodass durch die Bilder der Figuren 2f und 3f eine wesentlich höhere Erkennungsqualität bei der Erkennung des Verkehrszeichens erreicht werden kann. Somit wird auch die Wahrscheinlichkeit erhöht, dass das durch die Klassifizierung erkannte Verkehrszeichen mit dem tatsächlich vorhandenen Verkehrszeichen übereinstimmt.

Die sich im Fahrschlauch des Fahrzeugs befindenden zu klassifizierenden Objekte bewegen sich auf Grund der Relativbewegung des Fahrzeugs zwischen den Aufnahmezeitpunkten der Bilder bezogen auf die Bildebene des Kamerasystems 12. Diese Bewegung ist durch die unterschiedlichen Positionen desselben Objekts in mehreren nacheinander aufgenommenen Bildern sichtbar. Zur überlagerung der Bildbestandteile eines Objekts aus mehreren Bildern der Bildfolge wird aus diesem Grund vorzugsweise die Position und/oder Größe der Bildbestandteile so angepasst, dass bei einer überlagerung eine verbesserte Darstellung des Verkehrszeichens erreicht wird. Dadurch können zur Verkehrszeichenerkennung qualitativ hochwertige Bilder eines im Fahrschlauch angeordneten Verkehrszeichens erzeugt werden.

Die Objekte in den Einzelbildern werden in Folge der beschriebenen Relativbewegung zwischen Fahrzeug und Objekt oft nur unscharf dargestellt. Dies ist insbesondere dann der Fall, wenn bei einer dunklen Umgebung eine relativ lange Belichtungszeit zur Bildaufnahme erforderlich ist. Durch das überlagern von Aufnahmen einer Bildfolge und der dadurch erreichten überlagerung von Bildbestandteilen desselben Objekts werden bildsignalspezifische Informationen in den entsprechenden lokalen Bildausschnitten ausgenutzt, wobei das Objekt insbesondere das zu klassifizierende Verkehrszeichen ist und somit eine qualitative Verbesserung des Bildes des Verkehrszeichens bewirkt.

Bei der Verwendung von überlagerten bildsignalspezifischen Informationen zur qualitativen Verbesserung eines Bildes oder eines Bildbereiches erfolgt insbesondere eine vorteilhafte Ausnutzung der lokalen (z.B. bzgl. eines Pixels oder eines begrenzten mehrer Pixel umfassenden lokalen Bildbereiches) Variation eines Bildsignals in einer Bildfolge, wobei das Bildsignal stets von der gleichen Stelle eines Objektes emittiert wird. Dabei werden die Bilddaten mehrerer unabhängiger Bilder der Bildfolge genutzt, um das Bildsignal und die Variation zu ermitteln. Die Variation des Bildsignals überlagert zumindest Teile eines ungestörten Bildsignals bzw. eines ungestörten Bildes. Durch eine Analyse dieser Variationen kann mittels bekannter statistischer Methoden auf den ungestörten lokalen Bildsignalwert geschlossen werden. Im Kontext der relevanten Bildbestandteile eines Objektes ergibt dann die Ermittelung aller ungestörten lokalen Bildsignale in der Gesamtheit einen qualitativ verbesserten Bildbestandteil.

Insbesondere ist es durch die Erfindung nicht zwingend erforderlich, sehr hochwertige teure Optiken mit einer hohen Lichtempfindlichkeit und niedriger Blendenzahl oder einen Bildsensor mit hoher Lichtempfindlichkeit einzusetzen oder eine Modifizierung der Windschutzscheibe, insbesondere durch lokale Verwendung von Klarglas, durchzuführen, um die erforderliche Bildverbesserung der Abbildung des Objekts zu erzielen. Durch eine vorteilhafte Ausnutzung bildsignalspezifischer Informationen, die in den einzelnen Bildern der Bildfolge enthalten sind, kann beim ü- berlagern der Bildbestandteile des Objekts insbesondere eine lokale Bildauflösung erhöht und die Bewegungsunschärfe der Abbildung des Objekts reduziert (herausgerechnet) werden.

Die Bildverbesserung kann insbesondere mit Hilfe eines geeigneten Programms von einer Datenverarbeitungseinheit, insbesondere einem Signalprozessor oder einer anderen Steuereinheit, durchgeführt werden und ist für jedes Kamerasystem 12 bzw. jedes andere Bilderfassungssystem grundsätzlich anwendbar. Durch die erläuterte Vorgehensweise kann auch eine sichere Erkennung von Verkehrszeichen bei Dunkelheit sichergestellt werden. Die Bildverbesserung kann sowohl für Verkehrszeichen als auch für Verkehrszusatzzeichen erfolgen. Mit Hilfe der durchgeführten Bildverbesserung der Abbildung des Verkehrszeichens kann eine robuste Klassifikation mit einer höheren Performance und besserer Treffer- und Erkennungswahrscheinlichkeit erreicht werden.