Technisches Gebiet

Die vorliegende Erfindung betrifft Bilderfassungs- und Bild- Verarbeitungssysteme in Kraftfahrzeugen.

Insbesondere betrifft die vorliegende Erfindung eine Vorrichtung und ein Verfahren zum Detektieren einer Ampelphase per Kamera für ein Kraftfahrzeug.

Technischer Hintergrund

Die Veröffentlichung DE 102015003847 AI beschreibt ein Verfahren zum Erfassen von Lichtsignalen von wenigstens einer Licht- Signaleinrichtung einer WechsellichtZeichenanlage und zum

Signalisieren der Lichtsignale an einen Fahrer eines Fahrzeugs. Folgende Schritte sind hierzu vorgesehen:

1. eine optische Erfassung eines Bereichs der Umgebung vor dem Fahrzeug mittels wenigstens einer fahrzeugseitigen Bilder- fassungseinrichtung;

2. eine Auswertung der von der wenigstens einen fahrzeugseitigen Bilderfassungseinrichtung erfassten Bilddaten durch eine Bildauswertungseinrichtung, welche die erfassten Bilddaten auf das Vorhandensein eines roten Lichtsignals von wenigstens einer Lichtsignaleinrichtung einer WechsellichtZeichenanlage hin auswertet ;

3. Anzeigen des roten Lichtsignals von wenigstens einer in den ausgewerteten Bilddaten erkannten Lichtsignaleinrichtung mittels einer fahrzeugseitigen Anzeigeeinrichtung. Bezüglich des Schrittes 2 wird in der Veröffentlichung erläutert: „Derartige Bildauswertungseinrichtungen und Verfahren zur Bildauswertung sind ebenfalls aus dem Stand der Technik bekannt, so dass hier nicht näher darauf eingegangen zu werden braucht".

Die Bestimmung der aktuell geschalteten Ampelphase, etwa rot, gelb, grün, durch Verfahren der computergestützten optischen Bilderkennung einer zuvor detektierten Ampel im Bereich der Gefahren-und Situationserkennung in Verkehrsszenen wird jedoch durch folgende Faktoren erschwert: i) Auftretendes Blendlicht oder Überbelichtung des aufgenommenen Abbildes ;

ii) Reflexionen auf dem Ampelglas im aufgenommenen Abbild, die nicht von der Ampel stammen, etwa verursacht durch Fremdlicht; iii) schlechter Kontrast bei der Aufnahme des Abbildes, etwa beim Abbilden der Ampel mit hellem Hintergrund (Himmel) direkt an der Haltelinie vor einer Überkopfampel ;

iv) steiler Blickwinkel, etwa beim Abbilden der Ampel ebenfalls direkt an der Haltelinie vor einer Überkopfampel ; oder v) teilweise Verdeckung des Bereichs des roten, grünen oder gelben Lichts durch den Lampenschirm der Ampel, etwa bei seitlicher Aufnahme, etwa einer am rechten Fahrbahnrad plat ^¬ zierten Ampel bei Halt direkt an der Haltelinie.

Zusammenfassung der Erfindung

Es ist eine Aufgabe der vorliegenden Erfindung, eine verbesserte optische Bilderkennung für Ampelphasen von Verkehrsampeln breitzustellen .

Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Weiterbildungen und Ausführungsformen sind den abhängigen Patentansprüchen, der Beschreibung und den Figuren der Zeichnungen zu entnehmen.

Ein erster Aspekt der vorliegenden Erfindung betrifft eine Vorrichtung zum Detektieren einer Ampelphase für ein Kraftfahrzeug .

Die Vorrichtung umfasst eine Bildsensoreinrichtung, welche dazu ausgebildet ist, ein Abbild einer Ampel aufzunehmen und in Form von Bilddaten bereitzustellen.

Die Vorrichtung umfasst ferner eine Segmentierungseinrichtung, welche dazu ausgebildet ist, mindestens einen Teilbereich des aufgenommenen Abbilds zu definieren und mindestens einem Am- pellicht der Vielzahl von Ampellichtern der Ampel zuzuordnen.

Die Vorrichtung umfasst ferner eine Skalierungseinrichtung, welche dazu ausgebildet ist, eine maximale Farbsättigung und/oder eine maximale Helligkeit in dem mindestens einem Teilbereich zu ermitteln. Gemeint ist hierbei insbesondere die maximale Farbsättigung bzw. Helligkeit für einen Pixel bzw. einen kleinen zusammenhängenden Pixelbereich in dem Teilbereich.

Die Vorrichtung umfasst ferner eine Rechnereinrichtung, welche dazu ausgebildet ist, basierend auf der ermittelten maximalen Farbsättigung und/oder der ermittelten maximalen Helligkeit einen Ampelstatus der Ampel zu bestimmten.

Mit anderen Worten ausgedrückt ermöglicht die vorliegende Erfindung vorteilhaft, eine Erkennung von Ampeln und ihrer jeweiligen Ampelphase zu gewährleisten.

Die vorliegende Erfindung ermöglicht vorteilhaft auch die Erkennung von einer Überkopfampel aus einem Fahrzeug direkt an der Haltelinie - d.h. mit unvorteilhaftem, steilem Sichtwinkel auf die Ampel - mit einer Weitwinkeloptik zu gewährleisten.

Vorteilhafte Ausgestaltungen der vorliegenden Erfindung sind den Unteransprüchen zu entnehmen.

Gemäß einer bevorzugten Ausführungsform ist die Segmentierungseinrichtung dazu ausgebildet für jedes Ampellicht, gemeint ist jede Ampelfarbe, einer detektierten Ampel einen Teilbereich des aufgenommenen Abbilds zu definieren und dem (jeweiligen) Ampellicht zuzuordnen. Die Skalierungseinrichtung ist bevorzugt dazu ausgebildet, für jeden der Teilbereiche maximale und mittlere Farbsättigung und/oder maximale und mittlere Helligkeit zu ermitteln. Die Rechnereinrichtung ist bevorzugt dazu aus- gebildet, aus einem Vergleich von maximaler zu mittlerer

Farbsättigung (bzw. Helligkeit) für sämtliche Teilbereiche einer Ampel, den Ampelstatus der Ampel zu bestimmen.

Mit anderen Worten wird in jedem Ampellicht (nach Rot, Gelb u. Grün getrennt) ein Zentrum mit maximaler Helligkeit und/oder Farbsättigung gesucht und mit der Helligkeit in dem restlichen Bereich des jeweiligen Ampellichts verglichen. Die Ampelphase wird aus dem Verhältnis des Maximalwerts und dem Mittelwert im Bereich des jeweiligen Ampel-Lichts berechnet.

Die Verwendung der "einfachen Helligkeit" der jeweiligen Am- pellichter zur Erkennung wäre in den meisten Fällen, bei denen Ampellichter z.B. durch Fremdlicht "nur" hell reflektieren, nicht ausreichend, um die Ampelphase bestimmen zu können.

In einer vorteilhaften Ausführungsform der vorliegenden Er- findung ist vorgesehen, dass die Rechnereinrichtung dazu ausgebildet ist, basierend auf i) Kontrastwerten des aufgenommenen Abbildes; ii) vorherrschenden Lichtverhältnissen bei Aufnahme des Abbildes; oder

iii) Leistungsparametern der verwendeten Kamera den Ampelstatus der Ampel mit Hilfe von i) der ermittelten maximalen Farbsättigung allein;

ii) der ermittelten maximalen Helligkeit allein; oder

iii) sowohl der ermittelten maximalen Farbsättigung als auch der ermittelten maximalen Helligkeit zu bestimmten.

In einer vorteilhaften Ausführungsform der vorliegenden Er- findung ist vorgesehen, dass die Skalierungseinrichtung dazu ausgebildet ist, die maximale Farbsättigung und die maximale Helligkeit in dem mindestens einem Teilbereich basierend auf einer Auswertung des HSV-Farbraums des Abbildes zu ermitteln. Dabei kann die Auswertung des HSV-Farbraums auch auf den Teilbereich beschränkt sein.

In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Segmentierungseinrichtung dazu ausgebildet ist, den Teilbereich des Ampellichtes der Ampel basierend auf einer optischen Bilderkennung von Signallampengläsern der Ampel zuzuordnen.

In einer vorteilhaften Ausführungsform der vorliegenden Erfindung ist vorgesehen, dass die Bildsensoreinrichtung ein Weitwinkelobjektiv umfasst.

Der Begriff „Weitwinkelobjektiv" wie von der vorliegenden Erfindung verwendet, umfasst dabei ein Objektiv mit einem Bildwinkel, der größer ist als der von Normalobjektiven, beispielsweise ein Bildwinkel, der größer ist als 40° oder größer ist als 50° oder größer ist als 60°.

In einer vorteilhaften Ausführungsform der vorliegenden Er- findung ist vorgesehen, dass die Bildsensoreinrichtung eine nach oben weisende Blickrichtung aufweist und dazu ausgebildet ist, ein Abbild von einer Überkopfampel aufzunehmen. Dies ermöglicht vorteilhaft, steile Sichtwinkel und die daraus resultierende verringerte Kontrastqualität des aufgenommenen Abbildes zu kompensieren.

Die beschriebenen Ausgestaltungen und Weiterbildungen lassen sich beliebig miteinander kombinieren. Weitere mögliche Ausgestaltungen, Weiterbildungen und Implementierungen der vorliegenden Erfindung umfassen auch nicht explizit genannte Kombinationen von zuvor oder im Folgenden bezüglich der Ausführungsformen beschriebenen Merkmale der vorliegenden Erfindung.

Die beiliegenden Zeichnungen sollen ein weiteres Verständnis der Ausführungsformen der vorliegenden Erfindung vermitteln.

Die beiliegenden Zeichnungen veranschaulichen Ausführungsformen und dienen im Zusammenhang mit der Beschreibung der Erklärung von Konzepten der vorliegenden Erfindung.

Andere Ausführungsformen und viele der genannten Vorteile ergeben sich im Hinblick auf die Figuren der Zeichnungen. Die dargestellten Elemente der Figuren der Zeichnungen sind nicht notwendigerweise maßstabsgetreu zueinander gezeigt.

Kurze Beschreibung der Figuren Es zeigen:

Fig. 1: eine schematische Darstellung einer Vorrichtung zum

Detektieren einer Ampelphase per Kamera für ein Kraftfahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und

Fig. 2: eine schematische Darstellung eines Flussdiagramms eines Verfahrens zum Detektieren einer Ampelphase per Kamera für ein Kraftfahrzeug gemäß einem weiteren

Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 3: eine schematische Darstellung einer segmentierten

Überkopfampel gemäß einem weiteren Ausführungsbei- spiel der vorliegenden Erfindung; und

Fig. 4: eine schematische Darstellung eines Abbildes einer

Überkopfampel gemäß einem weiteren Ausführungsbei ^¬ spiel der vorliegenden Erfindung.

Detaillierte Beschreibung der Ausführungsbeispiele

In den Figuren der Zeichnungen bezeichnen gleiche Bezugszeichen gleiche oder funktionsgleiche Elemente, Bauteile, Komponenten oder Verfahrensschritte, soweit nichts Gegenteiliges angegeben ist .

Bei dem Kraftfahrzeug bzw. Fahrzeug handelt es sich bei ^¬ spielsweise um ein Kraftfahrzeug oder um ein Hybridfahrzeug, beispielsweise ein Hybridfahrzeug mit Segelfunktion, bei ^¬ spielsweise ein Motorrad, ein Bus oder ein Lastkraftwagen oder ein Fahrrad. Als Ampel oder Verkehrsampel wird von der vorliegenden Erfindung ein Signalgeber einer Lichtsignalanlage, LSA, im Straßenverkehr bezeichnet . Diese optischen Signalgeber in Form von Leuchtsignalen sind nach Form und Farbe verschiedenartigen Verkehrszeichen haben jeweils eine andere Bedeutung und wirken nur entgegen der Fahrtrichtung des zu regelnden Verkehrs. Fahrerassistenzsysteme benötigen eine Auswertung der jeweiligen Zustände der Ampeln bzw. Verkehrsampel, d.h. eine Evaluieren der Ampelphase, meist per optischer Bilderkennung und -Verarbeitung.

Der Begriff „HSV-Farbraum" wie von der vorliegenden Erfindung verwendet bezeichnet einen Farbraum basierend auf einem

Farbmodell, bei welchem man die Farbe basierend auf einem Farbwert, auf Englisch „hue", der Farbsättigung, auf Englisch „Saturation" und dem Hellwert, auf Englisch „value" definiert. In einer Ausführungsform der vorliegenden Erfindung kann auch ein HSL-Farbraum mit der relativen Helligkeit auf Englisch „lightness", oder ein HSB-Farbraum mit der absoluten Helligkeit auf Englisch „brightness" oder ein HSI-Farbraum mit der

Lichtintensität auf Englisch „intensity" verwendet werden.

Die Fig. 1 zeigt eine schematische Darstellung einer Vorrichtung zum Detektieren einer Ampelphase für ein Kraftfahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 1 umfasst eine Bildsensoreinrichtung 10, eine Segmentierungseinrichtung 20, eine Skalierungseinrichtung 30, und eine Rechnereinrichtung 40. Die Bildsensoreinrichtung 10 ist dazu ausgebildet, ein Abbild einer Ampel aufzunehmen und in Form von Bilddaten bereitzustellen . Die Segmentierungseinrichtung 20 ist dazu ausgebildet, einen Teilbereich des aufgenommenen Abbilds zu definieren und mindestens einem Ampellicht der Vielzahl von Ampellichtern der Ampel zuzuordnen . Die Skalierungseinrichtung 30 ist dazu ausgebildet, eine ma ^¬ ximale Farbsättigung und/oder eine maximale Helligkeit in dem Teilbereich zu ermitteln.

Die Rechnereinrichtung 40 ist dazu ausgebildet, basierend auf der ermittelten maximalen Farbsättigung und/oder der ermittelten maximalen Helligkeit einen Ampelstatus der Ampel zu bestimmten.

Die Fig. 2 zeigt eine schematische Darstellung eines Fluss ^¬ diagramms eines Verfahrens zum Detektieren einer Ampelphase per Kamera für ein Kraftfahrzeug gemäß einem weiteren Ausfüh ^¬ rungsbeispiel der vorliegenden Erfindung.

Das Verfahren zum Detektieren einer Ampelphase per Kamera für ein Kraftfahrzeug umfasst die folgenden Verfahrensschritte:

Als ein erster Verfahrensschritt erfolgt ein Aufnehmen Sl eines Abbilds einer Ampel mittels einer Bildsensoreinrichtung 10 und Bereitstellen des Abbildes in Form von Bilddaten. Die Bilddaten sind beispielsweise binär codierte Daten in elektronischer Form zur Wiedergabe von Bildinformationen.

Als ein zweiter Verfahrensschritt erfolgt ein Definieren S2, auch Segmentieren, mindestens eines Teilbereiches des aufgenommenen Abbilds mittels einer Segmentierungseinrichtung 20 und ein Zuordnen des mindestens einen Teilbereiches zu mindestens einem Ampellicht der Ampel mittels der Segmentierungseinrichtung 20.

Als ein dritter Verfahrensschritt erfolgt ein Ermitteln S3 einer maximalen Farbsättigung und/oder einer maximalen Helligkeit in dem mindestens einen Teilbereich mittels einer Skalierungs ^¬ einrichtung 30.

Als ein vierter Verfahrensschritt erfolgt ein Bestimmen S4 eines Ampelstatus der Ampel basierend auf der ermittelten maximalen Farbsättigung und/oder der ermittelten maximalen Helligkeit mittels einer Rechnereinrichtung 40.

Die Fig. 3 zeigt eine schematische Darstellung einer Auswahl von segmentierten Überkopfampeln anhand von mit einer

Bildsensoreinrichtung aufgenommenen Abbildern von Ampeln zur Erläuterung der Erfindung.

Für die sieben dargestellten Ampeln wurde eine Segmentierung vorgenommen, d.h. Teilbereichen SM1-1, SM7-3 des aufgenommenen Abbilds wurden beispielsweise von der Segmentie ^¬ rungseinrichtung 20 definiert und den Ampellichtern, d.h. rot (z.B. SM1-1, SM2-1, SM7-1), gelb (SM1-2, SM7-2), grün

(SM1-3, SM7-3), der Ampel zugeordnet.

Die in der Fig. 3 dargestellten Ampeln sind dabei beispielsweise segmentierte Überkopfampeln bei abnehmender Distanz und zunehmenden Sichtwinkel, wobei der Sichtwinkel von 1 nach 7 zunimmt .

Die Kreise zeigen die Teilbereiche SM1-1, SM7-3 innerhalb welcher die Skalierungseinrichtung 30 jeweils eine maximale und eine durchschnittliche Farbsättigung und eine maximale und eine durchschnittliche Helligkeit ermittelt, die maximale Helligkeit ist dabei auch mit zunehmenden Sichtwinkel im Gegensatz zur gesamt Helligkeit des Teilbereiches SM1-1, SM7-3 mehr oder weniger konstant, von links nach rechts, d.h. von 1 nach 7. Bei den fünf ersten dargestellten Ampeln (SM1-..., SM5-...) zeigt jeweils der unterste Teilbereich (SM1-3, SM5-3) die höchste mittlere Farbsättigung und die höchste mittlere Helligkeit (verglichen mit den beiden oberen Teilbereichen) . Dagegen zeigt die sechste Ampel (SM6-...) im obersten Teilbereich (SM6-1) die höchste mittlere Farbsättigung und die höchste mittlere Hel ^¬ ligkeit. Eine Ampelerkennung nach dem Stand der Technik würde also zu dem Ergebnis kommen, dass die Ampel rot signalisiert. Dagegen ist die maximale Farbsättigung und Helligkeit auch bei der sechsten Ampel im untersten Teilbereich (SM6-3) am höchsten. Bei der siebten Ampel (SM7-...) ist dagegen die mittlere Farb- Sättigung und Helligkeit im mittleren Teilbereich (SM7-2) am höchsten. Eine Ampelerkennung nach dem Stand der Technik würde hier zu dem Ergebnis kommen, dass die Ampel gelb signalisiert. Dagegen ist auch hier die maximale Farbsättigung und Helligkeit auch bei der sechsten Ampel im untersten Teilbereich (SM7-3) am höchsten. Mit der beschriebenen Vorrichtung kann also stets zutreffend erkannt werden, dass alle sieben Ampeln grün sig ^¬ nalisieren .

In einer besonders bevorzugten Ausführungsform kann durch die Verhältnisbildung von maximaler zu durchschnittlicher Helligkeit bzw. Farbsättigung noch klarer ermittelt werden, welches Ampelsignal eine segmentierte Ampel zeigt: es ist dasjenige mit dem höchsten Verhältniswert. Die Fig. 4 zeigt eine schematische Darstellung eines Abbildes einer Überkopfampel gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung. Die Fig. 4 zeigt ein Ausführungsbeispiel mit erschwerten Be ^¬ dingungen für die Detektion der Ampelphase. Die linke Ampel zeigt den höchsten Mittelwert für das rote Ampellicht und den ge ^¬ ringsten Mittelwert für das grüne Ampellicht. Bei einer Ma- ximalwertbildung zeigt sich, dass rot und gelb eine vergleichbare Helligkeit und Farbsättigung aufweisen. Die Ampel zeigt also gelb-rot .

Wie aus der Fig. 4 ersichtlich würde eine Mittelwertbildung für das gelbe Ampellicht für die rechte Ampel zu deutlich geringeren Werten führen als die annähernd gleichen Mittelwerte für das rote und das grüne Ampellicht. Die Ampelerkennung muss aber eine Entscheidung treffen, denn eine rot-grüne Ampelphase existiert nicht. Bei einer Maximalwertbildung zeigt sich, dass das rote Ampellicht die niedrigere maximale Helligkeit bzw . Farbsättigung aufweist verglichen mit dem grünen Ampellicht.

Insbesondere weisen moderne Ampellichter Strahlverteiler bzw. Freiformreflektor, auch Stufenreflektoren, für LED Lichtquellen auf. Bei bestimmten, ungünstigen hohen Sichtwinkeln lassen

Strahlverteiler nur einen geringen Teil der Leuchtfläche beleuchtet erscheinen und somit erscheint der segmentierte Teilbereich des Ampellichtes nur teilweise aus dem hohen (beispielsweise > 30°) Sichtwinkeln als beleuchtet, d.h. wird nicht mit voller Farbsättigung und voller Helligkeit über die gesamte Fläche des Ampellichtes abgebildet.

Wie ebenfalls in der Fig. 4 erkennbar, ist jedoch die maximale Helligkeit bzw. der maximale Helligkeitswert im Bereich des jeweiligen Ampellichts kaum vom hohen Sichtwinkel beeinflusst und für das gelbe und das rote Ampellicht der rechten Ampel in etwa gleich niedrig. Die rechte Ampel zeigt also grün. Dies zeigt vorteilhaft, dass eine Bilddatenauswertung basierend auf der maximalen Farbsättigung und/oder der maximalen Helligkeit weniger störanfällig in Bezug auf Aufnahmen unter unterschiedlichen Sichtwinkeln ist und daher insgesamt zu- verlässiger ist.

Obwohl die vorliegende Erfindung anhand bevorzugter Ausführungsbeispiele vorstehend beschrieben wurde, ist sie nicht darauf beschränkt, sondern auf vielfältige Art und Weise mo- difizierbar. Insbesondere lässt sich die Erfindung in mannigfaltiger Weise verändern oder modifizieren, ohne vom Kern der Erfindung abzuweichen.

Ergänzend sei darauf hingewiesen, dass „umfassend" und „auf- weisend" keine anderen Elemente oder Schritte ausschließt und „eine" oder „ein" keine Vielzahl ausschließt.

Ferner sei darauf hingewiesen, dass Merkmale oder Schritte, die mit Verweis auf eines der obigen Ausführungsbeispiele be- schrieben worden sind, auch in Kombination mit anderen Merkmalen oder Schritten anderer oben beschriebener Ausführungsbeispiele verwendet werden können. Bezugszeichen in den Ansprüchen sind nicht als Einschränkung anzusehen.