ADC Automotive Distance Control Systems GmbH

Kemptenerstr . 99

D- 88131 Lindau

Verfahren zur adaptiven Bestimmung eines Schwellwerts zur Erkennung von Fahrzeuglichtern mit einem Kamerasystem

Die Erfindung betrifft ein Verfahren zur Bestimmung mindestens eines Schwellwerts zur Unterscheidung von entgegenkommenden Fahrzeuglichtern und Reflektoren bei Dunkelheit gemäß dem Oberbegriff von Anspruch 1 auf dem Gebiet der automatischen Lichtsteuerung in Kraftfahrzeugen.

Die Erkennung von Fahrzeugen bei Nacht wird insbesondere bei einer automatischen Lichtsteuerung in einem Fahrzeug benötigt. Ziel einer automatischen LichtSteuerung ist es, die Intensität und/oder Richtung der eigenen Fahrzeugscheinwerfer derart zu steuern, dass andere Verkehrsteilnehmer nicht geblendet werden.

Ein wichtiges Merkmal zur Erkennung von Fahrzeugen mittels einer Kamera bei Dunkelheit ist die Fahrzeugbeleuchtung von entgegenkommenden Fahrzeugen, die sich im Kamerabild durch Punkte hoher Intensität abbildet.

WO 2008/064621 Al zeigt ein Verfahren zur Erkennung von Reflektoren und Fahrzeuglichtern mit einem Kamerasensorsystem in einer Fahrzeugumgebung. Hierzu wird eine Bilderfolge der Fahrzeugumgebung aufgenommen. Zumindest ein Lichtpunkt in der Bilderfolge wird verfolgt (getrackt) . Die Intensität des Lichtpunkts in der Bilderfolge wird bestimmt und analysiert. Lichtpunkte oberhalb eines ersten Schwellwerts werden als

Fahrzeuglichter und Lichtpunkte unterhalb eines zweiten Schwellwerts werden als Reflektoren erkannt.

Es zeigt sich, dass dieses Verfahren mit fest vorgegebenen Schwellwerten bei einzelnen Exemplaren eines kommerziell erhältlichen Bildsensors nicht die gewünschte Zuverlässigkeit bei der Erkennung von Fahrzeuglichtern bzw. Reflektoren liefert .

Dies liegt zum einen daran, dass jedes Exemplar eines Bildsensors eine geringfügig unterschiedliche Sensitivität aufweist. Zum anderen treten änderungen der Sensitivität im Laufe der Zeit bei jedem Bildsensor auf. Dies können sowohl Verschlechterungen der Sensitivität durch Degradation insbesondere der Farbfilter (Bayer-Pattern) als auch Erhöhungen der Sensitivität insbesondere durch spätes Aushärten von Kunststoffen im Sichtbereich des Bildsensors sein, wodurch das Sichtfeld klarer wird.

Aufgabe der vorliegenden Erfindung ist ein Verfahren, das eine erhöhte Zuverlässigkeit der Unterscheidung zwischen entgegenkommenden Fahrzeuglichtern und Reflektoren für Bildsensoren mit unterschiedlicher Sensitivität über einen langen Zeitraum bietet .

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 gelöst . Vorteilhafte Weiterbildungen der Erfindung ergeben sind aus den Unteransprüchen, wobei auch Kombinationen und Weiterbildungen einzelner Merkmale miteinander denkbar sind.

Das erfindungsgemäße Verfahren zur Bestimmung mindestens eines Schwellwerts zur Unterscheidung von Reflektoren und Fahrzeuglichtern bei Dunkelheit, die als Lichtpunkte von

einem in die Umgebung eines Fahrzeugs ausgerichteten Kamerasensor aufgenommen werden, umfasst die nachfolgend genannten Schritte.

Der Kamerasensor nimmt eine Serie von Bildern der Fahrzeugumgebung auf. Zumindest ein Lichtpunkt in der Bilderserie wird verfolgt (getrackt) . Aus Messwerten wie beispielsweise der Intensität des Lichtpunkts in jedem Bild wird nachträglich, das heißt nach der abgeschlossenen Verfolgung eines Lichtpunkts, mindestens ein Parameter des Lichtpunkts in der Bilderserie bestimmt. Geeignete Parameter sind beispielsweise die mittlere Intensität des Lichtpunkts, die maximale Intensität des Lichtpunkts in der gesamten Bilderserie oder die Lebensdauer des Lichtpunkts. Die maximale Intensität entspricht insbesondere für entgegenkommende Fahrzeuge typischerweise der Endintensität. Die Lebensdauer ergibt sich aus der Anzahl der Einzelbilder, in denen der Lichtpunkt getrackt wird.

Der Schwellwert zur Unterscheidung von Reflektoren und Fahrzeuglichtern bei Dunkelheit wird im Folgenden an den bzw. die ermittelten Parameter angepasst . Dazu wird eine Häufigkeitsverteilung über den mindestens einen Parameter von mehreren über mehrere Bilder verfolgten Lichtpunkten aufgestellt. Der ermittelte Parameterwert dieses Lichtpunkts wird in eine Häufigkeitsverteilung der Parameterwerte aus früher verfolgten Lichtpunkten aufgenommen. Aus der aktualisierten Häufigkeitsverteilung der Parameterwerte wird ein neuer Schwellwert zur Unterscheidung von Fahrzeuglichtern und Reflektoren ermittelt. Diese Schwellwertbestimmung geht von unterschiedlichen Eigenschaften der Parameterwerte für Fahrzeuglichter und Reflektoren aus.

Aufgrund der Tatsache, dass Fahrzeuglichter schon in großer Entfernung erkannt werden, weisen Lichtpunkte von Fahrzeuglichtern eine längere Lebensdauer sowie eine höhere Endintensität (maximale Intensität) gegenüber anderen Lichtpunkten im Bild auf. Reflektoren werden hingegen erst im Nahbereich erfasst und besitzen daher eine kürzere Lebensdauer als Fahrzeuglichter. Auch ist die maximale Intensität von Lichtpunkten von Reflektoren in der Regel niedriger als die von Fahrzeuglichtern.

Unter Berücksichtigung dieser oder vergleichbarer unterschiedlicher Eigenschaften wird ein optimaler Schwellwert für die zuverlässige Entscheidung anhand der vorliegenden Häufigkeitsverteilung ermittelt. Bei der Berücksichtigung von mehreren Parametern ist der Schwellwert von mehreren Parametern abhängig, der Schwellwert nimmt dann die Form einer Grenzlinie oder -fläche an.

Nach einer zeitlichen Filterung, insbesondere einer zeitlichen Tiefpassfilterung, wird der Schwellwert zur Unterscheidung von Reflektoren und Fahrzeuglichtern neu festgesetzt. Durch die zeitliche Filterung wird der Schwellwert an die aktuell vorliegende Situation angepasst . Einzelne Ausreißer von ermittelten Parameterwerten werden dabei nicht überbewertet. Dies verhindert beispielsweise eine zeitliche Tiefpassfilterung.

Gemäß einem bevorzugten Ausführungsbeispiel wird die Häufigkeitsverteilung der ermittelten Parameterwerte für Fahrzeuglichter und für Reflektoren durch Anwendung von Methoden der Entscheidungstheorie analysiert und aus dieser Analyse der Schwellwert neu festgesetzt. Geeignete Methoden

der Entscheidungstheorie sind beispielsweise die Analyse einer Kostenfunktion oder die Maximum-Likelihood-Theorie . Ziel dieser Methoden ist es, den Schwellwert so festzusetzen, dass die Anzahl an Fehlentscheidungen minimal ist.

Gemäß einer weiteren bevorzugten Ausführungsform wird als Parameter die maximale Intensität eines Lichtpunkts verwendet. Die maximale Intensität ist bezogen auf den Verlauf des ermittelten Intensitätswerts eines Lichtpunkts über alle Einzelbilder, in denen der Lichtpunkt verfolgt (getrackt) wurde.

Gemäß einer weiteren bevorzugten Ausführungsform wird als zweiter Parameter die Lebensdauer eines Lichtpunkts verwendet .

Die Erfindung schließt eine Vorrichtung zur Unterscheidung von Reflektoren und Fahrzeuglichtern bei Dunkelheit in einem Fahrzeugumfeld ein. Die Vorrichtung umfasst einen. Kamerasensor und eine Auswerteeinheit, die die vom Kamerasensor erfassten Bilddaten auswertet und dazu eines der beschriebenen Verfahren anwendet .

Die Vorteile der Erfindung sind die hohe Anpassungsfähigkeit an mit der Zeit auftretende Parameterverschiebungen aufgrund von Materialveränderungen im Bereich des Kamerasensors und/oder davorliegendem Glas wie z.B. der Windschutzscheibe. Für jedes einzelne Sensorexemplar kann mit Hilfe des Verfahrens ein angepasster Schwellwert ermittelt werden. Die Anpassung ist kostengünstig und zuverlässig. Auch eine Anpassung an unterschiedlich helle Reflektoren und/oder Fahrzeugscheinwerfer in diversen Ländern wird durch das erfindungsgemäße Verfahren ermöglicht.

Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen und Zeichnungen näher erläutert.

Fig. 1 zeigt schematisch eine mögliche Häufigkeitsverteilung der maximalen Intensitäten von Lichtpunkten.

Fig. 2 zeigt schematisch eine mögliche Verteilung von maximalen Intensitäten und Lebensdauern von Lichtpunkten.

Fig. 3 zeigt ein Flussdiagramm des Verfahrens zur Bestimmung mindestens eines Schwellwerts zur Unterscheidung von Reflektoren und Fahrzeuglichtern bei Dunkelheit.

Eine schematische Häufigkeitsverteilung der ermittelten maximalen Intensitäten von Lichtpunkten in Fig. 1 veranschaulicht ein erstes Ausführungsbeispiel der Erfindung. Aufgetragen ist die Anzahl n der Lichtpunkte mit einer maximalen Intensität I _max .

Die maximale Intensität I _ma χ eines Lichtpunkts ist dabei bezogen auf den Verlauf des ermittelten Intensitätswerts eines Lichtpunkts über alle Einzelbilder, in denen der Lichtpunkt verfolgt (getrackt) wurde. Die Verteilung weist zwei deutlich erkennbare Maxima und ein dazwischenliegendes Minimum auf .

Da die maximale Intensität I _ma χ eines Lichtpunkts, der von einem entgegenkommenden Fahrzeuglicht herrührt, in den allermeisten Fällen größer ist als die maximale Intensität I _max eines Lichtpunkts, der von einem Reflektor stammt, wird das Maximum mit der größeren maximalen Intensität I _max Fahrzeuglichtern (FL) zugeordnet und das andere Maximum Reflektoren (R) .

Die Häufigkeitsverteilung wird nun ausgewertet mit dem Ziel, einen Schwellwert zu bestimmen, der die beiden Bereiche (FL) und (R) der maximalen Intensitäten I _max für Fahrzeuglichter und Reflektoren voneinander trennt. Eine erste Möglichkeit besteht beispielsweise darin, die maximale Intensität I _max des Minimums der Verteilung als Schwellwert S festzusetzen. Auf diese Weise könnte auch ohne vorherige Kenntnis eines geeigneten Schwellwerts S ein solcher bestimmt werden. Die Voraussetzung dazu ist, dass eine ausreichende Häufigkeitsverteilung bereits ermittelt wurde. Eine alternative Möglichkeit zur Ermittlung eines Schwellwerts S' besteht darin, eine Verteilung der maximalen Intensitäten I _max für Fahrzeuglichter und eine für Reflektoren anzunehmen und diese an die ermittelte Gesamtverteilung anzupassen (Fitverfahren) . Dies würde den beiden gepunktet dargestellten Kurvenverläufen entsprechen. Ein geeigneter Schwellwert S' wäre dann insbesondere der Intensitätswert I _max / bei dem beide Lichtpunktursachen gleich häufig sind, also der Schnittpunkt der beiden Einzelverteilungen (gestrichelten Linien) .

Fig. 2 zeigt schematisch die Verteilung der Lichtpunkte auf die Achsen Lebensdauer τ und maximale Intensität des Lichtpunkts. Im dargestellten Fall befinden sich alle Lichtpunkte innerhalb von zwei gegeneinander abgegrenzten Gebieten. Da Reflektoren erst im Nahbereich des eigenen Fahrzeugs erfasst werden, besitzen sie eine kürzere Lebensdauer τ als Fahrzeuglichter, die schon in großer Entfernung detektiert werden. Wie Fig. 1 zu entnehmen ist, weisen Fahrzeuglichter eine hohe Endintensität auf, also eine hohe maximale Intensität I _ma χ im Verlauf ihrer Lebensdauer τ. Die maximale Intensität I _max von Reflektoren liegt in der Regel darunter, aber nicht immer. Auch die Lebensdauer τ kann

im Einzelfall für ein Fahrzeuglicht und einen Reflektor vergleichbar sein. Werden beide Parameter berücksichtigt, wie in Fig. 2 dargestellt, lassen sich die Bildpunkte von Fahrzeuglichtern (FL) und Reflektoren (R) zuverlässiger voneinander unterscheiden, die beiden Bereiche lassen sich klar zuordnen. In der Regel überlappen die Regionen (FL) und

(R) wie in Fig. 2 exemplarisch dargestellt gar nicht. Der „Schwellwert" wird zu einer Grenzlinie S, die beide Bereiche

(FL) und (R) voneinander trennt. In Fig. 2 ist die Grenzlinie S als Gerade dargestellt, sie könnte auch eine Kurvenform aufweisen. Anders als in Fig. 2 dargestellt, könnten beide Bereiche (FL) und (R) auch überlappen. Eine Grenzlinie könnte dann durch das Tal zwischen beiden Gipfeln der Gesamtverteilung gelegt werden. Eine Unterscheidung anhand von zwei Parametern (Grenzlinie) wird aber gegenüber einer Unterscheidung an Hand eines Parameters (Schwellwert) stets zuverlässiger sein. Durch die Berücksichtigung von drei Parametern könnte die Zuverlässigkeit unter Umständen weiter gesteigert werden, man würde eine Grenzfläche zur Trennung der Unterräume (FL) und (R) festlegen.

Fig. 3 zeigt ein Flussdiagramm für ein entsprechendes Verfahren zur Anpassung des Schwellwerts. Der erste Schwellwert S ₀ wird plausibel vorgegeben. Er kann beispielsweise aus einer Anfangsverteilung wie sie in Fig. 1 oder Fig. 2 gezeigt ist ermittelt werden. Alternativ kann ein geeigneter Schwellwert S ₀ aus einer Kalibrierung ermittelt werden, bei der die Unterscheidung zwischen Reflektoren und Fahrzeuglichtern von einem Trainer getroffen wird.

Am Anfang jedes Verfahrenszyklus wird ein Lichtpunkt getrackt . Aus Messwerten des Lichtpunkts im Verlauf der Bilderserie wird nachträglich mindestens ein Parameter wie

z.B. die Lebensdauer τ oder die maximale Intensität I _ma χ bestimmt .

Der ermittelte Parameterwert wird in die bisherige Häufigkeitsverteilung n aufgenommen. Denkbar ist eine kumulative Häufigkeitsverteilung n, die alle Parameterwerte seit dem Start des Verfahrens enthält. Denkbar ist aber auch eine Häufigkeitsverteilung n, die z.B. stets die letzten 1000 Parameterwerte enthält . Im nächsten Schritt wird diese Häufigkeitsverteilung n ausgewertet. Dabei können Methoden der Entscheidungstheorie zum Einsatz kommen. Es kann auch wie bei der Erläuterung zu Fig. 1 bzw. 2 beschrieben wurde vorgegangen werden. Ziel der Auswertung ist, den optimalen- Schwellwert S _neu für die vorliegende Häufigkeitsverteilung n zu ermitteln. Stimmt der ermittelte Schwellwert S _neu mit bisherigen Schwellwert S überein, so ist keine Neufestsetzung erforderlich und der nächste Verfahrenszyklus beginnt. Unterscheidet sich der ermittelte Schwellwert S _neu vom bisherigen Schwellwert S, so wird über eine zeitliche Filterung der Schwellwert S entsprechend dem ermittelten Schwellwert S _neu festgesetzt und der nächste Verfahrenszyklus beginnt. Die zeitliche Filterung könnte auch anders als im Flussdiagramm dargestellt vor der Ermittlung des Schwellwerts S _neu durchgeführt werden.

Entscheidend ist dabei, dass der Schwellwert S bei jedem Zyklus überprüft und gegebenenfalls angepasst wird. Wenn sich zum Beispiel alle Intensitäten im Laufe der Zeit aufgrund sinkender Sensitivität des Kamerasensors erniedrigen, so wird durch dieses Verfahren auch der Schwellwert S gesenkt . Die zuverlässige Unterscheidung zwischen Fahrzeuglichtern und Reflektoren bleibt erhalten. Durch die ^" Anpassung des Schwellwerts S ist gewährleistet, dass die automatische

Lichtsteuerung zuverlässig funktioniert. Denn der Schwellwert S ist ein wesentliches Kriterium für die laufende Unterscheidung einer automatischen Lichtsteuerung: Liegt beispielsweise ein aktueller Intensitätswert eines Lichtpunkts in einem vom Kamerasensor erfassten Einzelbild erstmals oberhalb des Schwellwerts S, so wird entschieden, dass es sich bei dem Lichtpunkt nicht mehr um einen Reflektor handeln kann, sondern um ein entgegenkommendes Fahrzeuglicht und demzufolge abgeblendet werden muss.