Die Erfindung betrifft ein Verfahren zur Auswertung von Bilddaten einer Fahrzeugkamera, das insbesondere bei einem Fahrerassistenzsystem zum Einsatz kommt.

In vielen Fahrzeugen sind heute schon Regensensoren und Lichtsensoren integriert, um Scheibenwischer bzw. Licht anzusteuern. Da es immer mehr Fahrzeuge gibt, in die auch Kameras als Basis für Assistenz- oder Komfortfunktionen integriert sind, wird zunehmend dazu übergegangen, die Regen- bzw. Lichterkennung ebenfalls mit der Kamera durchzuführen .

In der WO 2010/072198 A1 wird eine Regenerkennung mit Hilfe einer Kamera beschrieben, die gleichzeitig für automotive Fahrerassistenzfunktionen eingesetzt wird. Zur

Regenerkennung wird eine bifokale Optik genutzt, die einen Teilbereich der Windschutzscheibe scharf auf einen Teilbereich des Bildsensors der Kamera abbildet.

EP 2057583 Bl zeigt eine kamerabasierte

Fahrerassistenzfunktion zur automatischen Lichtsteuerung von Frontscheinwerfern, die Fahrzeuglichter vorausfahrender oder entgegenkommender Fahrzeuge von Reflektoren unterscheidet. Dadurch können die Frontscheinwerfer des eigenen Fahrzeugs derart automatische gesteuert werden, dass eine Blendung von Fahrern vorausfahrender und entgegenkommender Fahrzeuge verhindert wird. Reichweite und Verteilung der Beleuchtung durch die Frontscheinwerfer können entsprechend an vorausfahrende und entgegenkommende Fahrzeuge angepasst werden.

Schwierigkeiten entstehen bei kamerabasierten

Fahrerassistenzfunktionen durch Umwelteinflüsse wie Regen oder Dunkelheit bei Nacht, die die Abbildungsqualität der Kamera deutlich beeinträchtigen können.

Aufgabe der vorliegenden Erfindung ist es, diesen Schwierigkeiten zu begegnen.

Eine Grundidee der Erfindung liegt darin, Informationen aus einer Regen- bzw. Lichtsensorik zu nutzen, um Assistenz- und Objekterkennungsfunktionen aus Daten einer Fahrzeugkamera entsprechend anzupassen.

Ein erfindungsgemäßes Verfahren zur Auswertung von Bilddaten (bzw. ein Verfahren zur Objekterkennung mittels) einer Fahrzeugkamera sieht vor, dass Informationen über Regentropfen auf einer Scheibe und/oder Informationen über erkannte Lichtverhältnisse im Sichtbereich der Fahrzeugkamera bei der Auswertung der Bilddaten (bzw. Erkennung von Objekten) berücksichtigt werden.

Informationen über Regentropfen sind insbesondere deren Anzahl und Größe, wobei auch Hagelkörner, Schneeflocken, Eiskristalle und Schmutzpartikel als Regentropfen im Sinne der beanspruchten Erfindung angesehen werden. Informationen über erkannte Lichtverhältnisse sind insbesondere Umgebungshelligkeit (z.B. Tag/Nacht, Tunneldurchfahrt) , wobei auch einzelne Lichtquellen wie beispielsweise Straßenlampen oder Fahrzeuglichter Bestandteil der erkannten Lichtverhältnisse sein können.

Vorteile werden darin gesehen, dass die Auswertung von Bilddaten bzw. die Erkennung von Objekten durch die Berücksichtigung der Informationen über Regentropfen bzw. Lichtverhältnisse zuverlässiger wird. Die

Erkennungssicherheiten von Objekten können dadurch besser abgeschätzt werden, so dass schwierige Situationen trotzdem vom Kamerasystem gemeistert werden können.

Gemäß einer bevorzugten Ausführungsform werden die Informationen (Regentropfen bzw. Lichtverhältnisse) aus den Bilddaten ermittelt werden. Das heißt die Fahrzeugkamera dient zugleich als Regen- und/oder Lichtsensor, z.B. in einem Teilbereich des Bildsensors wie in WO 2010/072198 A1 gezeigt. Die Erkennung von Regen und/oder Lichtverhältnissen wird nun für die (weitere) Auswertung von Bilddaten oder Objekterkennung für

Fahrerassistenzfunktionen berücksichtigt .

Dadurch kann insbesondere die Auswirkung von Regen und/oder Licht auf Kamerafunktionen besser abgeschätzt werden, da dieselbe Kamera die Wetter-/Lichtsituation direkt erkennt und die sich ergebenden Sichteigenschaften somit am besten abgeschätzt werden kann. Vorteilhaft kann bei der Auswertung der Bilddaten mindestens ein Kriterium (z.B. ein Schwellwert) zu einer Erkennung von Kanten im Bild aus den Bilddaten von den Informationen (über Regentropfen auf der Scheibe und/oder erkannte Lichtverhältnisse im Sichtbereich der Fahrzeugkamera) abhängig variiert werden kann.

Aus einer erkannten Regenstärke kann beispielsweise die Beeinflussung der von der Kamera gesehenen Kanten (Hell /Dunkel oder Farbübergange) abgeschätzt werden. Bei Regen fallen diese Kantenübergänge meist weicher aus, was bedeutet, dass der Gradient der Kante weniger steil ist als das ohne Regen der Fall wäre. Entsprechend sollten also kantenbasierte Auswertungserfahren in ihren Schwellwerten angepasst werden. Entsprechend können mehrere Parametrierungen, je nach Wettersituation vorgesehen werden und je nach detektierter Wetterlage genutzt werden.

Insbesondere kann aus den Informationen ein Gütekriterium der Bilddaten abgeleitet wird, das bei der Auswertung der Bilddaten berücksichtigt wird.

Bevorzugt können ab einer gewissen Regenstärke einzelne Assistenzfunktionen ganz abgeschaltet werden, wenn die Qualität der Sensorsignale nicht mehr ausreichend ist, wenn also ein minimales Gütekriterium der Bilddaten unterschritten wird.

Vorteilhaft werden Assistenzfunktionen, die eine Geschwindigkeitsregelung vorsehen, in der maximal regelbaren Geschwindigkeit begrenzt. So könnte insbesondere eine Abstandsregelung (ACC) bei starkem Regen bei höheren Geschwindigkeiten nicht mehr aktivierbar sein und dies dem Fahrer auch mitgeteilt werden. Die maximal aktivierbare oder regelbare Geschwindigkeit wird vorzugsweise in Abhängigkeit eines Gütekriteriums der Bilddaten bestimmt.

Gemäß einer vorteilhaften Ausführungsform kann eine "blockage detection" (Blockiererkennung) durchgeführt werden. Bei Regen sind i. d. R. die Scheibenwischer an. Diese können Bildbereiche überdecken. In diesem Fall kann ein Verfolgen von Objekten in aufeinanderfolgenden Bildern einer Bildfolge (Objekttracking) stabiler gegenüber Ausfällen einzelner Bilder gemacht werden. So können Objekte auch über mehrere Zyklen als valide eingestuft werden, auch wenn einzelne Messungen fehlen.

Bevorzugt gilt das auch für eine Wasserschwallerkennung, denn auch hier sind Objekte unter Umständen auf einzelnen Bildern einer Bilderfolge nicht mehr zu erkennen. Bei einem erkannten Wasserschwall können vorteilhaft bereits sicher ausgelöste Funktionen weiterhin aktiv bleiben und ein Auslösen neuer Funktionen unterbunden werden.

Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.

Im Folgenden wird die Erfindung anhand von Ausführungsbeispielen näher erläutert. Mit der Kamera können z.B. Fahrzeugrückfronten erkannt und klassifiziert werden. Die Erkennung funktioniert zunächst kantenbasiert .

Im ersten Schritt wird nach grundlegenden Eigenschaften im Bild gesucht wie Rückscheinwerfern, Fahrzeugkonturen, oder einem Schatten unter dem Fahrzeug.

Da bei Regen meist keine Fahrzeugschatten vorhanden sind, kann hier z.B. größerer Wert auf die Scheinwerfer oder Kantenerkennung gelegt werden.

Bei Nacht kann die Scheinwerfererkennung dann noch stärker berücksichtigt werden, da aufgrund der Dunkelheit kaum noch andere Eigenschaften sichtbar sind. Gerade die Beleuchtung spielt eine maßgebliche Rolle bei der Anzahl und Qualität der Messpunkte.

Bei Nacht ist generell die Sichtweite einiger Funktionen praktisch auf die Scheinwerferleuchtweite begrenzt. Hier kann die Beleuchtungsgrenze als Erkennungsgrenze für sicheres Erkennen von unbeleuchteten Objekten in der Fahrzeugumgebung genutzt werden.

Im folgenden Schritt kann die Klassifikation der erkannten Fahrzeuge kann ebenfalls in ihren Parametern oder in der Ausführungsweise an die Wettersituation angepasst werden. So können spezielle Klassifikatoren für verschiedene Wetterbedingungen herangezogen werden.

Es ist hierzu beispielsweise möglich unterschiedliche Klassifikationsalgorithmen/-parameter für verschiedene Wettersituationen zu entwickeln. Auch hier wird dann der Klassifikationsalgorithmus verwendet, der für die Entsprechenden Umgebungsverhältnisse (Regen/Licht) trainiert wurde.

Entsprechend der Wettersituation können auch einzelne Erkennungsalgorithmen ausgeschaltet und anderen mehr vertraut werden.

Desweiteren können die Signalqualitäten, der von der Kamera oder anderen wetterabhängigen Sensoren wie z.B. Lidar oder PMD (Photonic Mixing Device) gelieferten Objekte besser eingeschätzt werden, so kann insbesondere ein Gütekriterium der Bilddaten aus den Informationen zu Regen- bzw. Lichtverhältnissen abgeleitet werden.

Neben der Kantenerkennung und den

Klassifikationsalgorithmen kann auch die Gewinnung von Farbinformationen angepasst werden.

So erscheinen Linienmarkierung bei Nacht und Regen beispielsweise oft als schwarze Linie auf hellem Grund und das sogar unabhängig von ihrer eigenen Farbe (Gelb / Weiß) . Mit diesem Wissen, können Algorithmen zur Linienmarkierungserkennung robuster ausgelegt werden.

Eine andere Möglichkeit besteht darin, die Fahrzeugbeleuchtung (Abblendlicht, Fernlicht,

Nebelscheinwerfer) entsprechend zu aktivieren/adaptieren, um möglicherweise noch verbleibende Farbinformationen zu erhalten. Bevorzugt können auch spezielle Lampen, die wenig blenden aber die entsprechende Lichttemperatur haben, zusätzlich am Fahrzeug angebracht und aktiviert werden. Für hoch automatisiertes Fahren bis hin zum autonomen Fahren ist von besonderem Interesse, wie weit in die Zukunft (bzw. Weg in Fahrtrichtung) eine definierte Signalsicherheit gewährleistet werden kann. Somit können hoch automatisierte Systeme die Fahrtgeschwindigkeit entsprechend anpassen. Eine zügigere Fahrweise wäre dann nur manuell möglich.