Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR CALIBRATING A CAMERA-BASED SYSTEM
Document Type and Number:
WIPO Patent Application WO/2010/088876
Kind Code:
A1
Abstract:
The invention relates to a method for calibrating a camera-based system of a vehicle (F), comprising a pane (S), in particular a camera-based driver assistance system. According to the invention, a type of the pane (S), in particular the tinting thereof, is detected by way of the camera-based system.

Inventors:
ALMEIDA CARLOS (DE)
SCHAALE CHRISTIAN (DE)
FECHNER THOMAS (DE)
Application Number:
PCT/DE2010/000084
Publication Date:
August 12, 2010
Filing Date:
January 28, 2010
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ADC AUTOMOTIVE DIST CONTROL (DE)
ALMEIDA CARLOS (DE)
SCHAALE CHRISTIAN (DE)
FECHNER THOMAS (DE)
International Classes:
H04N17/00
Domestic Patent References:
WO2001077763A12001-10-18
Foreign References:
DE102006056180A12008-04-30
US6097023A2000-08-01
US20060125919A12006-06-15
Other References:
None
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur Kalibrierung eines kamerabasierten Systems eines Fahrzeugs (F) mit einer Scheibe (S) , insbesondere eines kamerabasierten Fahrerassistenzsystems, dadurch gekennzeichnet, dass ein Typ der Scheibe (S) , insbesondere dessen Tönung, mittels des kamerabasierten Systems automatisch erkannt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass ein automatischer Vergleich von mittels des kamerabasierten Systems ermittelten Werten mit hinterlegten Daten vorgenommen wird.

3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass Werte von erfassten Fahrbahnabschnitten (FA) ermittelt werden.

4. Verfahren nach Anspruch 2 oder 3 , dadurch gekennzeichnet, dass Werte von erfassten externen Lichtquellen ermittelt werden.

5. Verfahren nach Anspruch 4 , dadurch gekennzeichnet, dass Werte eines Scheinwerferlichts (SL) entgegenkommender Fahrzeuge ermittelt werden .

6. Verfahren nach Anspruch 5, dadurch gekennzeichnet , dass aus diesen Werten ein Durchschnittswert des Scheinwerferlichts (SL) gebildet wird.

7. Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass die Werte des Scheinwerferlichts (SL) und/oder der Durchschnittswert des Scheinwerferlichts (SL) bildpositionsabhängig ermittelt werden .

8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass ein vorgegebener Bildausschnitt (Bl, B2) statistisch ausgewertet wird.

9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung von Helligkeitswerten und/oder Farbwerten eine Parbkamera verwendet wird .

10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine elektronische Bildverarbeitung erfolgt .

11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass Parameter des kamerabasierten Systems entsprechend des erkannten Typs der Scheibe (S) automatisch angepasst werden.

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass diese Anpassung der Parameter durch eine Auswahl der für den Typ der Scheibe (S) im kamerabasierten System gespeicherten Parameter erfolgt.

13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass durch einen Vergleich des

Durchschnittswertes des Scheinwerferlichts (SL) mit einem im kamerabasierten System gespeicherten Normwert eines Referenz-Scheinwerferlichts ein Weißabgleich des kamerabasierten Systems durchgeführt wird.

Description:
Beschreibung

Verfahren zur Kalibrierung eines kamerabasierten Systems

Die Erfindung betrifft ein Verfahren zur Kalibrierung eines kamerakamerabasierten Systems eines Fahrzeugs mit einer Scheibe, insbesondere eines kamerabasierten Fahrerassistenzsystems .

Üblicherweise werden derartige kamerabasierte Systeme am Ende eines Produktionsbandes während der Fahrzeugherstellung mittels spezieller Testobjekte kalibriert, wobei sowohl eine Ausrichtung eines zu erfassenden Bereiches als auch eine optimale Farberfassung und ein Weißabgleich eingestellt werden. Insbesondere bei derartigen Systemen, bei welchen eine Kamera in einem Innenraum des Fahrzeugs angeordnet ist und eine Bilderfassung durch eine Scheibe des Fahrzeugs hindurch erfolgt, muss bei einem Austausch der Scheibe, wenn diese nicht durch eine Scheibe gleichen Typs ersetzt wird, eine erneute Kalibrierung erfolgen, um Qualitätseinbußen zu vermeiden, da sich unterschiedliche Scheibentypen sehr stark in ihren Transmissionseigenschaften unterscheiden. Zu diesem Zweck sind im System für die verschiedenen Typen der Scheiben entsprechende auszuwählende Parametersätze hinterlegt oder das System wird individuell an die neue Scheibe angepasst .

Diese Neukalibrierung muss in einer Werkstatt von Fachkräften durchgeführt werden.

Aus der DE 10 2006 056 180 Al sind ein Verfahren und eine Vorrichtung zum Kalibrieren eines Bildsensors im

Kraftfahrzeug bekannt. Die Kalibrierung erfolgt dabei in Abhängigkeit der Eigenschaften einer Fahrzeugscheibe. Die Vorrichtung umfasst einen Bildsensor zur Erfassung von Umgebungsinformationen, eine Rechnereinheit, womit erfasste Umgebungsinformationen ausgewertet werden, sowie ein

Auswahlmittel zur Auswahl von Parametereinstellungen des Bildsensors. Im Rahmen des Verfahrens wird wenigstens eine Markierung auf der Fahrzeugscheibe mittels eines Bildsensors erfasst und ausgewertet . Anhand der erfassten Markierung werden Eigenschaften der Fahrzeugscheibe bestimmt. Es erfolgt dabei eine für die Erfassung von Bildinformationen geeignete Parametereinstellung des Bildsensors anhand der bestimmten Eigenschaften der Fahrzeugscheibe.

Nachteilig ist dabei, dass nur Fahrzeugscheiben verwendet werden können, welche eine erfassbare und identifizierbare Markierung aufweisen, wodurch ein zusätzlicher Produktionsaufwand zur Herstellung dieser Fahrzeugscheiben erforderlich ist. Werden Fahrzeugscheiben eingesetzt, welche keine derartige Markierung aufweisen, erfolgt keine Kalibrierung, woraus Qualitätseinbußen bei der Erfassung von UmgebungsInformationen resultieren. Zudem ist es in bekannten Verfahren erforderlich, eine Fahrzeugscheibe zunächst mit einer Markierung zu versehen, die Informationen über die Fahrzeugscheibe enthält. Des Weiteren ist nachteilig, dass bei fehlerhaften Markierungen fehlerhafte Kalibrierungen erfolgen.

Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren zur Kalibrierung eines kamerabasierten Systems eines Fahrzeugs mit einer Scheibe, insbesondere eines kamerabasierten Fahrerassistenzsystems, anzugeben.

Die Aufgabe wird erfindungsgemäß durch die Merkmale des Anspruchs 1 gelöst .

Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.

Erfindungsgemäß wird ein Typ der Scheibe, insbesondere dessen Tönung, d. h. Farbwert und Tönungsgrad, mittels des kamerabasierten Systems automatisch erkannt.

Mittels der erfindungsgemäßen Lösung ist das kamerabasierte System beispielsweise nach einem Austausch der Scheibe automatisch neu kalibrierbar, wodurch eine optimale Funktionalität des Systems sichergestellt ist. Dieses Verfahren funktioniert bei Scheiben nach dem Stand der Technik, d. h. spezielle, beispielsweise mit einer Markierung versehene Scheiben sind hierfür nicht erforderlich, wodurch keine zusätzlichen Kosten entstehen. Durch die automatische Kalibrierung ist eine aufwändige zeit- und kostenintensive manuelle Kalibrierung, welche beispielsweise in einer Fachwerkstatt durchgeführt werden muss, nicht mehr erforderlich. Insbesondere ermöglicht das erfindungsgemäße Verfahren einen fehlerfreien Betrieb des kamerabasierten Systems selbst dann, wenn die ursprünglich eingesetzte Scheibe durch eine Scheibe anderer Bauart ausgetauscht wurde.

Zweckmäßigerweise wird ein automatischer Vergleich von mittels des kamerabasierten Systems ermittelten Werten, beispielsweise Helligkeitswerten und/oder Farbwerten, mit entsprechenden hinterlegten Daten vorgenommen. Dazu werden in einer vorteilhaften Ausführungsform entsprechende Werte von erfassten Fahrbahnabschnitten ermittelt, da Fahrbahnbeläge eine farblich weitgehend übereinstimmende Oberfläche aufweisen.

In einer weiteren vorteilhaften Ausführungsform werden, insbesondere bei Dunkelheit, Werte von erfassten externen Lichtquellen ermittelt, wobei eine derartige Lichtquelle besonders bevorzugt ein Scheinwerferlicht entgegenkommender Fahrzeuge ist, da Scheinwerferlicht international standardisiert weiß bis hellgelb ist . Aus den ermittelten Werten wird vorzugsweise ein Durchschnittswert des Scheinwerferlichts gebildet und mit einem im kamerabasierten

System gespeicherten Normwert eines Referenz -Scheinwerferlichts abgeglichen.

In einer Weiterbildung der Erfindung werden die Werte des Scheinwerferlichts und/oder der Durchschnittswert des

Scheinwerferlichts bildpositionsabhängig ermittelt. Hierdurch wird die Korrelation der Bildposition mit der Distanz und die Abhängigkeit der Helligkeit der Scheinwerfer von der Distanz berücksichtigt .

Um die Sicherheit des Verfahrens zu optimieren, wird in vorteilhafter Weise ein vorgegebener Bildausschnitt statistisch ausgewertet, d. h. nicht ein gesamter erfasster Bereich, sondern nur ein vorgegebener Bildausschnitt. Dieser Bildausschnitt wird zweckmäßigerweise so vorgegeben, dass er beispielsweise den Fahrbahnbelag des Fahrbahnabschnitts vor dem Fahrzeug erfasst .

Vorzugsweise wird zur Ermittlung von Helligkeitswerten und/oder Farbwerten eine Farbkamera verwendet und es erfolgt zweckmäßigerweise eine elektronische Bildverarbeitung. Insbesondere um Farbwerte und Tönungswerte sicher erfassen zu können, ist eine Farbkamera von Vorteil. Derartige Farbkameras sind bereits bei kamerabasierten Systemen, insbesondere bei kamerabasierten Fahrerassistenzsystemen, im Einsatz. Mittels der elektronischen Bildverarbeitung sind die ermittelten Werte auswertbar.

In vorteilhafter Weise werden Parameter des kamerabasierten Systems entsprechend des erkannten Typs der Scheibe automatisch angepasst, wobei diese Anpassung der Parameter in einer besonders günstigen Ausführungsform durch eine Auswahl der für den Typ der Scheibe im kamerabasierten System gespeicherten Parameter erfolgt. Sind für jeden Typ der Scheibe, welcher in das Fahrzeug eingebaut werden kann, entsprechende Parameter im kamerabasierten System hinterlegt, kann sofort, nachdem der Typ der Scheibe erkannt wurde, ein entsprechender Parametersatz automatisch ausgewählt werden, so dass das kamerabasierte System beispielsweise nach einem Scheibenwechsel sofort automatisch optimal neu kalibriert ist und somit weiterhin voll funktionsfähig ist.

Bei einer digitalen Bildverarbeitung und insbesondere bei einer Farbwertermittlung, wie dies bei Scheiben unterschiedlicher Farbe und/oder mit einem unterschiedlichen Transmissionsgrad erforderlich ist, stellt eine Normierung eines Farbraums auf Weiß, der so genannte Weißabgleich, nach dem Stand der Technik eine große Herausforderung dar. Das Verfahren bietet auf einfache Weise eine sehr effiziente Möglichkeit des Weißabgleichs und somit eine optimale Kalibrierung des kamerabasierten Systems, da dieser Weißabgleich automatisch durchgeführt wird und regelmäßig durchführbar ist. Der Weißabgleich des kamerabasierten Systems wird vorzugsweise durch einen Vergleich des Durchschnittswertes des Scheinwerferlichts mit dem im kamerabasierten System gespeicherten Normwert des Referenz -Scheinwerferlichts durchgeführt und die Parameter des Systems automatisch entsprechend angepasst, so dass der nach der Anpassung ermittelte Durchschnittswert des Scheinwerferlicht mit dem gespeicherten Normwert übereinstimmt .

Die Erfindung wird im Folgenden anhand von

Ausführungsbeispielen erläutert . Einander entsprechende Teile sind dabei mit den gleichen Bezugszeichen versehen.

Dabei zeigen:

FIG 1 eine schematische Darstellung eines kamerabasierten Systems in einem Fahrzeug,

FIG 2 eine schematische Darstellung eines ersten Bildausschnitts, und

FIG 3 eine Darstellung eines zweiten Bildausschnitts.

Figur 1 zeigt eine schematische Darstellung eines kamerabasierten Systems in einem Fahrzeug F. Im hier dargestellten Ausführungsbeispiel ist eine Kamera K, vorzugsweise eine Farbkamera, des kamerabasierten Systems in einem Innenraum des Fahrzeugs F hinter einer Scheibe S, im hier dargestellten Ausführungsbeispiel hinter einer Frontscheibe des Fahrzeugs F, angeordnet und nach außen auf einen Bereich vor dem Fahrzeug F gerichtet . Das kamerabasierte System umfasst des Weiteren eine hier nicht näher dargestellte elektronische Bildverarbeitung. Beispielsweise nach einem Austausch der Scheibe S, hinter der die Kamera K angeordnet ist, muss das kamerabasierte System neu kalibriert werden, um weiterhin voll funktionsfähig zu sein, wenn die Frontscheibe durch eine Scheibe S eines anderen Typs ersetzt wird, da Scheiben S verschiedenen Typs unterschiedliche Färb-, Transmissions- und/oder Tönungseigenschaften aufweisen können.

Figur 2 zeigt eine schematische Darstellung eines ersten Bildausschnitts Bl, welcher statistisch ausgewertet wird. Der Bildausschnitt Bl ist derart vorgegeben, dass er einen Fahrbahnbelag eines Fahrbahnabschnittes FA vor dem Fahrzeug F erfasst. Derartige Fahrbahnbeläge weisen eine farblich weitgehend übereinstimmende graue Oberfläche auf. Sind Daten dieser Fahrbahnbeläge, d. h. beispielsweise Farbdaten und/oder Helligkeitsdaten, im kamerabasierten System gespeichert, können sie mit aktuell ermittelten Werten verglichen werden. Bei einer Abweichung ist das kamerabasierten System nicht optimal kalibriert und muss neu kalibriert werden, um optimal zu funktionieren. Dies ist beispielsweise nach einem Austausch der Scheibe S, hinter welcher die Kamera K angeordnet ist, der Fall, wenn, wie im hier dargestellten Ausführungsbeispiel, die Frontscheibe durch eine Scheibe S eines anderen Typs ersetzt wird, da Scheiben S verschiedenen Typs unterschiedliche Färb-, Transmissions- und/oder Tönungseigenschaften aufweisen können. Da aktuelle Parameter des kamerabasierten Systems bekannt sind, kann durch Vergleich der aktuell ermittelten Werte mit den gespeicherten Werten anhand eines Ausmaßes der Abweichung der Werte voneinander der Typ der neu eingesetzten Scheibe S ermittelt werden und die zu diesem Typ passenden Parameter, welche sinnvollerweise im System gespeichert sind, automatisch ausgewählt und eingestellt werden, wodurch das kamerabasierte System automatisch neu kalibriert ist. Danach ist die optimale Funktionsfähigkeit wieder hergestellt. Durch diese automatische Kalibrierung ist eine manuelle zeit- und kostenintensive Kalibrierung beispielsweise in einer Fachwerkstatt nicht mehr erforderlich. Zusätzliche kostenintensive Maßnahmen, wie beispielsweise ausschließlich ein Einsatz von speziell markierten Scheiben, sind ebenfalls nicht erforderlich.

Figur 3 zeigt eine weitere, alternative oder zusätzliche Ausführungsform des Verfahrens. Hier ist ein zweiter Bildausschnitt B2 , welcher statistisch ausgewertet wird, derart vorgegeben, dass bei Dunkelheit Scheinwerferlicht SL entgegenkommender Fahrzeuge erfasst wird. Scheinwerferlicht SL von Fahrzeugen ist international standardisiert weiß bis hellgelb. Wird aus den ermittelten Werten des Scheinwerferlichts SL mehrerer Fahrzeuge ein

Durchschnittswert gebildet und mit einem im kamerabasierten System gespeicherten Normwert eines

Referenz-Scheinwerferlichts verglichen, so kann, analog zum unter Figur 2 geschilderten Vorgehen mittels des Fahrbahnbelages, festgestellt werden, ob eine Abweichung vorliegt und daher das kamerabasierte System neu kalibriert werden muss, um optimal zu funktionieren. Ist dies der Fall, beispielsweise nach einem Austausch der Scheibe S, kann durch Vergleich der aktuell ermittelten Werte mit den gespeicherten Werten und unter Einbeziehung der aktuell eingestellten

Parameter des kamerabasierten Systems anhand eines Ausmaßes der Abweichung der Werte voneinander der Typ der neu eingesetzten Scheibe S ermittelt werden und die zu diesem Typ passenden Parameter, welche sinnvollerweise im System gespeichert sind, automatisch ausgewählt und eingestellt werden. Danach ist das kamerabasierte System automatisch neu kalibriert, so dass seine optimale Funktionsfähigkeit wieder hergestellt ist .

Dabei erfolgt die Ermittlung der Werte des

Scheinwerferlichts SL und/oder der Durchschnittswerte des Scheinwerferlichts SL vorzugsweise bildpositionsabhängig . Die unter Figur 3 dargestellte, alternative oder zusätzliche Ausführungsform des Verfahrens bietet als weiteren Vorteil auf effiziente Weise einen einfach, da automatisch durchzuführenden Weißabgleich des kamerabasierten Systems. Ein solcher Weißabgleich, welcher für eine optimale

Funktionsfähigkeit des kamerabasierten Systems erforderlich ist, stellt nach dem Stand der Technik noch immer eine große Herausforderung dar, insbesondere eine automatische Ausführung des Weißabgleichs . Der Weißabgleich ist durch den Vergleich des Durchschnittswerts des Scheinwerferlichts SL mit dem im kamerabasierten System gespeicherten Normwert des Referenz-Scheinwerferlichts durchführbar. Bei einer Abweichung werden die Parameter des kamerabasierten Systems automatisch entsprechend angepasst, bis der nach der Anpassung ermittelte Durchschnittswert des

Scheinwerferlichts SL mit dem gespeicherten Normwert übereinstimmt .

Bezugszeichenliste

Bl, B2 Bildausschnitt

F Fahrzeug

FA Fahrbahnabschnitt

K Kamera

S Scheibe

SL Scheinwerferlicht