Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
CALIBRATION OF A SENSOR FOR A VEHICLE ON THE BASIS OF OBJECT-SIDE AND IMAGE-SIDE IDENTIFICATION INDICES OF A REFERENCE OBJECT
Document Type and Number:
WIPO Patent Application WO/2020/160861
Kind Code:
A1
Abstract:
Apparatus (10) for calibrating a sensor (22, 24, 26, 28) for a vehicle (21, 23), comprising an input interface (12) for inputting image data (18) containing at least one image of a predefined reference object (34, 42) that is recorded by a sensor (22, 24, 26, 28), wherein the reference object (34, 42) comprises a plurality of object-side reference parts (P1-P11, J1-J9), to each of which a world coordinate index and an object-side identification index are assigned; an image processing unit (14) for capturing a plurality of image-side reference parts (Q1-Q5, K1-K7) corresponding to the object-side reference parts (P1-P11, J1-J9), wherein the image processing unit (14) is designed to detect an image coordinate index and an image-side identification index linked to the particular object-side identification index for each of the image-side reference parts (Q1-Q5, K1-K7) in order to determine a correlation between the image coordinate indices and the world coordinate indices on the basis of the object-side and image-side identification indices; and an output interface (16) for outputting the detected image-side identification indices.

Inventors:
CHEN ZHIHU (DE)
Application Number:
PCT/EP2020/050343
Publication Date:
August 13, 2020
Filing Date:
January 09, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ZAHNRADFABRIK FRIEDRICHSHAFEN (DE)
International Classes:
G01S7/40; G01S7/497; G01S7/52; G06T7/80
Domestic Patent References:
WO2018182737A12018-10-04
WO2004003586A12004-01-08
WO2016054004A12016-04-07
WO2018000037A12018-01-04
Download PDF:
Claims:
Patentansprüche

1 . Vorrichtung (10) zum Kalibrieren eines Sensors (22, 24, 26, 28) für ein Fahrzeug (21 , 23), umfassend:

eine Eingabeschnittstelle (12) zum Eingeben von Bilddaten (18), die zumin dest ein von einem Sensor (22, 24, 26, 28) aufgenommenes Bild eines vordefinierten Referenzobjektes (34, 42) enthalten, wobei das Referenzobjekt (34, 42) mehrere ob jektseitige Referenzteile (P1 -P11 , J1 -J9) umfasst, denen jeweils ein Weltkoordinaten index und ein objektseitiger Identifikationsindex zugeordnet sind;

eine Bildprozessiereinheit (14) zum Erfassen mehrerer, den objektseitigen Re ferenzteilen (P1 -P1 1 , J1 -J9) entsprechender bildseitiger Referenzteile (Q1 -Q5, K1 - K7), wobei die Bildprozessiereinheit (14) dazu ausgebildet ist, für jedes der bildseiti gen Referenzteile (Q1 -Q5, K1 -K7) einen Bildkoordinatenindex und einen mit dem jeweiligen objektseitigen Identifikationsindex verknüpften bildseitigen Identifikations index zu detektieren, um basierend auf den objektseitigen und bildseitigen Identifika tionsindizes eine Korrelation zwischen den Bildkoordinatenindizes und den Weltko ordinatenindizes zu ermitteln; und

eine Ausgabeschnittstelle (16) zum Ausgeben der detektierten bildseitigen Identifikationsindizes.

2. Vorrichtung (10) nach Anspruch 1 , wobei der objektseitige Identifikationsindex ei nen im Weltkoordinatensystem gemessenen objektseitigen Abstand der jeweiligen objektseitigen Referenzteile (J1 -J9) zu einem vordefinierten objektseitigen Bezugs punkt (A) umfasst, wobei der bildseitige Identifikationsindex einen im Bildkoordina tensystem gemessenen bildseitigen Abstand der jeweiligen bildseitigen Referenzteile (K1 -K7) zu einem von der Bildprozessiereinheit (14) bestimmten bildseitigen Be zugspunkt (B) umfasst.

3. Vorrichtung (10) nach Anspruch 1 oder 2, wobei die Bildprozessiereinheit (14) da zu ausgebildet ist, eine homographische Transformation an den erfassten bildseiti gen Referenzteilen (K1 -K7) durchzuführen.

4. Vorrichtung (10) nach einem der Ansprüche 1 bis 3, wobei das vordefinierte Refe renzobjekt (34) farbig ist und mehrere, vorzugsweise zumindest vier, Farben trägt.

5. Vorrichtung (10) nach Anspruch 4, wobei der objektseitige Identifikationsindex ei nen objektseitigen Farbindex der jeweiligen objektseitigen Referenzteile (P1 -P11 ) umfasst, wobei der bildseitige Identifikationsindex einen in einem Farbindexsystem des Sensors (22, 24, 26, 28) bestimmten bildseitigen Farbindex der jeweiligen bild seitigen Referenzteile (Q1 -Q5) umfasst.

6. Vorrichtung (10) nach einem der Ansprüche 1 bis 5, wobei die Bildprozessierein heit (14) dazu ausgebildet ist, eine bildseitige Abfolge der bildseitigen Identifikation sindizes entlang eines Verlaufs der bildseitigen Referenzteile (Q1 -Q5, K1 -K7) zu be stimmen.

7. Vorrichtung (10) nach Anspruch 6, wobei die Bildprozessiereinheit (14) dazu aus gebildet ist, eine objektseitige Abfolge der objektseitigen Identifikationsindizes ent lang eines Verlaufs der objektseitigen Referenzteile (P1 -P11 , J1 -J9) zu bestimmen.

8. Vorrichtung (10) nach Anspruch 7, wobei die Bildprozessiereinheit (14) dazu aus gebildet ist, die bildseitige Abfolge mit der objektseitigen Abfolge zu vergleichen, um einen Korrelationswert zwischen der bildseitigen und objektseitigen Abfolge zu ermit teln.

9. Vorrichtung (10) nach Anspruch 8, wobei der Korrelationswert auf einer Anzahl der objektseitigen Identifikationsindizes der objektseitigen Abfolge beruht, deren Reihen folge einer Reihenfolge der bildseitigen Identifikationsindizes der bildseitigen Abfolge entspricht.

10. Vorrichtung (10) nach Anspruch 8 oder 9, wobei die Bildprozessiereinheit (14) dazu ausgebildet ist, den Korrelationswert für mehrere objektseitige Abfolgen jeweils entlang eines zugehörigen Verlaufs der objektseitigen Referenzteile (P1 -P11 , J1 -J9) zu ermitteln, um ein Maximum und/oder ein Extremum des Korrelationswertes zu identifizieren.

1 1 . Vorrichtung (10) nach einem der Ansprüche 1 bis 10, wobei die Bildprozessie reinheit (14) dazu ausgebildet ist, die Korrelation zwischen den Bildkoordinatenindi zes und den Weltkoordinatenindizes basierend auf einem odometrischen Korrek turfaktor zu ermitteln.

12. Vorrichtung (10) nach einem der Ansprüche 1 bis 11 , wobei die Bilddaten mehre re Bilder enthalten, die vom Sensor (22, 24, 26, 28) und von zumindest einem weite ren Sensor zu mehreren Zeitpunkten jeweils synchron aufgenommen sind.

13. Sensoreinrichtung (50) zum Erfassen eines Umfelds eines Fahrzeugs (21 , 23), umfassend:

einen Sensor (22, 24, 26, 28) zur Aufnahme eines Bildes eines vordefinierten Referenzobjektes (34, 42); und

eine Vorrichtung (10) nach einem der Ansprüche 1 bis 1 2 zum Kalibrieren des Sensors (22, 24, 26, 28).

14. Verwendung einer Vorrichtung (10) nach einem der Ansprüche 1 bis 12 und/oder einer Sensoreinrichtung (50) nach Anspruch 13 in einem Fahrzeug (21 , 23).

15. Verfahren zum Kalibrieren eines Sensors (22, 24, 26, 28) für ein Fahrzeug (21 , 23), umfassend:

einen ersten Schritt (S1 ), in dem Bilddaten (18) eingegeben werden, die zu mindest ein von einem Sensor (22, 24, 26, 28) aufgenommenes Bild eines vordefi nierten Referenzobjektes (34, 42) enthalten, wobei das Referenzobjekt (34, 42) meh rere objektseitige Referenzteile (P1 -P1 1 , J1 -J9) umfasst, denen jeweils ein Weltko ordinatenindex und ein objektseitiger Identifikationsindex zugeordnet sind;

einen zweiten Schritt (S2), in dem mehrere, den objektseitigen Referenzteilen (P1 -P1 1 , J1 -J9) entsprechende bildseitige Referenzteile (Q1 -Q5, K1 -K7) erfasst wer den, wobei die Bildprozessiereinheit (14) dazu ausgebildet ist, für jedes der bildseiti gen Referenzteile (Q1 -Q5, K1 -K7) einen Bildkoordinatenindex und einen mit dem jeweiligen objektseitigen Identifikationsindex verknüpften bildseitigen Identifikations index zu detektieren, um basierend auf den objektseitigen und bildseitigen Identifika- tionsindizes eine Korrelation zwischen den Bildkoordinatenindizes und den Weltko ordinatenindizes zu ermitteln; und

einen dritten Schritt (S3), in dem die detektierten bildseitigen Identifikationsin dizes ausgegeben werden.

16. Computer-Programm-Produkt, das in einem Datenträger gespeichert und dazu ausgebildet ist, um das Verfahren nach Anspruch 15 durchzuführen, wenn das Com- puter-Programm-Produkt durch einen Rechner ausgeführt wird.

Description:
Kalibrierung eines Sensors für ein Fahrzeug basierend auf obiektseitiqen und bildsei- tiqen Identifikationsindizes eines Referenzobiektes

Die vorliegende Erfindung betrifft eine Vorrichtung zum Kalibrieren eines Sensors für ein Fahrzeug nach Anspruch 1. Ferner betrifft die Erfindung eine Sensoreinrichtung zum Erfassen eines Umfelds eines Fahrzeugs nach Anspruch 13. Die Erfindung be trifft zusätzlich die Verwendung einer solchen Vorrichtung oder einer solchen Sen soreinrichtung in einem Fahrzeug nach Anspruch 14. Außerdem betrifft die Erfindung ein Verfahren zum Kalibrieren eines Sensors für ein Fahrzeug nach Anspruch 15. Schließlich betrifft die Erfindung ein Computerprogrammprodukt nach Anspruch 17.

Sensorsysteme, die einen oder mehrere Sensoren umfassen, werden zunehmend in Fahrzeugen, insbesondere in deren Fahrerassistenzsystemen und Sicherheitssyste men, eingesetzt, um das Umfeld des Fahrzeugs zu erfassen. Derartige Sensoren können beispielsweise Kameras, Radare und/oder Light Detection and Ranging De vices (nachfolgend: Lidare) sein. Ein solcher Sensor dient dazu, Bilder vom Umfeld des Fahrzeugs aufzunehmen und anhand einer Bildauswertung Objekte zu erken nen, die für das Fahrzeug ein potentielles Hindernis beim Fahren darstellen. Es kann anhand einer solchen Objekterkennung der Abstand zwischen dem Fahrzeug und dem Objekt ermittelt werden, um gegebenenfalls beim Unterschreiten eines kriti schen Abstandes eine Gegenmaßnahme zu ergreifen, beispielsweise das Fahrzeug zu bremsen oder ein Warnsignal auszulösen. Auf diese Weise können Kollisionen zwischen dem Fahrzeug und Objekten, etwa Personen, Bebauungen, anderen Fahr zeugen oder Vegetationen, vermieden oder zumindest das Risiko hierfür reduziert werden.

Um jedoch eine zuverlässige Objekterkennung zu bewerkstelligen, sind die Sensoren zu kalibrieren. Unter Kalibration wird ein Prozess verstanden, in dem die Korrelation zwischen einem Bildkoordinatensystem, in dem die vom jeweiligen Sensor aufge nommenen Bilder angezeigt werden und das für jeden Sensor spezifisch ist, und ei nem Weltkoordinatensystem, das sensorunspezifisch und für alle Sensoren allge mein gültig ist, ermittelt wird. Das jeweilige Bildkoordinatensystem wird daher mit dem Weltkoordinatensystem in ein Übersetzungsverhältnis gesetzt, anhand dessen jede Bildkoordinate mittels einer entsprechenden Weltkoordinate darstellbar ist.

Kalibriervorrichtungen und -verfahren sind beispielsweise aus WO 2018/000037 A1 bekannt, die ein System und Verfahren zur Bestimmung einer Kamerahaltung inner halb einer Fahrzeugszene offenbart. Das dortige Verfahren umfasst einen ersten Schritt, in dem ein Bild der Fahrzeugszene durch die Kamera aufgenommen wird.

Das Verfahren umfasst ferner einen zweiten Schritt, in dem Referenzdaten geladen werden, die auf die Fahrzeugszene hindeuten, wobei die Referenzdaten Positionen und Ausrichtungen von bekannten Merkmalen innerhalb der Fahrzeugszene umfas sen. Das bekannte Verfahren umfasst außerdem einen dritten Schritt, in dem die ge ometrische Erscheinung eines oder mehrerer der bekannten Merkmale innerhalb des Bildes identifiziert werden. Schließlich umfasst das bekannte Verfahren einen vierten Schritt, in dem die dreidimensionale Position und Ausrichtung der Kamera relativ zu den bekannten Merkmalen, die im dritten Schritt identifiziert wurden, ausgehend von der geometrischen Erscheinung bestimmt werden und eine Kamerahaltung innerhalb der Fahrzeugszene berechnet wird.

Die bekannten Kalibriervorrichtungen und -verfahren sind jedoch mit dem Nachteil behaftet, dass die Kalibrierung der Sensoren mittels dieser Vorrichtungen bzw. Ver fahren den in immer steigenden hohen Anforderungen an die Genauigkeit und Zuver lässigkeit nicht gerecht werden können. Beispielsweise sind diese Kalibriervorrich tungen und -verfahren anfällig gegen Verdeckungen von Objektteilen, bei denen die Referenzobjekte aufgrund ihrer Lage oder anderer im Sichtfeld der Sensoren befind lichen Objekte nicht vollständig vom Sensor erfasst werden können. Dies kann zu fehlerhaften Abstandsmessungen führen, die die Funktionalität der Fahrerassistenz- und Sicherheitssysteme beeinträchtigen und sicherheitskritische Situationen verursa chen.

Aufgabe der vorliegenden Erfindung ist daher, die bekannten Kalibriervorrichtungen - und Verfahren dahingehend zu verbessern, dass deren Genauigkeit und Zuverläs sigkeit erhöht sind. Die Aufgabe wird gelöst durch eine Vorrichtung zum Kalibrieren eines Sensors für ein Fahrzeug mit den Merkmalen des Anspruchs 1. Ferner wird die Aufgabe gelöst durch eine Sensoreinrichtung zum Erfassen eines Umfelds eines Fahrzeugs mit den Merk malen des Anspruchs 13. Zusätzlich wird die Aufgabe gelöst durch die Verwendung einer solchen Vorrichtung in einem Fahrzeug mit den Merkmalen des Anspruchs 14. Außerdem wird die Aufgabe gelöst durch ein Verfahren zum Kalibrieren eines Sen sors für ein Fahrzeug mit den Merkmalen des Anspruchs 15. Schließlich wird die Aufgabe gelöst durch ein Com puterprogramm produkt mit den Merkmalen des An spruchs 16.

Der Sensor, der vorzugsweise am Fahrzeug angebracht ist, ist dazu ausgebildet, ein Bild des Referenzobjektes aufzunehmen. Der Sensor ist beispielsweise eine Kamera, ein Radarsensor, ein Lidarsensor, ein Ultraschallsensor oder ein anderes bildgeben des Gerät. Der Sensor kann in einem Sensorsystem umfassend mehrere Sensoren integriert sein, die beispielsweise an verschiedenen Positionen des Fahrzeugs ange bracht sind. Die mehreren Sensoren umfassen eine Kamera, einen Radarsensor, einen Lidarsensor, einen Ultraschallsensor und/oder ein anderes bildgebendes Ge rät. In diesem Fall ist die erfindungsgemäße Vorrichtung vorzugsweise dazu ausge bildet, das Sensorsystem zu kalibrieren.

Die vom Sensor erzeugten Bilddaten enthalten zumindest ein Bild des vordefinierten Referenzobjektes. Das Referenzobjekt weist eine bestimmte geometrische Form, beispielsweise eine zweidimensionale oder dreidimensionale Form, und/oder ein be stimmtes zweidimensionales oder dreidimensionales Muster auf. Vorzugsweise ist das Referenzobjekt kreisförmig, ellipsenförmig, quadratisch, hexagonal oder sichel förmig ausgebildet. Weiter vorzugsweise weist das Referenzobjekt einen kreisförmi gen, ellipsenförmigen oder quadratischen Kernbereich auf, der einen zick -zack- förmigen Randbereich mit mehreren Eckbereichen umfasst, die jeweils durch zwei sich in einem Eckpunkt schneidenden Seiten radial begrenzt sind.

Das Referenzobjekt kann vollständig oder teilweise im Bild (bzw. in den Bildern) ent halten sein. Dies bedeutet, dass die jeweiligen Bilder zeigen das Referenzobjekt von einer bestimmten Perspektive der jeweiligen Sensoren heraus vollständig oder teil weise.

Die objektseitigen Referenzteile sind auf dem Referenzobjekt räumlich beziehungs weise flächig (im Fall eines zweidimensionalen Referenzobjektes) verteilt. Die objekt seitigen Referenzteile sind beispielsweise mehrere Referenzbereiche der Oberfläche des dreidimensionalen Referenzobjektes beziehungsweise mehrere Referenzberei che des zweidimensionalen Referenzobjektes. Alternativ oder zusätzlich kann zu mindest eines der objektseitigen Referenzteile einen Referenzpunkt umfassen, der in einem der Referenzbereiche angeordnet ist. Dies schließt auch den Fall ein, dass ein Referenzpunkt in einem Randabschnitt eines Referenzbereichs oder auf einer Kante eines Referenzbereichs angeordnet ist. Vorzugsweise umfasst zumindest ein Refe renzpunkt einen Eckpunkt der vorgenannten Zick-Zack-Form.

Der Weltkoordinatenindex umfasst eine Koordinateninformation der jeweiligen ob jektseitigen Referenzteile. Hierbei bezieht sich die Koordinateninformation auf ein Weltkoordinatensystem. Das Weltkoordinatensystem ist ein vom Bildkoordinatensys tem des Sensors verschiedenes Bezugssystem. Das Weltkoordinatensystem kann beispielsweise ein Koordinatensystem des Fahrzeugs, der Umgebung des Fahr zeugs, des Sensorgehäuses oder eines anderen Gehäuses sein. Das Weltkoordina tensystem kann ein kartesisches oder ein sphärisches Koordinatensystem sein. Das Weltkoordinatensystem ist vorzugsweise so gewählt, dass für mehrere der objektsei tigen Referenzteile des Referenzobjektes eine der Koordinaten, beispielsweise ent lang der z-Achse, den Wert Null annimmt (z=0).

Für den Fall, dass ein objektseitiges Referenzteil ein Referenzbereich ist, umfasst der Weltkoordinatenindex beispielsweise eine Koordinateninformation eines in die sem Referenzbereich liegenden Punktes respektive des Weltkoordinatensystems.

Für den Fall, dass ein objektseitiges Referenzteil ein Referenzpunkt ist, umfasst der Weltkoordinatenindex eine Koordinateninformation des Referenzpunktes respektive des Weltkoordinatensystems. Der objektseitige Identifikationsindex dient dazu, die objektseitigen Referenzteile zu sätzlich zu ihrem Weltkoordinatenindex zu spezifizieren. Der objektseitige Identifika tionsindex bezieht sich auf eine oder mehrere Eigenschaften der jeweiligen objektsei tigen Referenzteile. Beispielsweise kann sich der objektseitige Identifikationsindex auf eine Position, Orientierung, Form und/oder eine Erscheinungseigenschaft der jeweiligen objektseitigen Referenzteile beziehen.

Der Weltkoordinatenindex und/oder der objektseitige Identifikationsindex können zumindest teilweise zu den Bilddaten gehören. Alternativ oder zusätzlich können der Weltkoordinatenindex und/oder der objektseitige Identifikationsindex zu einem von den Bilddaten separaten Datenpaket gehören, das der Bildprozessiereinheit bei spielsweise über die Eingangsschnittstelle zugeführt werden kann.

Durch die Aufnahme des vordefinierten Referenzobjektes mittels des Sensors wer den die objektseitigen Referenzteile in die bildseitigen Referenzteile abgebildet. Inso fern entsprechen die bildseitigen Referenzteile den objektseitigen Referenzteilen.

Die Bildprozessiereinheit ist dazu ausgebildet, das vordefinierte Referenzobjekt, ins besondere die bildseitigen Referenzteile aus den Bilddaten zu entnehmen. Die ob jektseitigen Referenzteile sind durch das Design des Referenzobjektes festgelegt.

Die bildseitigen Referenzteile können je nach Perspektive des verwendeten Sensors und äußeren Parametern wie Helligkeit vom Bild zum Bild verschieden sein.

Der Bildkoordinatenindex umfasst eine Koordinateninformation der jeweiligen bildsei tigen Referenzteile. Die Koordinateninformation bezieht sich hierbei auf ein Bildkoor dinatensystem. Das Bildkoordinatensystem ist ein Bezugssystem, relativ zu dem die Bildpunkte des vom Sensor aufgenommenen Bildes, beispielsweise Pixel und/oder Voxel, auf einer Bildanzeigeoberfläche räumlich beziehungsweise flächig definiert sind. Die Koordinateninformation im Bildkoordinatensystem kann eine oder mehrere Koordinaten des Bildkoordinatensystems umfassen.

Für den Fall, dass ein bildseitiges Referenzteil ein Referenzbereich ist, umfasst der Bildkoordinatenindex beispielsweise eine Koordinateninformation eines in diesem Referenzbereich liegenden Punktes im Bildkoordinatensystem. Für den Fall, dass ein bildseitiges Referenzteil ein Referenzpunkt ist, umfasst der Bildkoordinatenindex eine Koordinateninformation des Referenzpunktes im Bildkoordinatensystem.

Die Korrelation zwischen den Weltkoordinatenindizes und den Bildkoordinatenindizes entspricht dem Übersetzungsverhältnis zwischen dem Weltkoordinatensystem und dem Bildkoordinatensystem. Die erfindungsgemäße Kalibriervorrichtung ist also dazu ausgebildet, eine Korrelation zwischen dem Weltkoordinatensystem und dem Bildko ordinatensystem zu ermitteln, anhand derer Koordinaten eines der beiden Koordina tensysteme in das jeweils andere der beiden Koordinatensysteme übersetzt werden können und/oder umgekehrt.

Die Korrelation kann von der Bildprozessiereinheit ermittelt werden. Alternativ oder zusätzlich kann die Korrelation von einer externen Recheneinheit, etwa einem Cloud- System, dem die objektseitigen und bildseitigen Identifikationsindizes zugeführt wer den können, basierend auf diesen die Korrelation ermitteln.

Die ermittelte Korrelation kann dazu dienen, Raumparameter wie Positionen und/oder Orientierungen des Sensors beziehungsweise der Sensoren im Weltkoordi natensystem (so genannte extrinsische Parameter) zu bestimmen. Beispielsweise kann die ermittelte Korrelation in einem weiteren Informationsverarbeitungsschritt mittels der von der Bildprozessiereinheit oder einer zusätzlichen Recheneinheit durchzuführenden nicht-linearen Optimierung weiter optimiert werden. Alternativ oder zusätzlich können so genannte intrinsische Parameter von der Bildprozessiereinheit oder der zusätzlichen Recheneinheit verwendet werden, um die extrinsischen Para meter des Sensors zu bestimmen.

Durch die Berücksichtigung der Identifikationsindizes der Referenzteile ist die Kalib rierung des Sensors verbessert. Insbesondere ist eine Kalibrierung selbst dann mit hinreichender Genauigkeit und Zuverlässigkeit durchführbar, wenn das Referenzob jekt teilweise verdeckt ist bzw. nur ein kleiner Teil der Referenzteile des Referenzob jektes vom Sensor erfassbar sind. In diesem Fall können die verdeckten Referenztei le nicht bei der Kalibrierung berücksichtigt werden. Dieses Informationsdefizit kann durch die in den Identifikationsindizes enthaltenen zusätzlichen Informationen der nicht verdeckten Referenzteile vorteilhafterweise kompensiert werden.

Die erfindungsgemäße Kalibriervorrichtung ist dazu ausgebildet, in einer Offline- Kalibrierung verwendet zu werden. Dabei wird eine Kalibrierbühne (beispielsweise ein Fahrzeug), die mit einem zu kalibrierenden Sensorsystem versehen ist, in einem Ort angeordnet, in dem sich zumindest ein Referenzobjekt im Blickfeld des Sensor systems befindet. Die vom Sensorsystem erzeugten Bilddaten können der erfin dungsgemäßen Vorrichtung zwecks Kalibrierung zugeführt werden. Die Kalibriervor richtung kann an der Kalibrierbühne angebracht sein. Alternativ kann die Kalibriervor richtung extern angeordnet sein.

Alternativ oder zusätzlich kann die erfindungsgemäße Kalibriervorrichtung in einer Online-Kalibrierung verwendet werden. Dabei handelt es sich bei der der Kalibrier bühne um das Fahrzeug, an dem das zu kalibrierende Sensorsystem angebracht ist. Das Fahrzeug kann entlang einer Strecke fahren, in deren Umgebung zumindest ein Referenzobjekt im Blickfeld des Sensorsystems angeordnet ist.

Vorteilhafte Ausgestaltungen und Weiterbildungen sind in den Unteransprüchen an gegeben.

In einer bevorzugten Ausgestaltung umfasst der objektseitige Identifikationsindex einen im Weltkoordinatensystem gemessenen objektseitigen Abstand der jeweiligen objektseitigen Referenzteile zu einem vordefinierten objektseitigen Bezugspunkt, wobei der bildseitige Identifikationsindex einen im Bildkoordinatensystem gemesse nen bildseitigen Abstand der jeweiligen bildseitigen Referenzteile zu einem von der Bildprozessiereinheit bestimmten bildseitigen Bezugspunkt umfasst.

Der vordefinierte objektseitige Bezugspunkt ist ein Bezugspunkt im Weltkoordinaten system, von dem ausgehend der objektseitige Abstand für die jeweiligen objektseiti gen Referenzteile gemessen ist. Der objektseitige Bezugspunkt ist vorzugsweise am Referenzobjekt markiert, sodass im Bild des Referenzobjektes der bildseitige Be zugspunkt von der Bildprozessiereinheit vereinfacht bestimmbar ist. Wenn das Refe- renzobjekt eine Kreisform, eine Ellipsenform oder eine quadratische Form annimmt (beispielsweise mit zick-zack-förmigen Randbereichen), ist der objektseitige Bezugs punkt vorzugsweise der Mittelpunkt der Kreis-, Ellipsenform beziehungsweise der quadratischen Form.

Wenn ein objektseitiges Referenzteil ein Referenzpunkt ist, ist der objektseitige Ab stand vorzugsweise der Abstand vom Referenzpunkt zum objektseitigen Bezugs punkt. Wenn ein objektseitiges Referenzteil ein Referenzbereich ist, ist der objektsei tige Abstand vorzugsweise der Abstand von einem Mittelpunkt, etwa dem geografi schen Mittelpunkt, oder einem Schwerpunkt des Referenzbereichs zum objektseiti gen Bezugspunkt.

Der bildseitige Bezugspunkt ist ein Bezugspunkt im Bildkoordinatensystem, von dem aus der bildseitige Abstand für die jeweiligen bildseitigen Referenzteile gemessen ist. Der bildseitige Bezugspunkt kann beispielsweise durch Vergleichen des Bildes des Referenzobjektes mit einer von der Bildprozessiereinheit oder einer mit dieser zu sammenwirkenden Recheneinheit erzeugten Kreisform, einer Ellipsenform oder ei nes Quadrates im Bildkoordinatensystem erfolgen. Dies ist vorteilhaft, wenn das Re ferenzobjekt eine Kreis-, Ellipsenform oder eine quadratische Form aufweist, deren Außenrand beispielsweise zick-zack-förmig ist. Dabei kann durch Variieren der Grö ße und/oder Position der Kreis-, Ellipsen- beziehungsweise quadratischen Form der bildseitige Bezugspunkt besonders einfach identifiziert werden. Beispielsweise kann der bildseitige Bezugspunkt als der Mittelpunkt der Kreis-, Ellipsen- beziehungsweise quadratischen Form identifiziert werden, bei dem die Kreis-, Ellipsen- beziehungs weise quadratische Form der Form des Bildes des Referenzobjektes am meisten entspricht.

Vorteilhafterweise liefern die objektseitigen und bildseitigen Abstände geometrische Informationen über das Referenzobjekt, die zur Kalibrierung des Sensors genauig keitserhöhend genutzt werden. In einer weiteren bevorzugten Ausgestaltung ist die Bildprozessiereinheit dazu aus gebildet, eine homographische Transformation an den erfassten bildseitigen Refe renzteilen durchzuführen.

Die homographische Transformation der bildseitigen Referenzteile dient dazu, ein neues Bild des Referenzobjektes zu erhalten, und zwar derart, als wäre das Bild un ter einer anderen Perspektive aufgenommen worden. Beispielsweise werden die bildseitigen Referenzteile auf eine von der Bildprozessiereinheit zu bestimmende Ebene projiziert. Auf diese Weise können ungewollte visuelle Effekte wie Verzerrun gen und/oder Verdrehungen des Referenzobjektes im Bild zumindest reduziert wer den. Vorzugsweise kann die homographische Transformation durchgeführt werden, bevor die bildseitigen Identifikationsindizes und/oder die Bildkoordinaten der bildsei tigen Referenzteile detektiert werden. Dies ist besonders vorteilhaft, da beispielswei se das Festlegen des bildseitigen Bezugspunktes vereinfacht ist, indem die Form des Referenzobjektes im neuen Bild aufgrund des Wegfallens der Verzerrungen bezie hungsweise Verdrehungen erhalten bleibt.

In einer weiteren bevorzugten Ausgestaltung trägt das vordefinierte Referenzobjekt mehrere, vorzugsweise zumindest vier Farben.

Vorteilhafterweise können die Farbinformationen des Referenzobjektes zusätzlich zu den Weltkoordinaten zur Kalibrierung des Sensors genauigkeitserhöhend genutzt werden. Die Verwendung von vier Farben ermöglicht eine Kalibrierung mit reduzier tem Rechenaufwand bei gleichzeitig erhaltener Zuverlässigkeit.

In einer weiteren bevorzugten Ausgestaltung umfasst der objektseitige Identifikati onsindex einen objektseitigen Farbindex der jeweiligen objektseitigen Referenzteile, wobei der bildseitige Identifikationsindex einen in einem Farbindexsystem des Sen sors bestimmten bildseitigen Farbindex der jeweiligen bildseitigen Referenzteile um fasst.

Das Referenzobjekt trägt mehrere Farben, sodass jedem objektseitigen Referenzteil eine spezifische Farbe zugeordnet ist. Beispielsweise ist das Referenzobjekt bezie- hungsweise dessen Oberfläche in mehrere Referenzbereiche unterteilt, wobei jedem Referenzbereich eine Farbe zugeordnet ist. Für den Fall, dass ein Referenzteil ein Referenzbereich ist, ist der objektseitige Farbindex dieses Referenzteils die Farbe des zugehörigen Referenzbereichs. Für den Fall, dass ein Referenzteil ein Referenz punkt ist, ist der objektseitige Farbindex dieses Referenzteils die Farbe des Refe renzbereichs, in dem der Referenzpunkt (beispielsweise ein Eckpunkt) liegt. Der ob jektseitige Farbindex kann beispielsweise eine Farbbezeichnung sein (beispielsweise "rot", "grün" oder "blau"). Alternativ oder zusätzlich kann der objektseitige Farbindex auf einem objektseitigen Farbindexsystem (etwa dem RGB-System) basieren. Die Farben sind dabei so zu verstehen, dass zwei verschiedene Ausgestaltungen einer selben übergeordneten Farbe mit unterschiedlichen Kontrastwerten (beispielsweise Farbausgestaltungen "dunkelblau" und "hellblau" zur übergeordneten Farbe "blau") als zwei unterschiedliche Farben anzusehen sind. Die bildseitigen Farbindizes ent stehen vorzugsweise bei der Erfassung der objektseitigen Farbindizes durch den Sensor. Die bildseitigen Farbindizes basieren somit vorzugsweise auf einem Farbin dexsystem des Sensors, etwa einem RGB-System. Die Kalibrierung des Sensors ist somit dank der Farbinformationen präziser.

In einer weiteren bevorzugten Ausgestaltung ist die Bildprozessiereinheit dazu aus gebildet, eine bildseitige Abfolge der bildseitigen Identifikationsindizes entlang eines Verlaufs der bildseitigen Referenzteile zu bestimmen.

Die Bildprozessiereinheit ist beispielsweise dazu ausgebildet, zunächst den Verlauf der bildseitigen Referenzteile festzulegen und danach die bildseitige Abfolge der bildseitigen Identifikationsindizes zu bestimmen. Hierbei ergeben beispielsweise die Bildkoordinatenindizes der bildseitigen Referenzteile den Verlauf im Bildkoordinaten system. Alternativ oder zusätzlich kann der Verlauf in Form einer Nummerierung der bildseitigen Referenzteile vorliegen.

In einer weiteren bevorzugten Ausgestaltung ist die Bildprozessiereinheit dazu aus gebildet, eine objektseitige Abfolge der objektseitigen Identifikationsindizes entlang eines Verlaufs der objektseitigen Referenzteile zu erhalten. Hierbei ergeben beispielsweise die Weltkoordinatenindizes der objektseitigen Refe renzteile den Verlauf im Weltkoordinatensystem. Alternativ oder zusätzlich kann der Verlauf in Form einer Nummerierung der objektseitigen Referenzteile vorliegen.

In einer weiteren bevorzugten Ausgestaltung ist die Bildprozessiereinheit dazu aus gebildet, die bildseitige Abfolge mit der objektseitigen Abfolge zu vergleichen, um einen Korrelationswert zwischen der bildseitigen und objektseitigen Abfolge zu ermit teln.

Der Korrelationswert gibt an, inwieweit die objektseitigen Identifikationsindizes der objektseitigen Abfolge den bildseitigen Identifikationsindizes der bildseitigen Abfolge entsprechen. Der Korrelationswert beruht beispielsweise auf der Anzahl der objekt seitigen Identifikationsindizes in der objektseitigen Abfolge, deren Reihenfolge einer Reihenfolge der bildseitigen Identifikationsindizes der bildseitigen Abfolge entspricht.

Für den Fall, dass der objektseitige Identifikationsindex ein objektseitiger Abstand ist, gibt der Korrelationswert an, inwieweit die bildseitige Abfolge der bildseitigen Abstän de betragsmäßig (also dimensionslos) durch Multiplizieren der objektseitigen Abfolge der objektseitigen Abstände mit einem gemeinsamen Faktor erhalten werden kön nen. Die Bildprozessiereinheit ist vorzugsweise dazu ausgebildet, die objektseitigen und bildseitigen Abstände jeweils in Einheit eines objektseitigen beziehungsweise bildseitigen Abstandes darzustellen. In diesem Fall ist ein Vergleich zwischen den objektseitigen Abständen und den bildseitigen Abständen dimensionslos und verein facht.

In einer weiteren bevorzugten Ausgestaltung ist die Bildprozessiereinheit dazu aus gebildet, den Korrelationswert für mehrere objektseitige Abfolgen jeweils entlang ei nes zugehörigen Verlaufs der objektseitigen Referenzteile zu ermitteln, um ein Ma ximum und/oder ein Extremum des Korrelationswertes zu identifizieren.

Unter Umständen kann die Anzahl der bildseitigen Referenzteile geringer als die An zahl der objektseitigen Referenzteile sein. Dies ist beispielsweise der Fall, wenn das Referenzobjekt bei der Bildaufnahme durch den Sensor aufgrund der Positionierung des Sensors oder des Referenzobjektes durch ein Hindernis teilweise verdeckt ist. In diesem Fall kann es mehr objektseitige Abfolgen mit der gleichen Anzahl an Identifi kationsindizes wie in der bildseitigen Abfolge geben, mit denen die bildseitige Abfol ge verglichen werden können. Der Korrelationswert kann je nach objektseitiger Ab folge variieren. Das Maximum beziehungsweise Extremum deutet auf einen hohen Grad der Entsprechung zwischen der bildseitigen Abfolge und der objektseitigen Ab folge hin. Dies reduziert das Risiko einer fehlerhaften Wahl der objektseitigen Abfol ge, die der zu ermittelnden Korrelation zwischen dem Weltkoordinatensystem und dem Bildkoordinatensystem zugrunde gelegt wird. Die Kalibrierung ist somit zuver lässiger.

In einer weiteren bevorzugten Ausgestaltung ist die Bildprozessiereinheit dazu aus gebildet, die Korrelation zwischen den Bildkoordinatenindizes und den Weltkoordina tenindizes basierend auf einem odometrischen Korrekturfaktor zu ermitteln.

Diese Maßnahme liefert eine Bezugsgröße, mit der das Ergebnis der Kalibrierung verglichen werden kann, um etwaige Fehler bei der Kalibrierung des Sensors zu re duzieren. Vorzugsweise werden odometrische Daten parallel zu den Bilddaten oder als Teil der Bilddaten über die Eingabeschnittstelle der Bildprozessiereinheit zuge führt. In diesem Fall kann die Erfassung des Referenzobjektes aus den Bilddaten die odometrischen Daten mit berücksichtigen, sodass die Kalibrierung von einer frühen Phase an fehlersicher ist.

In einer weiteren bevorzugten Ausgestaltung enthalten die Bilddaten mehrere Bilder, die vom Sensor und von zumindest einem weiteren Sensor zu mehreren Zeitpunkten jeweils synchron aufgenommen sind.

Zu jedem der mehreren Zeitpunkte nehmen die Sensoren jeweils ein Bild synchron auf. Hierdurch entstehen eine Bildsequenz, die mehrere Gruppen von Bildern enthal ten, wobei die Bilder jeder dieser Gruppen zu einem bestimmten Zeitpunkt von den Sensoren synchron aufgenommen sind und die Gruppen zueinander zeitlich versetzt sind. Die Bildprozessiereinheit ist vorzugsweise dazu ausgebildet, die mehreren Bil der derart zu prozessieren, um unter Berücksichtigung der zeitlichen Abfolge der Bil- der die Kalibrierung durchzuführen. Gegenüber nur zu einem einzigen Zeitpunkt auf genommenen Bildern liefert die zeitlich Abfolge der Bilder zusätzliche Informationen, die bei der Erkennung der bildseitigen Referenzteile und deren räumlichen und zeitli chen Informationen genutzt werden kann.

In einer weiteren bevorzugten Ausgestaltung umfasst die Bildprozessiereinheit ein künstliches neuronales Netzwerkmodul.

Das künstliche neuronale Netzwerkmodul (KNN-Modul) basiert auf einem künstlichen neuronalen Netzwerk (KNN), welches einen oder mehrere Algorithmen umfasst. Die Algorithmen sind derart mit Daten trainiert, dass es dazu geeignet ist, in der Bildpro zessiereinheit verwendet zu werden. Dies ermöglicht ein zuverlässiges Kalibrierver fahren.

In einer weiteren bevorzugten Ausgestaltung ist das künstliche neuronale Netzwerk modul dazu ausgebildet, das Referenzobjekt gegenüber einem Hintergrund im Bild zu klassifizieren.

Dies erfolgt beispielsweise mittels Bildsegmentierung, vorzugsweise semantischer Segmentierung, was besonders einfach und präzise ist.

In einer weiteren bevorzugten Ausgestaltung ist das künstliche neuronale Netzwerk modul dazu ausgebildet, die bildseitigen Identifikationsindizes und/oder die Bildkoor dinatenindizes zu detektieren und/oder die Korrelation zwischen den Bildkoordinaten indizes und den Weltkoordinatenindizes zu ermitteln.

Dies ermöglicht ein zumindest teils automatisiertes Kalibrierverfahren, was bei zu mindest gleichbleibender Genauigkeit das Kalibrieren des Sensors vereinfacht.

Die erfindungsgemäße Trainiervorrichtung ist dazu ausgebildet, ein KNN zu trainie ren, sodass dieses in der Lage ist, basierend auf Bilddaten, die zumindest ein sen- sor-generiertes Bild eines vordefinierten Referenzobjektes enthalten mehrere bildsei tige Referenzteile zu erfassen, zu diesen jeweils einen bildseitigen Identifikationsin- dex und einen Bildkoordinatenindex zu detektieren, und/oder basierend auf den ob jektseitigen und bildseitigen Identifikationsindizes eine Korrelation zwischen den Bildkoordinatenindizes und den Weltkoordinatenindizes zu ermitteln.

Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit de nen die Verfahrensschritte des erfindungsgemäßen Verfahrens zum Kalibrieren eines Sensors oder die Verfahrensschritte des erfindungsgemäßen Verfahrens zum Tainie- ren eines künstlichen neuronalen Netzwerks ausgeführt werden, wenn das Compu terprogrammprodukt auf dem Computer läuft.

Ein Programm gehört zur Software eines Daten verarbeitenden Systems, zum Bei spiel einer Auswerteeinrichtung oder einem Computer. Software ist ein Sammelbe griff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hard ware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems. Ein Computer ist eine Auswerteeinrichtung.

Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfah ren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogramm produkt einen technischen Effekt hervor, nämlich die Genauigkeit und Zuverlässigkeit des Kalibrierens des Sensors zu erhöhen

Das erfindungsgemäße Computerprogrammprodukt ist Plattform unabhängig. Das heißt, es kann auf jeder beliebigen Rechenplattform ausgeführt werden. Bevorzugt wird das Computerprogrammprodukt auf einer erfindungsgemäßen Vorrichtung zum Kalibrieren eines Sensors für ein Fahrzeug oder auf einer erfindungsgemäßen Vor richtung zum Trainieren eines künstlichen neuronalen Netzwerks ausgeführt.

Die Softwarecodeabschnitte sind in einer beliebigen Programmiersprache geschrie ben, zum Beispiel in Python. Die Erfindung wird in den Figuren beispielhaft erläutert. Es zeigen:

Fig. 1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zum Kalibrieren eines Sensors für ein Fahrzeug gemäß einem Ausführungsbei spiel;

Fig. 2 eine schematische Darstellung eines Sensorsystems umfassend mehrere Sensoren;

Fig. 3 eine schematische Darstellung eines Referenzobjektes umfassend mehrere Referenzpunkte;

Fig. 4 eine schematische Darstellung eines von einem der Sensoren aus Fig. 2 auf genommenen Bildes des Referenzobjektes aus Fig. 3;

Fig. 5 eine schematische Darstellung eines Referenzobjektes umfassend mehrere Referenzpunkte;

Fig. 6 eine schematische Darstellung eines von einem der Sensoren aus Fig. 2 auf genommenen Bildes des Referenzobjektes aus Fig. 5;

Fig. 7 eine schematische Darstellung eines Verfahrens zum Kalibrieren des Sensors gemäß einem Ausführungsbeispiel; und

Fig. 8 eine schematische Darstellung einer Sensoreinrichtung gemäß einem Ausfüh rungsbeispiel.

In den Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder funktionsähnli che Bezugsteile. In den einzelnen Figuren sind die jeweils relevanten Bezugsteile gekennzeichnet.

Fig. 1 zeigt eine schematische Darstellung einer erfindungsgemäßen Vorrichtung 10 zum Kalibrieren eines Sensors 22, 24, 26, 28 für ein Fahrzeug 21 gemäß einem Aus- führungsbeispiel. Der Sensor 22, 24, 26, 28 und das Fahrzeug 21 sind in Fig. 2 schematisch gezeigt.

Die Vorrichtung 10 weist eine Eingangsschnittstelle 12 zum Eingeben von Bilddaten 18 auf, die zumindest ein Bild, hier beispielhaft jedoch mehrere Bilder 19-1 , 19-2, 19- 3, ... 19-n, enthalten. Das Bild 19-1 , 19-2, 1 9-3, ... 19-n ist vom Sensor 22, 24, 26, 28 aufgenommen und umfasst ein vordefiniertes farbiges Referenzobjekt 34, 42 mit mehreren objektseitigen Referenzteilen P1 -P1 1 , J1 -J9, wie in Fig. 3 und 5 beispiel haft schematisch dargestellt ist. Jedem der objektseitigen Referenzteile P1 -P1 1 , J1 - J9 sind ein Weltkoordinatenindex und ein objektseitiger Identifikationsindex zugeord net.

Die Vorrichtung 10 weist ferner eine Bildprozessiereinheit 14 auf, die dazu ausgebil det ist, mehrere, auf die objektseitigen Referenzteile P1 -P11 , J1 -J9 zurückgehende bildseitige Referenzteile Q1 -Q5, K1 -K7 (siehe Fig. 4 und 6) zu erfassen. Außerdem ist die Bildprozessiereinheit 14 dazu ausgebildet, für jedes der bildseitigen Referenz teile Q1 -Q5, K1 -K7 einen Bildkoordinatenindex und einen bildseitigen Identifikations index zu detektieren, um basierend auf den objektseitigen Identifikationsindizes und den bildseitigen Identifikationsindizes eine Korrelation zwischen den Bildkoordinaten indizes der bildseitigen Referenzteile Q1 -Q5, K1 -K7 und den Weltkoordinatenindizes der zugehörigen objektseitigen Referenzteile P1 -P1 1 , J1 -J9 zu ermitteln.

Die Vorrichtung 10 weist des Weiteren eine Ausgabeschnittstelle 16 zum Ausgeben der ermittelten Korrelation an eine externe Entität auf. Die externe Entität, die in Fig.

1 nicht gezeigt ist, kann eine weitere Einheit zum Durchführen weiterer Informations verarbeitungsschritte sein. Beispielsweise kann die weitere Einheit dazu ausgebildet sein, eine nicht-lineare Optimierung der ermittelten Korrelation durchzuführen und/oder mittels intrinsischer Parameter aus der ermittelten Korrelation extrinsische Parameter für den zu kalibrierenden Sensor 22, 24, 26, 28 zu erhalten.

Fig. 2 zeigt eine schematische Darstellung eines Sensorsystems 25 umfassend mehrere Sensoren 22, 24, 26, 28. Die Sensoren 22, 24, 26, 28 können eine Kamera, einen Radarsensor, einen Lidarsensor und/oder einen Ultraschallsensor umfassen. Wie in Fig. 2 schematisch und beispielhaft gezeigt, befindet sich das Referenzobjekt 34 teilweise im Blickfeld des Sensors 22. Die Erfassung des Referenzobjektes 34, 42 ergibt ein Bild 19 des Referenzobjektes 34, 42, das in Fig. 4 näher schematisch ge zeigt ist.

Fig. 3 zeigt eine schematische Darstellung eines Referenzobjektes 34. Hier sind die objektseitigen Referenzteile beispielhaft als Referenzpunkte P1 -P11 gezeigt. Die Re ferenzpunkte P1 -P1 1 liegen jeweils in einem Referenzbereich R1 -R1 1 , in die die Oberfläche des Referenzobjektes 34 unterteilt ist. In Fig. 3 sind die Referenzbereiche R1 -R1 1 beispielhaft gezeigt. Es können mindestens vier Farben verwendet werden, wobei benachbarte Referenzbereiche R1 -R1 1 gleiche oder unterschiedliche Farben tragen können.

Jedem der Referenzpunkte P1 -P11 ist aufgrund ihrer Position in einem Weltkoordina tensystem 36 ein zugehöriger Weltkoordinatenindex zugeordnet. Das Weltkoordina tensystem 36 ist in Fig. 3 beispielhaft als kartesisches Koordinatensystem gezeigt. Alternativ kann auch ein anderes, etwa ein sphärisches, Koordinatensystem hierzu verwendet werden.

Des Weiteren ist jedem der Referenzpunkte P1 -P1 1 zusätzlich ein objektseitiger Far- bindex zugeordnet. Beispielsweise ist die Farbe eines Referenzbereichs R1 -R1 1 dem zugehörigen Referenzpunkt P1 -P1 1 zugeordnet.

Fig. 4 zeigt eine schematische Darstellung des vom Sensor 22, 24, 26, 28 aus Fig. 2 aufgenommenen Bildes 19 des Referenzobjektes 34 aus Fig. 3. Das Bild 19 zeigt einen Teil des Referenzobjektes 34, welcher objektseitig im Blickfeld des Sensors 22 liegt. Im Bild 19 sind entsprechend ein Teil der bildseitigen Referenzteile Q1 -Q5 als Referenzpunkte und ihre zugehörigen Referenzbereiche T1 -T5 zu sehen. Jeder der bildseitigen Referenzpunkte Q1 -Q5 entspricht einem der objektseitigen Referenz punkte P1 -P1 1 , wobei jeder der bildseitigen Referenzbereiche T 1 -T5 einem der ob jektseitigen Referenzbereiche R1 -R1 1 entspricht. Für jeden der bildseitigen Referenzpunkte Q1 -Q5 wird ein Bildkoordinatenindex in einem Bildkoordinatensystem 38 bei der Erfassung des Referenzobjektes 34 durch den Sensor 22 identifiziert. In Fig. 4 ist als Bildkoordinatensystem ein Koordinaten system mit drei Bildachsen für die Bildkoordinaten u, v und w gezeigt. Dies ist jedoch nicht einschränkend für die vorliegende Erfindung. Es kann ein beliebiges, beispiels weise ein zweidimensionales, Bildkoordinatensystem verwendet werden.

Für jeden der bildseitigen Referenzpunkte Q1 -Q5 wird außerdem ein auf die objekt seitigen Farbindizes der objektseitigen Referenzpunkte P1 -P1 1 zurückgehender bild seitiger Farbindex bei der Erfassung des Referenzobjektes 34 durch den Sensor 22 identifiziert. Dies geschieht auf Basis eines sensoreigenen Farbindexsystems, etwa dem RGB-System.

Die Bildprozessiereinheit 14 ist dazu ausgebildet, die Bildkoordinatenindizes und die bildseitigen Farbindizes der bildseitigen Referenzpunkte Q1 -Q5 aus den Bilddaten 18 zu entnehmen (detektieren).

Fig. 5 zeigt eine schematische Darstellung eines weiteren Referenzobjektes 42. Hier sind die objektseitigen Referenzteile beispielhaft als Referenzpunkte J1 -J9 gezeigt. Die Referenzpunkte J1 -J9 liegen jeweils in einem Referenzbereich M1 -M9, in die die Oberfläche des Referenzobjektes 42 unterteilt ist. In Fig. 3 sind die Referenzbereiche M1 -M9 beispielhaft gezeigt.

Jedem der Referenzpunkte J1 -J9 ist aufgrund ihrer Position im Weltkoordinatensys tem 36 ein zugehöriger Weltkoordinatenindex zugeordnet. Das Weltkoordinatensys tem 36 ist in Fig. 3 beispielhaft als kartesisches Koordinatensystem gezeigt. Alterna tiv kann auch ein anderes, etwa ein sphärisches, Koordinatensystem hierzu verwen det werden.

Des Weiteren ist jedem der Referenzpunkte J1 -J9 zusätzlich ein objektseitiger Ab stand d 1 , d5, d7 zugeordnet. In Fig. 5 ist aus übersichtlichkeitsgründen nicht alle ob jektseitigen Abstände mit einem Bezugszeichen gekennzeichnet. Der jeweilige ob jektseitige Abstand d 1 , d5, d7 wird im Weltkoordinatensystem 36 gemessen, wobei es sich hierbei um den Abstand zwischen einem objektseitigen Mittelpunkt A und dem jeweiligen objektseitigen Referenzpunkt J1 -J9 handelt. Der objektseitige Mittel punkt A ist hier beispielsweise der Mittelpunkt eines Kreises 44, von dem aus sich die Referenzbereiche M1 -M9 radial nach außen bis zum jeweiligen Referenzpunkt J1 -J9 mit abnehmender Breite erstrecken.

Fig. 6 zeigt eine schematische Darstellung des vom Sensor 22, 24, 26, 28 aus Fig. 2 aufgenommenen Bildes 27 des Referenzobjektes 42 aus Fig. 5. Das Bild 27 zeigt einen Teil des Referenzobjektes 42, welcher objektseitig im Blickfeld des Sensors 22 liegt. Im Bild 27 sind entsprechend ein Teil der bildseitigen Referenzteile K1 -K7 als Referenzpunkte und ihre zugehörigen Referenzbereiche N1 -N7 zu sehen. Jeder der bildseitigen Referenzpunkte K1 -K7 entspricht einem der objektseitigen Referenz punkte J1 -J9, wobei jeder der bildseitigen Referenzbereiche N1 -N7 einem der ob jektseitigen Referenzbereiche M1 -M9 entspricht.

Für jeden der bildseitigen Referenzpunkte K1 -K7 wird ein Bildkoordinatenindex in einem Bildkoordinatensystem 38 bei der Erfassung des Referenzobjektes 42 durch den Sensor 22 identifiziert. In Fig. 4 ist als Bildkoordinatensystem ein Koordinaten system mit drei Bildachsen für die Bildkoordinaten u, v und w gezeigt. Dies ist jedoch nicht einschränkend für die vorliegende Erfindung. Es kann ein beliebiges, beispiels weise ein zweidimensionales, Bildkoordinatensystem verwendet werden.

Für jeden der bildseitigen Referenzpunkte K1 -K7 wird außerdem ein auf die objekt seitigen Abstände der objektseitigen Referenzpunkte J1 -J9 zurückgehender bildseiti ger Abstand 11 , 15, I7 durch die Bildprozessiereinheit 14 detektiert. Der jeweilige bild seitige Abstand 11 , I5, 17 wird im Bildkoordinatensystem 38 gemessen, wobei es sich hierbei um den Abstand zwischen einem bildseitigen Mittelpunkt B und dem jeweili gen Referenzpunkt K1 -K7 handelt. Der bildseitige Mittelpunkt B ist beispielhaft als der Mittelpunkt des Kreises 46 des Bildes des Referenzobjektes 42 gezeigt. Der Kreis 46 geht hier auf den Kreis 44 des Referenzobjektes 42 in Fig. 5 zurück. Die Bildprozessiereinheit 14 ist dazu ausgebildet, die Bildkoordinatenindizes und die bildseitigen Abstände der bildseitigen Referenzpunkte K1 -K7 aus den Bilddaten 18 zu entnehmen (detektieren).

Fig. 7 zeigt schematisch ein erfindungsgemäßes Verfahren 100 zum Kalibrieren des Sensors 22, 24, 26, 28. In einem ersten Schritt S1 werden Bilddaten18 eingegeben, die zumindest ein von einem Sensor 22, 24, 26, 28 aufgenommenes Bild 19- 1 ,2,3, ...,n eines vordefinierten Referenzobjektes 34, 42 enthalten. Das Referenzob jekt 34 umfasst mehrere objektseitige Referenzteile P1 -P1 1 , J1 -J9, denen jeweils ein Weltkoordinatenindex zugeordnet ist. In einem zweiten Schritt S2 werden aus den Bilddaten mehrere bildseitige Referenzteile Q1 -Q5, K1 -K7 erfasst, die auf die mehre ren objektseitigen Referenzteile P1 -P11 , J 1 - J9 zurückgehen. Außerdem wird für je des der erfassten bildseitigen Referenzteile Q1 -Q5, K1 -K7 ein Bildkoordinatenindex und ein bildseitiger Identifikationsindex aus den Bilddaten detektiert. In einem dritten Schritt S3 werden die bildseitigen Identifikationsindizes ausgegeben.

Basierend auf den objektseitigen und bildseitigen Identifikationsindizes wird dann eine Korrelation zwischen den Bildkoordinatenindizes der bildseitigen Referenzteile Q1 -Q5, K1 -K7 und den Weltkoordinatenindizes der objektseitigen Referenzteile P1 - P1 1 , J1 -J9 ermittelt.

Um die Korrelation zwischen den Bildkoordinaten der bildseitigen Referenzpunkte Q1 -Q5, K1 -K7 und den Weltkoordinaten der zugehörigen objektseitigen Referenz punkte P1 -P1 1 , J1 -J9 zu ermitteln, ist die Bildprozessiereinheit 14 vorzugsweise da zu ausgebildet, eine bildseitige Abfolge der bildseitigen Identifikationsindizes zu be stimmen. Diese bildseitige Abfolge ist die Abfolge der bildseitigen Identifikationsindi zes der bildseitigen Referenzpunkte.

Für das in Fig. 4 gezeigte Bild 19 entspricht diese bildseitige Abfolge beispielhaft dem (bildseitigen) Verlauf der bildseitigen Referenzpunkte Q1 -Q2-Q3-Q4-Q5 (in die ser Reihenfolge). Die zugehörigen bildseitigen Identifikationsindizes hier sind bildsei tige Farbindizes FB1 , FB2, FB3, FB4, FB5. Daher handelt es sich bei der bildseitigen Abfolge für das in Fig. 4 gezeigte Beispiel um die Farbindizesabfolge FB1 -FB2-FB3- FB4-FB5.

Für das in Fig. 6 gezeigte Bild entspricht die bildseitige Abfolge beispielshaft dem bildseitigen Verlauf K1 -K2-K3-K4-K5-K6-K7 (in dieser Reihenfolge). Die zugehörigen bildseitigen Identifikationsindizes hier sind bildseitige Abstände 11 , 12, I3, 14, 15, I6, I7. Daher handelt es sich bei der bildseitigen Abfolge für den in Fig. 6 gezeigte Beispiel um die Abstandsabfolge 11 -I2-I3-I4-I5-I6-I7.

Die Bildprozessiereinheit 14 ist ferner vorzugsweise dazu ausgebildet, eine objektsei tige Abfolge der objektseitigen Identifikationsindizes zu bestimmen.

Die objektseitige Abfolge für das in Fig. 3 gezeigte Referenzobjekt 34 entspricht bei spielhaft jedem beliebigen (objektseitigen) Verlauf der objektseitigen Referenzpunkte P1 -P1 1 , wobei im objektseitigen Verlauf die Anzahl der objektseitigen Referenzpunk te P1 -P1 1 der Anzahl der bildseitigen Referenzpunkte Q1 bis Q5 vorzugsweise ent spricht und somit fünf beträgt. Beispielsweise kann die objektseitige Abfolge dem objektseitigen Verlauf P1 -P2-P3-P4-P5 (in dieser Reihenfolge) entsprechen. Die zu gehörigen objektseitigen Identifikationsindizes sind objektseitige Farbindizes F01 , F02, F03, F04, F05. Daher handelt es sich bei der beispielhaften objektseitigen Abfolge für das in Fig. 3 gezeigte Beispiel um die Farbindizesabfolge F01 -F02-F03- F04-F05.

Die objektseitige Abfolge für das in Fig. 5 gezeigte Referenzobjekt 42 entspricht bei spielhaft jedem beliebigen (objektseitigen) Verlauf der objektseitigen Referenzpunkte J1 -J9, wobei im objektseitigen Verlauf die Anzahl der objektseitigen Referenzpunkte J1 -J9 der Anzahl der bildseitigen Referenzpunkte K1 -K7 vorzugsweise entspricht und somit sieben beträgt. Beispielsweise kann die objektseitige Abfolge dem objektseiti gen Verlauf J1 -J2-J3-J4-J5 (in dieser Reihenfolge) entsprechen. Die zugehörigen objektseitigen Identifikationsindizes sind objektseitige Abstände d1 , d2, d3, d4, d5, d6, d7. Daher handelt es sich bei der beispielhaften objektseitigen Abfolge für das in Fig. 5 gezeigte Beispiel um die Abstandsabfolge d1 -d2-d3-d4-d5-d6-d7. Da die Anzahl der objektseitigen Referenzpunkte größer als die Anzahl der bildseiti gen Referenzpunkte ist, kann es mehrere mögliche objektseitige Abfolgen geben. Beispielsweise kann die objektseitige Abfolge für das in Fig. 3 gezeigte Beispiel F06- F07-F08-F09-F010 lauten. Beispielsweise kann die objektseitige Abfolge für das in Fig. 5 gezeigte Beispiel d3-d4-d5-d6-d7-d8-d9 lauten.

Die Bildprozessiereinheit 14 ist vorzugsweise dazu ausgebildet, die bildseitige Abfol ge mit jeder der mehreren möglichen objektseitigen Abfolgen zu vergleichen und je weils einen Korrelationswert zu bestimmen. Der Korrelationswert bemisst sich vor zugsweise daran, inwieweit eine objektseitige Abfolge der bildseitigen Abfolge ent spricht.

Für das in Fig. 3-4 gezeigte Beispiel wird die bildseitige Farbindizesabfolge FB1 -FB2- FB3-FB4-FB5 mit der objektseitigen Farbindizesabfolge F01 -F02-F03-F04-F05 verglichen. Vorzugsweise werden die bildseitigen und objektseitigen Farbindizes in ein gemeinsames Farbindexsystem übersetzt, sodass ein direkter Vergleich möglich ist. Wenn die beiden Farbindizesabfolgen miteinander bei allen fünf Farbindizes in deren Reihenfolgen übereinstimmen, ist der Korrelationswert am höchsten. Wenn die beiden Farbindizesabfolgen bei vier von den fünf Farbindizes in deren Reihenfolge übereinstimmen, ist der Korrelationswert niedriger. Je höher die Anzahl der Farbindi zes beträgt, bei denen die beiden Farbindizesabfolgen miteinander übereinstimmen, desto höher beträgt der Korrelationswert.

Für das in Fig. 5-6 gezeigte Beispiel wird die bildseitige Abstandsabfolge 11 -I2-I3-I4- I5-I6-I7 mit der objektseitigen Abstandsabfolge d3-d4-d5-d6-d7-d8-d9 vergleichen. Vorzugsweise werden die beiden Abstandsabfolgen betragsmäßig beziehungsweise dimensionslos miteinander verglichen, sodass ein direkter Vergleich zwischen den Abstandsabfolgen möglich ist. Wenn die beiden Abstandsabfolgen miteinander bei allen sieben Abständen in deren Reihenfolgen bis auf einen für alle sieben Werte gemeinsamen Faktor übereinstimmen, ist der Korrelationswert am höchsten. Wenn die beiden Abstandsabfolgen bei sechs von den sieben Abständen in deren Reihen folge bis auf den gemeinsamen Faktor übereinstimmen, ist der Korrelationswert nied riger. Je höher die Anzahl der Abstände beträgt, bei denen die beiden Abstandsab- folgen miteinander bis auf einen gemeinsamen Faktor übereinstimmen, desto höher beträgt der Korrelationswert.

Die Bildprozessiereinheit 14 ist vorzugsweise dazu ausgebildet, nach dem Ermitteln des Korrelationswertes den objektseitigen Verlauf um ein oder mehrere objektseitige Referenzteile zu ändern und anschließend einen Korrelationswert entsprechend dem geänderten objektseitigen Verlauf zu ermitteln. Dieser Prozess kann solange iterativ fortlaufen bis ein Maximum oder Extremum des Korrelationswertes festgestellt ist.

Die objektseitige Abfolge mit dem höchsten Korrelationswert wird vorzugsweise der Ermittlung der Korrelation zugrunde gelegt. Hierbei werden die Bildkoordinatenindi zes der bildseitigen Referenzteile mit den Weltkoordinatenindizes der objektseitigen Referenzteile dieser bestimmten objektseitigen Abfolge in Relation gesetzt, um ein Übersetzungsverhältnis zwischen den beiden Koordinatensystemen zu erhalten.

Fig. 8 zeigt schematisch eine Sensoreinrichtung 50 umfassend das in Fig. 2 gezeigte Sensorsystem 25 mit den mehreren Sensoren 22, 24, 26, 28 und die in Fig. 1 gezeig te Kalibriervorrichtung 10 zum Kalibrieren der Sensoren 22, 24, 26, 28. Die Sen soreinrichtung 50 ist an einer Kalibrierbühne 23, die vorzugsweise ein Fahrzeug um fasst, angebracht. Somit ist eine Offline- und/oder Online-Kalibrierung mittels der er findungsgemäßen Kalibriervorrichtung 10 möglich.

Bezuqszeichen

10 Kalibriervorrichtung

12 Eingabeschnittstelle

14 Bildprozessiereinheit

16 Ausgabeschnittstelle

18 Bilddaten

19, 27 Bild

19-1 ,-2, ... -n Bilder

21 Fahrzeug

22, 24, 26, 28 Sensoren

23 Kalibrierbühne

25 Sensorsystem

32 Blickfeld

34, 42 Referenzobjekt

36 Weltkoordinatensystem

38 Bildkoordinatensystem

44 Kreisform des Referenzobjektes

46 Kreisform des Bildes des Referenzobjektes

50 Sensoreinrichtung

100 Kalibrierverfahren

P1 bis P11 , J1 bis J9

objektseitige Referenzpunkte

R1 bis R11 , M1 bis M9

objektseitige Referenzbereiche

Q1 bis Q5, K1 bis K7

bildseitige Referenzpunkte

T1 bis T5, N1 bis N7

bildseitige Referenzbereiche

S1 bis S3 Verfahrensschritte