Die Erfindung betrifft ein Verfahren zur Kalibrierung eines distanzmessenden Sensors eines Fahrzeugs.

Aus dem Stand der Technik ist, wie in der DE 102006000642 A1 beschrieben, ein Fahrerassistenzsystem bekannt. Das Fahrerassistenzsystem umfasst eine Vielzahl von Sensoren, denen Kalibrierparameter zugeordnet sind, und Speichermittel für die zentrale Speicherung der Kalibrierparameter.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Kalibrierung eines distanzmessenden Sensors eines Fahrzeugs anzugeben.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Kalibrierung eines distanzmessenden Sensors eines Fahrzeugs mit den Merkmalen des Anspruchs 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

In einem Verfahren zur Kalibrierung eines distanzmessenden Sensors eines Fahrzeugs, insbesondere bezüglich einer Eigenbewegung des Fahrzeugs, wird ein Transformationsparameterwert mindestens eines Transformationsparameters für eine Koordinatentransformation ermittelt, mit dem eine in einem Sensorkoordinatensystem ermittelte Messposition in ein Weltkoordinatensystem transformiert wird. Der Transformationsparameterwert des mindestens einen Transformationsparameters wird durch ein Optimierungsverfahren ermittelt, bei dem Messpositionen, die mit dem Sensor zu verschiedenen Zeitpunkten während der Eigenbewegung des Fahrzeugs ermittelt wurden, ausgewertet werden. Dabei umfasst das Optimierungsverfahren folgende Schritte: a) Transformation der Messpositionen mit einem vorgegebenen Transformationsparameterwert des mindestens einen Transformationsparameters in ein Koordinatengitter des Weltkoordinatensystems, b) Zählen von Zellen des Koordinatengitters, denen zumindest eine der transformierten Messpositionen zugeordnet ist, c) Wiederholen der Schritte a) und b) mit einem jeweils, d. h. bei jeder Wiederholung, modifizierten Transformationsparameterwert des mindestens einen Transformationsparameters und Ermitteln des Transformationsparameterwertes des mindestens einen Transformationsparameters, der in Schritt b) zu einem Minimum führt, d. h. zu einem Minimum einer Anzahl der Zellen des Koordinatengitters, denen zumindest eine der transformierten Messpositionen zugeordnet ist.

Grundgedanke des Verfahrens ist es somit, eine vom Sensor erfasste Umgebung des Fahrzeugs mit möglichst wenigen Zellen des Koordinatengitters, welches aus diesen Zellen mit jeweils endlicher Ausdehnung gebildet ist, zu repräsentieren. Hierfür werden in diesem Verfahren mittels der Eigenbewegung des Fahrzeugs Punktmessungen des Sensors in das Weltkoordinatensystem, d. h. in ein weltfestes Koordinatensystem, überführt, welches in Zellen einer vorgegebenen Größe quantisiert wird.

Ein jeweiliger Objektpunkt eines jeweils erfassten statischen Objekts, d. h. ein jeweiliger weltfester Objektpunkt, weist unveränderliche Weltkoordinaten auf und wird daher bei Messungen zu verschiedenen Zeitpunkten während der Eigenbewegung des Fahrzeugs bei kalibriertem Sensor stets an derselben Position im Weltkoordinatensystem erscheinen, d. h. bei allen Messungen nur eine einzige transformierte Messposition bilden, und somit nur eine Zelle des Koordinatengitters belegen. Bei dekalibriertem Sensor wird derselbe weltfeste Objektpunkt jedoch bei Messungen zu verschiedenen Zeitpunkten während der Eigenbewegung des Fahrzeugs an verschiedenen Position des Weltkoordinatensystems erscheinen, d. h. es werden für denselben weltfesten Objektpunkt des statischen Objekts verschiedene transformierte Messpositionen an verschiedenen Stellen des Weltkoordinatensystems ermittelt, wodurch mit demselben weltfesten Objektpunkt des statischen Objekts aufgrund der daraus resultierenden mehreren transformierten Messpositionen mehrere Zellen des Koordinatengitters belegt werden. Bei einer Vielzahl mittels des Sensors erfasster weltfester Objektpunkte ergibt sich somit eine erhebliche Abweichung der Anzahl mit transformierten Messpositionen belegter Zellen bei kalibriertem Sensor, bei welchem für den jeweiligen weltfesten Objektpunkt nur eine einzige transformierte Messposition ermittelt wird, im Vergleich zum nicht kalibrierten Sensor, bei welchem für denselben weltfesten Objektpunkt mehrere transformierte Messpositionen ermittelt werden.

Ziel des Optimierungsverfahrens ist es somit, die Anzahl der benötigten, d. h. mit mindestens einer transformierten Messposition belegten, Zellen durch Adaption des Transformationsparameterwertes des mindestens einen Transformationsparameters, vorteilhafterweise durch Adaption eines jeweiligen Transformationsparameterwertes mehrerer Transformationsparameter, zu minimieren. Die Anzahl dieser benötigten, d. h. mit mindestens einer transformierten Messposition belegten, Zellen ist bei optimaler Kalibrierung des Sensors minimal, da dann für den jeweils erfassten weltfesten Objektpunkt in allen Messungen dieselbe transformierte Messposition im Weltkoordinatensystem erfasst wird. Die Anzahl der transformierten Messpositionen ist somit auf die Anzahl erfasster Objektpunkte reduziert, wodurch die Anzahl der transformierten Messpositionen und somit die Anzahl der von den transformierten Messpositionen belegten Zellen minimal ist.

Mittels des erfindungsgemäßen Verfahrens ist die Kalibrierung ohne zusätzliche Referenzsensorik möglich. Zudem ist keine Korrespondenzfindung zwischen Messpositionen erforderlich, wie dies in anderen möglichen Kalibrierungsverfahren erfolgt. Das erfindungsgemäße Verfahren funktioniert insbesondere mit beliebigen Umgebungen des Fahrzeugs. Es müssen keine Vorbedingungen an mittels des Sensors zu erfassenden Szenarien erfüllt werden, damit das Verfahren funktioniert. Zweckmäßigerweise muss lediglich mindestens ein stationäres Objekt erfassbar sein. Hierfür muss es sich jedoch nicht um ein spezifisches Testobjekt handeln, sondern irgendein stationäres Objekt ist bereits ausreichend, beispielsweise ein Gebäude, eine Bordsteinkante, eine Leitplanke, ein Leitpfosten oder ein anderes Bauwerk, zum Beispiel auch ein Einrichtungsgegenstand in einem Gebäude oder eine Innenraumausformung des Gebäudes, zum Beispiel einer Produktionshalle, in welcher das Fahrzeug hergestellt wird.

Das erfindungsgemäße Verfahren funktioniert ebenso in Szenarien mit dynamischen Objekten. Diese dynamischen Objekte erzeugen für jeden Objektpunkt, da die Objektpunkte bei dynamischen Objekten nicht weltfest sind, zu verschiedenen Zeitpunkten jeweils eine andere Messposition, da sich derselbe Objektpunkt aufgrund der dynamischen Bewegung des Objekts zu den verschiedenen Zeitpunkten an verschiedenen Orten befindet, und somit auch verschiedene transformierte Messpositionen. Da sich der jeweilige Objektpunkt eines solchen dynamischen Objekts somit nicht zu verschiedenen Zeitpunkten am gleichen Ort befindet, wird es jedoch keine aus der Dekalibrierung des Sensors resultierenden mehreren transformierten Messpositionen für denselben Objektpunkt am selben Ort geben, welche sich durch die Kalibrierung auf eine transformierte Messposition reduzieren würden. D. h. für dynamische Objekte bleibt die Anzahl der transformierten Messpositionen und somit auch die Anzahl der von diesen transformierten Messpositionen belegten Zellen auch nach der Kalibrierung gleich groß wie vor der Kalibrierung, sie verändert sich somit während des Optimierungsverfahrens nicht und hat daher auch keinen Einfluss auf diese Optimierung bezüglich der Minimierung der belegten Zellen. Diese Minimierung der belegten Zellen erfolgt ausschließlich durch die Reduzierung der transformierten Messpositionen der erfassten statischen Objekte.

Das erfindungsgemäße Verfahren ist zudem aufgrund der Quantisierung des Weltkoordinatensystems in Zellen robust gegenüber Distanzrauschen einzelner Punktmessungen.

Mittels des erfindungsgemäßen Verfahrens ist des Weiteren keine initiale Kalibrierung des Sensors notwendig.

Beispielsweise wird ein Transformationsparameterwert für mindestens einen als extrinsischer Sensorparameter des Sensors ausgebildeten Transformationsparameter und/oder für einen als ein zeitlicher Versatz zwischen einer sensorinternen Uhr des Sensors und einer Uhr des Eigenbewegungsmoduls des Fahrzeugs ausgebildeten Transformationsparameter ermittelt. Der mindestens eine als extrinsischer Sensorparameter ausgebildete Transformationsparameter ist beispielsweise eine x-Koordinate, eine y-Koordinate oder eine z-Koordinate einer Einbauposition des Sensors in einem Fahrzeugkoordinatensystem oder ein Rollwinkel, ein Nickwinkel oder ein Gierwinkel des Sensors bezüglich des Fahrzeugkoordinatensystems.

Vorteilhafterweise werden Transformationsparameterwerte mehrerer Transformationsparameter, beispielsweise aller extrinsischen Sensorparameter und zum Beispiel zusätzlich des zeitlichen Versatzes zwischen der sensorinternen Uhr des Sensors und der Uhr des Eigenbewegungsmoduls des Fahrzeugs, für die Koordinatentransformation ermittelt, mit denen eine im Sensorkoordinatensystem ermittelte Messposition in das Weltkoordinatensystem transformiert wird. D. h. es wird ein Transformationsparameterwert für den jeweiligen Transformationsparameter ermittelt. Die Transformationsparameterwerte der Transformationsparameter werden durch das Optimierungsverfahren ermittelt, bei dem Messpositionen, die mit dem Sensor zu verschiedenen Zeitpunkten während der Eigenbewegung des Fahrzeugs ermittelt wurden, ausgewertet werden. Dabei umfasst das Optimierungsverfahren entsprechend die Schritte: a) Transformation der Messpositionen mit einem vorgegebenen Transformationsparameterwert des jeweiligen Transformationsparameters in das Koordinatengitter des Weltkoordinatensystems, b) Zählen der Zellen des Koordinatengitters, denen zumindest eine der transformierten Messpositionen zugeordnet ist, c) Wiederholen der Schritte a) und b) mit jeweils, d. h. bei jeder Wiederholung, modifizierten Transformationsparameterwerten der Transformationsparameter und Ermitteln der Transformationsparameterwerte der Transformationsparameter, d. h. des Transformationsparameterwertes des jeweiligen Transformationsparameters, die in Schritt b) zu einem Minimum führen, d. h. zu einem Minimum der Anzahl der Zellen des Koordinatengitters, denen zumindest eine der transformierten Messpositionen zugeordnet ist. Dabei kann beispielsweise vorgesehen sein, dass bei jeder Wiederholung der Schritte a) und b) der Transformationsparameterwert nur jeweils eines Transformationsparameters oder der jeweilige Transformationsparameterwert mehrerer oder aller Transformationsparameter gleichzeitig modifiziert wird. Das Verfahren ermöglicht somit vorteilhafterweise eine zeitliche Kalibrierung, durch die Uhrzeitsynchronisation zwischen dem Sensor und dem Eigenbewegungsmodul, d. h. durch die Ermittlung des zeitlichen Versatzes zwischen der sensorinternen Uhr des Sensors und der Uhr des Eigenbewegungsmoduls des Fahrzeugs, und gleichzeitig eine räumliche Kalibrierung, vorteilhafterweise in sechs Freiheitsgraden, d. h. bezüglich der x-Achse, y-Achse und z-Achse des Fahrzeugkoordinatensystems und bezüglich des Rollwinkels, eines Nickwinkels und Gierwinkels zum Fahrzeugkoordinatensystem.

Als Sensor wird beispielsweise ein Lidarsensor, ein Radarsensor, ein Ultraschallsensor oder eine Stereokamera des Fahrzeugs kalibriert, d. h. insbesondere ein Umgebungserfassungssensor des Fahrzeugs. Derartige Umgebungserfassungssensoren sind insbesondere vorteilhaft zur Durchführung einer oder mehrerer Assistenzfunktionen des Fahrzeugs und/oder durch Durchführung eines zumindest teilautomatisierten oder vollautomatisierten oder autonomen Fährbetriebs des Fahrzeugs. Hierfür ist es wichtig, dass der jeweilige Sensor kalibriert ist, um exakte Sensorergebnisse zu liefern und dadurch mögliche Fehlfunktionen der Assistenzfunktion bzw. des zumindest teilautomatisierten oder vollautomatisierten oder autonomen Fährbetriebs des Fahrzeugs zu vermeiden.

Die Eigenbewegung des Fahrzeugs wird insbesondere mittels eines Eigenbewegungsmoduls des Fahrzeugs ermittelt. Die vorteilhafterweise von diesem Eigenbewegungsmodul gelieferten Daten zur Eigenbewegung des Fahrzeugs sind zur Transformation vom Sensorkoordinatensystem in das Weltkoordinatensystem erforderlich, wobei diese Transformation zweckmäßigerweise über ein Fahrzeugkoordinatensystem als Zwischenschritt erfolgt. Die Transformation vom Sensorkoordinatensystem in das Fahrzeugkoordinatensystem erfolgt dabei insbesondere mittels der extrinsischen Sensorparameter und die Transformation vom Fahrzeugkoordinatensystem in das Weltkoordinatensystem mittels der Uhrzeitsynchronisation zwischen dem Sensor und dem Eigenbewegungsmodul, d. h. mittels des ermittelten zeitlichen Versatzes zwischen der sensorinternen Uhr des Sensors und der Uhr des Eigenbewegungsmoduls des Fahrzeugs.

Die Kalibrierung mittels dieses Verfahrens wird beispielsweise an einem Bandende einer Herstellung des Fahrzeugs durchgeführt. Dies wird auch als End-of-Line-Kalibrierung bezeichnet, welche mittels des Verfahrens auf besonders schnelle und einfache Weise und ohne einen Zusatzaufwand möglich ist. Anstatt das Fahrzeug aufwändig einzumessen, ist es vorteilhafterweise ausreichend, wenige Meter mit dem Fahrzeug zu fahren. Dadurch kann eine Prozesskette erheblich beschleunigt werden. Die End-of-line-Kalibrierung ist einer der zeitintensivsten Schritte im Fahrzeugaufbau.

Alternativ oder zusätzlich wird die Kalibrierung mittels dieses Verfahrens beispielsweise während eines regulären Fährbetriebs des Fahrzeugs durchgeführt. Das Verfahren kann hierbei beispielsweise verwendet werden, um kontinuierlich die Kalibrierung des Sensors während der Fahrt des Fahrzeugs durchzuführen und/oder um zu erkennen, ob der Sensor dekalibriert ist, beispielsweise durch einen mechanischen Defekt. Alternativ oder zusätzlich wird die Kalibrierung mittels dieses Verfahrens beispielsweise während einer Datenermittlung zur Erstellung mindestens einer hochauflösenden digitalen Karte durchgeführt. Dadurch kann eine hochgenaue Objekterfassung und Objektpositionserfassung mittels des auf diese Weise kalibrierten Sensors erfolgen, um dadurch eine Genauigkeit der hochauflösenden digitalen Karte zu verbessern. Das Verfahren kann dabei auf aufgezeichnete Sequenzen der Sensorerfassung angewandt werden, um eine hochpräzise Kalibrierung zu erhalten.

Diese Kalibrierung mittels aufgezeichneter Sequenzen der Sensorerfassung kann beispielsweise auch verwendet werden, um als Referenz für eine Online-Kalibrierung zu dienen. Beispielsweise kann vorgesehen sein, dass, insbesondere als Online-Kalibrierung, mindestens eine Kalibrierung durchgeführt wird, bei der Messpositionen, die mit dem Sensor zu verschiedenen Zeitpunkten innerhalb eines kurzen Zeitraums während der Eigenbewegung des Fahrzeugs ermittelt wurden, ausgewertet werden, und zudem, insbesondere als Referenz für diese Online-Kalibrierung und somit zu deren Überprüfung, mindestens eine Kalibrierung durchgeführt wird, bei der Messpositionen, die mit dem Sensor zu verschiedenen Zeitpunkten innerhalb eines längeren Zeitraums während der Eigenbewegung des Fahrzeugs ermittelt wurden, ausgewertet werden. Der längere Zeitraum umfasst dabei vorteilhafterweise die Zeitpunkte des kürzeren Zeitraums und zusätzliche Zeitpunkte, zu denen mit dem Sensor Messpositionen ermittelt wurden. Die Online-Kalibrierung kann auf diese Weise schnell und kurz hintereinander durchgeführt werden. Für deren Überprüfung steht dann ein längerer Zeitraum und somit auch eine längere Rechenzeit zur Verfügung, um die entsprechend höhere Anzahl von Messpositionen auszuwerten.

Zusammenfassend wird somit vorteilhafterweise ein Verfahren zur Kalibrierung des distanzmessenden Sensors des Fahrzeugs, insbesondere bezüglich der Eigenbewegung des Fahrzeugs, durchgeführt, wobei Kalibrierung bedeutet, dass Transformationsparameter, insbesondere Transformationsparameterwerte der Transformationsparameter, für die Koordinatentransformation ermittelt werden, mit denen eine im Sensorkoordinatensystem ermittelte Messposition in das Weltkoordinatensystem transformiert wird. Die Transformationsparameter, insbesondere deren Transformationsparameterwerte, werden durch ein Optimierungsverfahren ermittelt, bei dem Messpositionen, die mit dem Sensor zu verschiedenen Zeitpunkten ermittelt wurden, ausgewertet werden. Das Optimierungsverfahren basiert dabei vorteilhafterweise auf den Schritten: a) Transformation der Messpositionen mit vorgegebenen Transformationsparametern, insbesondere vorgegebenen Transformationsparameterwerten der Transformationsparameter, in ein Koordinatengitter des Weltkoordinatensystems, b) Zählen der Zellen des Koordinatengitters, denen zumindest eine der transformierten Messpositionen zugeordnet ist, c) Wiederholen der Schritte a) und b) mit modifizierten Transformationsparametern, insbesondere modifizierten Transformationsparameterwerten der Transformationsparameter, und Ermitteln der Transformationsparameter, insbesondere deren Transformationsparameterwerte, die in Schritt b) zu einem Minimum führen.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.

Dabei zeigen:

Fig. 1 schematisch mehrere zeitlich versetzte Messungen eines dekalibrierten als Lidarsensor ausgebildeten Sensors, aufakkumuliert in einem Weltkoordinatensystem,

Fig. 2 schematisch eine, eine Anzahl belegter Zellen angebende, Fehlerfunktion in Abhängigkeit von einem als Gierwinkel ausgebildeten T ransformationsparameter,

Fig. 3 schematisch eine, eine Anzahl belegter Zellen angebende, Fehlerfunktion in Abhängigkeit von einem als Rollwinkel ausgebildeten T ransformationsparameter,

Fig. 4 schematisch die zeitlich versetzten und im Weltkoordinatensystem aufakkumulierten Messungen aus Figur 1 mit kalibriertem als Lidarsensor ausgebildetem Sensor, und

Fig. 5 schematisch eine Ausschnittvergrößerung aus Figur 4. Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.

Anhand der Figuren 1 bis 5 wird im Folgenden ein Verfahren zur Kalibrierung eines distanzmessenden Sensors eines Fahrzeugs, insbesondere bezüglich einer Eigenbewegung des Fahrzeugs, näher erläutert. Ein solcher distanzmessender Sensor, beispielsweise ein Lidarsensor, Ultraschallsensor, Radarsensor oder eine Kamera, insbesondere Stereokamera, ist insbesondere ein Umgebungserfassungssensor des Fahrzeugs.

Insbesondere für ein autonomes Fahrzeug ist eine präzise und konsistente Abbildung einer Umgebung des Fahrzeugs, auch als Umgebungsrepräsentation bezeichnet, in einem ausgewählten Koordinatensystem ein notwendiges Kriterium für sicheres Fahren. Eine präzise und konsistente Umgebungsrepräsentation benötigt eine extrinsische Kalibrierung der Sensoren, insbesondere der distanzmessenden Sensoren, des Fahrzeugs zueinander oder zum Fahrzeug sowie eine zeitliche Kalibrierung, d. h. eine Synchronisation einer sensorinternen Uhr.

Bei dem hier beschriebenen Verfahren werden vorteilhafterweise beide Kalibrierungen, d. h. die extrinsische und zeitliche Kalibrierung, in einem einzigen Messschritt, d. h. in einem einzigen Verfahrensablauf, durchgeführt, vorteilhafterweise für alle distanzmessenden Sensoren des Fahrzeugs. Des Weiteren ist das Verfahren so allgemein und robust, dass es in fast beliebigen Umgebungen des Fahrzeugs ohne zusätzliche Mess- und Kalibrierungstechnik angewendet werden kann. Mindestvoraussetzung ist beispielsweise das Vorhandensein mindestens eines mit dem Sensor erfassbaren statischen Objekts in der Umgebung des Fahrzeugs. Dies sollte praktisch in jeder denkbaren Situation, in der sich das Fahrzeug, insbesondere während einer Eigenbewegung, befinden kann, der Fall sein.

Extrinsisch kalibrieren bedeutet, dass für den jeweiligen Sensor eine extrinsische Transformation T _ext von seinem Sensorkoordinatensystem zu einem vorgegebenen Fahrzeugkoordinatensystem bestimmt wird. Die extrinsische Transformation T _ext setzt sich dabei aus einer xyz-Translation, d. h. der Einbauposition des Sensors am Fahrzeug und somit einer x-Koordinate, y-Koordinate und z-Koordinate der Einbauposition des Sensors im Fahrzeugkoordinatensystem, und einer Orientierung, d. h. einem Rollwinkel R, Nickwinkel und Gierwinkel G, auch als Yaw, Pitch- und Roll-Winkel bezeichnet, zusammen.

Das Fahrzeug weist ein Modul auf, welches Eigenbewegungsdaten im Fahrzeugkoordinatensystem bereitstellt. D. h. die Eigenbewegung des Fahrzeugs wird mittels dieses auch als Eigenbewegungsmodul bezeichneten Moduls des Fahrzeugs ermittelt und stellt entsprechende Daten dieser Eigenbewegung bereit.

Sensordaten des Sensors können somit mit der extrinsischen Transformation T _ext in das Fahrzeugkoordinatensystem und mittels der Eigenbewegungsdaten in ein weltfestes Koordinatensystem, im Folgenden als Weltkoordinatensystem WKS bezeichnet, transformiert werden. Dabei muss sichergestellt werden, dass neben der extrinsischen Kalibrierung gleichzeitig auch die sensorinternen Uhren abgeglichen werden, d. h. insbesondere die sensorinterne Uhr des Sensors mit einer Uhr des Eigenbewegungsmoduls des Fahrzeugs. Ohne zeitlich abgeglichene Uhren kann keine einheitliche Umgebungsrepräsentation erstellt werden. D. h. es kann nicht bestimmt werden, wann sich ein Objekt an welcher Position befand.

Bei bisherigen Verfahren wird das Fahrzeug aufwändig mit Referenzsensorik eingemessen. Dies ist jedoch sehr zeitintensiv, fehleranfällig und nicht onlinefähig, d. h. insbesondere nicht während eines regulären Fährbetriebs des Fahrzeugs durchführbar. Fortschrittlichere Verfahren berechnen eine Lidar-Odometrie anhand von Merkmalen. Dabei werden Merkmale für einzelne Punkte berechnet, Korrespondenzen zwischen Punktwolken gesucht und anhand einer Fehlerfunktion der Abstand zwischen den Korrespondenzen minimiert. Die berechnete Eigenbewegung anhand der Punktwolke kann nun mit der Eigenbewegung des Fahrzeuges abgeglichen und daraus die extrinsische Transformation T _ext bestimmt werden. Probleme dabei sind jedoch, dass eine eindeutige Zuordnung von Korrespondenzpunkten zwischen zwei Punktwolken erforderlich ist. Problematisch ist zudem die Berechnung geeigneter Korrespondenzfeatures. Wesentliches Problem, insbesondere bezüglich der einfachen Ausführbarkeit und der Online-Fähigkeit, ist zudem, dass Korrespondenzen auf dynamische Objekte innerhalb einer erfassten Szene die Eigenbewegungsschätzung verfälschen. Zudem ist eine Güte der Bewegungsschätzung szenenabhängig. Die grundlegende Idee für das hier beschriebene Verfahren bezüglich der vorteilhafterweise zeitlichen und räumlichen Kalibrierung eines distanzmessenden Sensors ist die Annahme, dass statische Objekte ihre Position in einem weltfesten Koordinatensystem, d. h. im Weltkoordinatensystem WKS, nicht ändern. Wird nun ein Objektpunkt eines solchen statischen Objekts, d. h. ein weltfester Objektpunkt, im Weltkoordinatensystem WKS aus einem bewegten Fahrzeug aus verschiedenen Positionen mittels des Sensors vermessen, dann sollten die Messwerte des Sensors jeweils immer das gleiche Ergebnis für den jeweiligen weltfesten Objektpunkt liefern. Dies setzt jedoch voraus, dass der Sensor relativ zur Eigenbewegung des Fahrzeugs, auch als ego-motion bezeichnet, kalibriert ist. Ist dies nicht der Fall, wird der Sensor von verschiedenen Fahrzeugpositionen aus unterschiedliche Messwerte für denselben weltfesten Objektpunkt liefern. Dies gilt für alle vermessenen/detektierten weltfesten Objektpunkte.

In dem hier beschriebenen Verfahren wird daher das weltfeste Koordinatensystem, d. h. das Weltkoordinatensystem WKS, in ein Koordinatengitter KG mit Zellen Z endlicher Ausdehnung, beispielsweise 10 cm x 10 cm x 10 cm, quantisiert. Für jeden Messungsdurchlauf mit Messungen mittels des Sensors aus verschiedenen Positionen, d. h. zu verschiedenen Zeitpunkten während der Eigenbewegung des Fahrzeugs, werden diejenigen Zellen Z gezählt, in denen der Sensor eine oder mehrere Messergebnisse liefert. Diese belegten Zellen Z werden auch als Markerzellen bezeichnet. Eine Anzahl A dieser Markerzellen ist demnach ein Maß, wie gut der Sensor zur Eigenbewegung des Fahrzeugs kalibriert ist.

Werden nun die Parameter der Sensor-Eigenbewegung-Kalibrierung, d. h. drei Translationen und drei Rotationen, unabhängig voneinander variiert, ändert sich mit jeder Parameteränderung die Anzahl A der Markerzellen. Bei einer schlechten Kalibrierung werden die Messwerte für denselben weltfesten Objektpunkt aus verschiedenen Positionen des Sensors in unterschiedlichen Zellen Z landen, da aufgrund dieser schlechten Kalibrierung aus verschiedenen Positionen des Sensors im Verlauf der Eigenbewegung des Fahrzeugs für denselben weltfesten Objektpunkt unterschiedliche in das Weltkoordinatensystem WKS transformierte Messpositionen TMP ermittelt werden, die weit voneinander entfernt sind, so dass die Wahrscheinlichkeit groß ist, dass sie in unterschiedlichen Zellen Z liegen. Die Anzahl A der Markerzellen nimmt somit zu. Ist die Kalibrierung gut, wird die Anzahl A der Markerzellen abnehmen, da für den jeweiligen weltfesten Objektpunkt aus allen Positionen des Sensors im Verlauf der Eigenbewegung des Fahrzeugs nahe beieinanderliegende transformierte Messpositionen TMP ermittelt werden, wodurch die Wahrscheinlichkeit steigt, dass sie in derselben Zelle Z liegen. Demnach ist die optimale Kalibrierung gegeben, wenn die Anzahl A der Markerzellen minimal ist. Dies ist insbesondere dann der Fall, wenn aufgrund der guten Kalibrierung für den jeweiligen weltfesten Objektpunkt aus allen Positionen des Sensors im Verlauf der Eigenbewegung des Fahrzeugs dieselbe transformierte Messposition TMP ermittelt wird.

Je kleiner die Größe der Zellen Z des Koordinatengitters KG vorgegeben ist, desto besser kann daher diese Optimierung und somit die Kalibrierung erfolgen, da bei sehr kleinen Zellen Z dieselbe transformierte Messposition TMP oder zumindest sehr nahe beieinander liegende transformierte Messpositionen TMP für jeden weltfesten Objektpunkt ermittelt werden müssen, um die Anzahl A der mit transformierten Messpositionen TMP belegten Zellen Z, d. h. der Markerzellen, zu minimieren. Mit zunehmender Verkleinerung der Zellen Z könnte sich jedoch auch ein erhöhter Berechnungsaufwand für dieses Optimierungsverfahren ergeben, so dass die Größe der Zellen Z beispielsweise an die erforderliche Kalibriergenauigkeit und die zur Verfügung stehende Rechenleistung und Rechenzeit angepasst wird.

Durch das Verfahren können somit alle distanzmessenden Sensoren, beispielsweise Stereokameras, Lidarsensoren, Radarsenoren und Ultraschallsensoren, ohne zusätzliche Hilfsmittel und in fast beliebigen Umgebungen kalibriert werden. Ein analoges Vorgehen erlaubt die Synchronisation der sensorinternen Uhr und der Uhr des Eigenbewegungsmoduls.

Im Folgenden wird das Verfahren detailliert beschrieben. Die grundlegende Idee für die zeitliche und räumliche Kalibrierung von distanzmessenden Sensoren ist die Annahme, dass statische Objekte ihre Position im weltfesten Koordinatensystem, d. h. im Weltkoordinatensystem WKS, nicht ändern. Ist die korrekte extrinsische Kalibrierung des Sensors und somit die extrinsische Transformation T _ext bekannt und sind Eigenbewegungsdaten T _eg o(tegomotion) der Eigenbewegung des Fahrzeugs vorhanden, so kann jede mit dem Sensor erfasste Messposition MP zum Zeitpunkt t in ein weltfestes Koordinatensystem, d. h. in das Weltkoordinatensystem WKS, überführt werden: TMP — Tego(tegomotion) x Tex _{l X} MP (1)

Wird nun ein weltfester Objektpunkt im Weltkoordinatensystem WKS aus verschiedenen Positionen des distanzmessenden Sensors angemessen, liefert das Weltkoordinatensystem WKS immer das gleiche Ergebnis. Ist die Kalibrierung oder die zeitliche Synchronisierung zwischen dem distanzmessenden Sensor und dem Eigenbewegungsmodul des Fahrzeugs nicht korrekt, so erhält man für jede Messposition MP des aus verschiedenen Sensorpositionen erfassten weltfesten Objektpunktes eine neue transformierte Messposition TMP im Weltkoordinatensystem WKS und somit für den jeweiligen weltfesten Objektpunkt mehrere verschiedene transformierte Messpositionen TMP, d. h. mit voneinander abweichenden Weltkoordinaten, im Weltkoordinatensystem WKS.

Diese Änderung der Weltkoordinaten für denselben weltfesten Objektpunkt und die daraus resultierende Mehrzahl von transformierten Messpositionen TMP im Weltkoordinatensystem WKS für denselben weltfesten Objektpunkt wird im hier beschriebenen Verfahren ausgenutzt, um den distanzmessenden Sensor zu kalibrieren, insbesondere zum Eigenbewegungsmodul des Fahrzeugs zu kalibrieren. Die Verfahrensvorschrift lautet:

1. Transformiere Messungen, insbesondere Messpositionen MP, von unterschiedlichen Zeitpunkten in das Weltkoordinatensystem WKS.

2. Quantisiere das Weltkoordinatensystem WKS in Zellen Z, beispielsweise 10 cm x 10 cm x 10 cm.

3. Zähle alle mit transformierten Messpositionen TMP belegten Zellen Z.

4. Minimiere die Anzahl A der mit transformierten Messpositionen TMP belegten Zellen Z durch Modifizierung der extrinsischen Sensorparameter und des zeitlichen Versatzes zwischen der sensorinternen Uhr des Sensors und der Uhr des Eigenbewegungsmoduls des Fahrzeugs.

Das Optimum hierbei ist, dass vorhandene Objekte mit möglichst wenig Zellen Z repräsentiert werden, d. h. mehrere Messungen desselben weltfesten Objektpunktes mittels des Sensors zu verschiedenen Zeitpunkten während der Eigenbewegung des Fahrzeugs fallen in die gleiche Zelle Z, sie liefern vorteilhafterweise dieselbe transformierte Messposition TMP. Aus dieser Verfahrensvorschrift resultiert vorteilhafterweise das hier beschriebene Verfahren zur Kalibrierung des distanzmessenden Sensors des Fahrzeugs, insbesondere bezüglich der Eigenbewegung des Fahrzeugs, in welchem somit vorteilhafterweise ein Transformationsparameterwert mindestens eines Transformationsparameters für eine Koordinatentransformation ermittelt wird, mit dem eine im Sensorkoordinatensystem ermittelte Messposition MP in das Weltkoordinatensystem WKS transformiert wird. Der Transformationsparameterwert des mindestens einen Transformationsparameters wird durch ein Optimierungsverfahren ermittelt, bei dem Messpositionen MP, die mit dem Sensor zu verschiedenen Zeitpunkten während der Eigenbewegung des Fahrzeugs ermittelt wurden, ausgewertet werden. Dabei umfasst das Optimierungsverfahren folgende Schritte: a) Transformation der Messpositionen MP mit einem vorgegebenen Transformationsparameterwert des mindestens einen Transformationsparameters in das Koordinatengitter KG des Weltkoordinatensystems WKS, b) Zählen der Zellen Z des Koordinatengitters KG, denen zumindest eine der transformierten Messpositionen TMP zugeordnet ist, c) Wiederholen der Schritte a) und b) mit einem jeweils, d. h. bei jeder Wiederholung, modifizierten Transformationsparameterwert des mindestens einen Transformationsparameters und Ermitteln des Transformationsparameterwertes des mindestens einen Transformationsparameters, der in Schritt b) zu einem Minimum führt, d. h. zu einem Minimum der Anzahl A der Zellen Z des Koordinatengitters KG, denen zumindest eine der transformierten Messpositionen TMP zugeordnet ist.

Beispielsweise wird ein Transformationsparameterwert für mindestens einen als extrinsischer Sensorparameter des Sensors ausgebildeten Transformationsparameter und/oder für den als zeitlicher Versatz zwischen der sensorinternen Uhr des Sensors und der Uhr des Eigenbewegungsmoduls des Fahrzeugs ausgebildeten Transformationsparameter ermittelt. Der mindestens eine als extrinsischer Sensorparameter ausgebildete Transformationsparameter ist beispielsweise die x-Koordinate, y-Koordinate oder z-Koordinate der Einbauposition des Sensors im Fahrzeugkoordinatensystem oder der Rollwinkel R, Nickwinkel oder Gierwinkel G des Sensors bezüglich des Fahrzeugkoordinatensystems.

Zweckmäßigerweise wird jedoch nicht nur der Transformationsparameterwert eines einzigen Transformationsparameters für die Koordinatentransformation ermittelt, sondern es werden in diesem Verfahren zur Kalibrierung des distanzmessenden Sensors des Fahrzeugs, insbesondere bezüglich der Eigenbewegung des Fahrzeugs, vorteilhafterweise Transformationsparameterwerte mehrerer Transformationsparameter, beispielsweise aller extrinsischen Sensorparameter und zum Beispiel zusätzlich des zeitlichen Versatzes zwischen der sensorinternen Uhr des Sensors und der Uhr des Eigenbewegungsmoduls des Fahrzeugs, für die Koordinatentransformation ermittelt, mit denen eine im Sensorkoordinatensystem ermittelte Messposition MP in das Weltkoordinatensystem WKS transformiert wird. D. h. es wird ein

Transformationsparameterwert für den jeweiligen Transformationsparameter ermittelt. Die Transformationsparameterwerte der Transformationsparameter werden durch das Optimierungsverfahren ermittelt, bei dem Messpositionen MP, die mit dem Sensor zu verschiedenen Zeitpunkten während der Eigenbewegung des Fahrzeugs ermittelt wurden, ausgewertet werden. Dabei umfasst das Optimierungsverfahren entsprechend die Schritte: a) Transformation der Messpositionen MP mit einem vorgegebenen Transformationsparameterwert des jeweiligen Transformationsparameters in das Koordinatengitter KG des Weltkoordinatensystems WKS, b) Zählen der Zellen Z des Koordinatengitters KG, denen zumindest eine der transformierten Messpositionen TMP zugeordnet ist, c) Wiederholen der Schritte a) und b) mit jeweils, d. h. bei jeder Wiederholung, modifizierten Transformationsparameterwerten der Transformationsparameter und Ermitteln der Transformationsparameterwerte der Transformationsparameter, die in Schritt b) zu einem Minimum führen, d. h. zu einem Minimum der Anzahl A der Zellen Z des Koordinatengitters KG, denen zumindest eine der transformierten Messpositionen TMP zugeordnet ist. Dabei kann beispielsweise vorgesehen sein, dass bei jeder Wiederholung der Schritte a) und b) der Transformationsparameterwert nur jeweils eines Transformationsparameters oder der jeweilige

Transformationsparameterwert mehrerer oder aller Transformationsparameter gleichzeitig modifiziert wird.

Die Vorteile dieses Verfahrens sind, dass eine Kalibrierung ohne zusätzliche Referenzsensorik möglich ist, dass keine Korrespondenzfindung notwendig ist, und dass das Verfahren mit beliebigen oder zumindest nahezu beliebigen Umgebungen des Fahrzeugs funktioniert. Insbesondere müssen keine Vorbedingungen an Szenarien erfüllt werden, damit das Verfahren funktioniert. Des Weiteren ist mittels des Verfahrens eine zeitliche und räumliche Kalibrierung in einem Verfahrensdurchlauf möglich. Das Verfahren funktioniert insbesondere auch in Szenarien mit dynamischen Objekten, da diese dynamischen Objekte im Gegensatz zu den im jeweiligen Szenario vorhandenen statischen Objekten keinen Einfluss auf das beschriebene Optimierungsverfahren haben.

Das Verfahren kann für jeden distanzmessenden Sensor angewandt werden, beispielsweise für Lidarsensoren, Stereokameras, Radarsensoren und Ultraschallsensor.

Durch die Quantisierung des Weltkoordinatensystems WKS in Zellen Z ist das Verfahren zudem robust gegenüber Distanzrauschen einzelner Punktmessungen.

Es ist zudem keine initiale Kalibrierung notwendig.

Das Verfahren ermöglicht insbesondere eine schnelle End-of-Line-Kalibrierung.

Eine Verwendung des Verfahrens ist daher beispielsweise diese End-of-Line-Kalibrierung, auch als Bandendekalibrierung bezeichnet. Hierbei wird somit das Verfahren verwendet, um die Kalibrierung des distanzmessenden Sensors oder des jeweiligen distanzmessenden Sensors des Fahrzeugs an einem Bandende einer Herstellung des Fahrzeugs durchzuführen. Anstatt das Fahrzeug aufwändig einzumessen, ist es mittels des Verfahrens ausreichend, wenige Meter mit dem Fahrzeug zu fahren. Dadurch kann die Prozesskette erheblich beschleunigt werden. Die End-of-line-Kalibrierung ist einer der zeitintensivsten Schritte im Fahrzeugaufbau.

Eine weitere Verwendung des Verfahrens ist beispielsweise die Online-Kalibrierung und/oder Dekalibrierungserkennung. Hierbei wird die Kalibrierung mittels des Verfahrens somit vorteilhafterweise während eines regulären Fährbetriebs des Fahrzeugs durchgeführt. Das Verfahren kann dabei verwendet werden, um kontinuierlich die Kalibrierung des distanzmessenden Sensors oder des jeweiligen distanzmessenden Sensors des Fahrzeugs während der Fahrt des Fahrzeugs durchzuführen und/oder zu erkennen, ob der distanzmessende Sensor oder der jeweilige distanzmessende Sensor des Fahrzeugs dekalibriert ist, beispielsweise durch einen mechanischen Defekt. Eine weitere Verwendung des Verfahrens ist beispielsweise eine Offline-Kalibrierung für eine Verifikation und/oder eine HD-Kartengenerierung, d. h. eine Erstellung einer hochauflösenden digitalen Karte. Das Verfahren kann hierbei beispielsweise auf aufgezeichnete Sequenzen angewandt werden, um eine hochpräzise Kalibrierung zu erhalten. Diese kann verwendet werden, um als Referenz für eine Online-Kalibrierung zu dienen. Des Weiteren kann diese Kalibrierung für den Aufbau von hochauflösenden digitalen Karten verwendet werden.

Anhand der Figuren 1 bis 5 wird ein Beispiel der Durchführung des Verfahrens mittels eines als Lidarsensor ausgebildeten distanzmessenden Sensors des Fahrzeugs gezeigt. Hierbei werden im dargestellten Beispiel mittels dieses Sensors Realdaten der Umgebung des Fahrzeugs erfasst, wobei in der Umgebung auch dynamische Objekte vorhanden sind und mit erfasst werden.

Figur 1 zeigt, stark schematisiert, eine vom Sensor erfasste Punktwolkensequenz, welche mit Hilfe der Eigenbewegungsdaten in das Weltkoordinatensystem WKS transformiert und in Zellen Z von 10 cm x 10 cm x 10 cm quantisiert wurde. D. h. die erfassten Messpositionen MP wurden gemäß Schritt a) des Verfahrens mit einem vorgegebenen Transformationsparameterwert des jeweiligen Transformationsparameters in das in Figur 1 dargestellte Koordinatengitter KG des Weltkoordinatensystems WKS mit den Zellen Z von 10 cm x 10 cm x 10 cm transformiert.

Zu erkennen ist, dass aufgrund der hier noch unzureichenden Kalibrierung des Sensors alle Objekte verschmieren, d. h. insbesondere unscharf und teilweise ineinander übergehend dargestellt sind. Es sind keine klar abgegrenzten Objekte, insbesondere keine klaren Objektkanten, erkennbar. Das hat zur Folge, dass sehr viele Zellen Z benötigt werden, um die Szene abzubilden. D. h. es sind sehr viele Zellen Z mit transformierten Messpositionen TMP belegt, es wurden somit sehr vielen Zellen Z des Koordinatengitters KG zumindest eine der transformierten Messpositionen TMP zugeordnet.

Im folgenden Schritt b) des Verfahrens werden die Zellen Z des Koordinatengitters KG, denen zumindest eine der transformierten Messpositionen TMP zugeordnet ist, gezählt. Anschließend werden im Schritt c) des Verfahrens die Schritte a) und b) mit jeweils modifizierten Transformationsparameterwerten der Transformationsparameter wiederholt und die Transformationsparameterwerte der Transformationsparameter ermittelt, die in Schritt b) zu einem Minimum führen, d. h. zu einem Minimum der Anzahl A der Zellen Z des Koordinatengitters KG, denen zumindest eine der transformierten Messpositionen TMP zugeordnet ist.

In den Figuren 2 und 3 ist dies für die Änderung der extrinsischen Transformationsmatrix für diese Sequenz durch Anpassung des Gierwinkels G (Figur 2) und Rollwinkels R (Figur 3) dargestellt. Dargestellt sind auf der Abszissenachse in Figur 2 die Transformationsparameterwerte für den extrinsischen Sensorparameter Gierwinkel G als Transformationsparameter und in Figur 3 die Transformationsparameterwerte für den extrinsischen Sensorparameter Rollwinkel R als Transformationsparameter und auf der Ordinatenachse ist jeweils die Anzahl A der belegten Zellen Z des Koordinatengitters KG, d. h. der Zellen Z des Koordinatengitters KG, denen zumindest eine der transformierten Messpositionen TMP zugeordnet ist, abgetragen.

Daraus ergibt sich in Figur 2 eine die Anzahl A belegter Zellen Z angebende Fehlerfunktion in Abhängigkeit vom als Gierwinkel G ausgebildeten Transformationsparameter und in Figur 3 eine die Anzahl A belegter Zellen Z angebende Fehlerfunktion in Abhängigkeit vom als Rollwinkel R ausgebildeten Transformationsparameter. D. h. es ist jeweils die Anzahl A der belegten Zellen Z des Koordinatengitters KG in Abhängigkeit vom Gierwinkel G (Figur 2) bzw. Rollwinkel R (Figur 3) eingetragen. Zu erkennen ist, dass dies zu einer Fehlerfunktion mit eindeutigem Minimum führt. Es kann somit mittels des hier beschriebenen Verfahrens der optimale Transformationsparameterwert für den jeweiligen Transformationsparameter ermittelt werden und somit der distanzmessende Sensor optimal kalibriert werden.

Figur 4 und Figur 5 als Detailausschnitt von Figur 4 zeigen das Resultat bei Adaption der Transformationsparameter, hier insbesondere der extrinsischen Sensorparameter der extrinsischen Matrix, mit den auf diese Weise ermittelten optimalen Winkelwerten des Gierwinkels G und Rollwinkels R und Transferierung der Punktmessungen in das Weltkoordinatensystem WKS. Zu erkennen ist, dass die mittels des distanzmessenden Sensors erfasste Umgebung des Fahrzeugs nun sehr präzise repräsentiert wird. Objektkanten sind nun scharf abgebildet, Wände von Objekten ergeben ebene Flächen, freistehende Objekte sind wohl definiert. Dies zeigt die Funktionsfähigkeit dieses Verfahrens in realen Umgebungsbedingungen mit dynamischen Verkehrsteilnehmern. Des Weiteren wird dadurch deutlich, dass die Idee des Verfahrens, die Anzahl A der Zellen Z des Koordinatengitters KG, denen zumindest eine der transformierten Messpositionen TMP zugeordnet ist, durch die Modifizierung der Transformationsparameterwerte der Transformationsparameter zu minimieren und dadurch den optimalen Transformationsparameterwert für den jeweiligen Transformationsparameter zu ermitteln, eine sehr einfache, gleichzeitig aber eine sehr gute und robuste Art für die Definition einer Minimierungsfunktion darstellt. Der Vergleich von Figur 1 mit Figur 4 bzw. deren Detailausschnitt gemäß Figur 5, zeigt eindeutig, dass die Anzahl A an belegten Zellen Z, d. h. an Zellen Z des Koordinatengitters KG, denen zumindest eine der transformierten Messpositionen TMP zugeordnet ist, deutlich reduziert wurde.