Beschreibung

Die Erfindung betrifft ein Verfahren und eine Anordnung zur Sensorkalibrierung von Sensoren eines Sensorträgers.

Aus dem Stand der Technik ist beispielsweise bekannt, einzelne Kalibrierungselemente beispielsweise mittels Roboter um ein Fahrzeug herum zu bewegen, um alle Sensoren des Fahrzeugs kalibrieren zu können. Auch sind Verfahren bekannt in welchen das Fahrzeug auf einer rotierenden Plattform angeordnet ist und während der Rotation der Plattform verschiedene stationäre Muster mit verschiedenen Sensoren detektiert werden, um alle Sensoren zu kalibrieren. Weiterhin ist bekannt ein Fahrzeug am Ende der Produktionslinie durch stationäre Elemente mittels einer bewegten Plattform hindurchzubewegen.

All diese Verfahren haben den Nachteil, dass diese zeit- und kostenintensiv sind. Weiterhin sind die bekannten Verfahren nur für überlappende und teilweise überlappende Field-of-Views (FoVs, Sichtbereiche) geeignet.

Es ist eine Aufgabe der vorliegenden Erfindung eine Anordnung sowie ein Verfahren bereitzustellen, mittels welchen eine Sensorkalibrierung von Fahrzeugen einfach und mit geringem Zeitaufwand präzise und akkurat durchführbar ist.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche 1 und 5 gelöst. Weitere vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.

Erste Überlegungen waren dahingehend, dass die bekannten Verfahren nicht geeignet sind eine Kalibrierung mehrerer Sensoren durchzuführen, deren Sichtbereiche bzw. Field-of-Views sich nicht überlappen. Erfindungsgemäß wird demnach eine Anordnung zur Kalibrierung eines oder mehrerer Sensoren eines Sensorträgers vorgeschlagen, bestehend aus einer Vielzahl an Elementen, welche in einem bestimmten Muster an bestimmten dreidimensionalen Positionen angeordnet sind, wobei die dreidimensionalen Positionen a-priori bekannt sind, wobei jedes Element eindeutig identifizierbar ist, wobei die Elemente in einem bestimmten dreidimensionalen Abstand zueinander angeordnet sind, und wobei die Abstände zwischen den Elementen durch die a-priori bekannten dreidimensionalen Positionen bekannt sind.

Der Sensorträger kann dabei statisch oder dynamisch ausgestaltet sein. Ein dynamischer Sensorträger kann beispielsweise ein Fahrzeug, z.B. PKW oder LKW, sein. Weiter ist denkbar, dass der dynamische Sensorträger ein Roboter, ein Flugzeug, eine Drohne oder ein anderes dynamisches Objekt ist, welches mit Sensorik ausgestattet sein kann. Denkbar sind weiterhin auch statische Sensorträger wie beispielsweise Infrastrukturelemente wie Brücken oder Ampeln, an welchen Sensoren angeordnet werden können. Die Anordnung kann entsprechend für beide Sensorträgerarten verwendet werden. Bei statischen Sensorträgem kann die Anordnung in zumindest einem Teil des Sichtbereichs des einen oder der mehreren Sensoren angeordnet werden, um eine stetige Kalibrierung zu ermöglichen und Veränderungen der Sensorik bspw. aufgrund von Witterungsbedingungen zu erkennen.

In einer bevorzugten Ausgestaltung ist jedes der Elemente über seine n-nächstgelegenen Nachbarn eindeutig identifizierbar. Je nach Sichtfeld der jeweiligen Sensoren werden verschiedene bzw. eine unterschiedliche Anzahl an Elementen erfasst. Durch die Anordnung und die bekannten dreidimensionalen Abstände der Elemente untereinander kann eindeutig ermittelt werden, welche Elemente von dem jeweiligen Sensor aufgezeichnet werden und die erwartete Position bspw. in einem Kamerabild mit der aufgezeichneten Position verglichen werden. Ebenso kann die Ausrichtung und Kalibrierung der Sensoren zueinander überprüft werden, da durch das bekannte Muster mit den bekannten dreidimensionalen Positionen der Elemente und mit den jeweiligen dreidimensionalen Abständen zwischen den Elementen entsprechend überprüft werden kann, ob durch den jeweiligen Sensor der aufgezeichnete Teil des Musters richtig abgebildet wird und ob die Verhältnisse der aufgezeichneten Elemente zueinander richtig sind. Dabei müssen sich die Sichtfelder der Sensoren nicht überschneiden. Es ist ausreichend, wenn die jeweiligen Sensoren nur einen Teil des Musters aufzeichnen. Es ist bei dieser Anordnung auch möglich, dass bei einer Durchfahrt durch die Anordnung oder einer Vorbeifahrt an der Anordnung die Kalibrierung durchgeführt wird, da es ausreichend ist, wenn die Sensoren jeweils nur einen Teil der Anordnung aufzeichnen müssen und sich die Sichtfelder nicht notwendigerweise überschneiden müssen.

Weiter ist besonders bevorzugt die Identifizierung der n-nächstgelegenen Nachbarn mittels einer Delaunay-Triangulation durchführbar. Die Delaunay-Triangulation ist eine effiziente Methode, um die nächstgelegenen Elemente zu identifizieren.

In einerweiteren Ausgestaltung weist jedes Element ein Identifikationsmerkmal auf. Das Identifikationsmerkmal basiert dabei auf der Position des jeweiligen Elements sowie die Abstände zu den n-nächstgelegenen Nachbarn. Über die Abstände zu den n-nächstgelegenen Nachbarn werden jeweils Innenwinkel bestimmt. Diese Innenwinkel können als Identifikationsmerkmal der Elemente definiert werden, da jeder Innenwinkel eindeutig einem bestimmten Element der Anordnung zugeordnet werden kann.

Erfindungsgemäß wird weiterhin ein Verfahren zum Kalibrieren eines oder mehrerer Sensoren eines Sensorträgers durch Aufzeichnen einer Anordnung nach einem der Ansprüche 1 bis 4 mit den folgenden Schritten vorgeschlagen:

- Erfassen zumindest eines Teils der Anordnung von zumindest einem oder mehreren Sensoren des Sensorträgers;

- Erfassen der jeweiligen Abstände der Elemente in dem jeweiligen Sichtbereich des einen oder der mehreren Sensoren und Identifizieren der Elemente;

- Durchführen der Kalibrierung basierend auf den jeweiligen dreidimensionalen Positionen der erfassten Elemente der Anordnung. Aus den Abständen zwischen den erfassten Elementen können auch dreidimensionalen Positionen der Elemente bestimmt werden.

In einer besonders bevorzugten Ausführungsform wird zur Kalibrierung ein Abstand zu den n-nächstgelegenen Nachbarn eines Elements betrachtet. Durch die Betrachtung der n-nächstgelegenen Nachbarn kann jedes Element eindeutig identifiziert werden. Der Abstand kann beispielsweise in der Bildebene ermittelt werden. In der Bildebene wäre dies ein zweidimensionaler Abstand.

Weiter wird besonders bevorzugt zur Berechnung des Abstandes zu den n-nächstgelegenen Nachbarn eines Elements eine Delaunay-Triangulation durchgeführt. Die Delaunay-Triangulation kann beispielsweise mittels dem Bowyer-Watson Algorithmus durchgeführt werden.

Besonders bevorzugt werden bei Verwendung mehrerer Sensoren alle Sensoren des Sensorträgers einzeln und/oder gemeinsam kalibriert. Dies wird durch die Anordnung und die festgelegten Abstände der Elemente zueinander ermöglicht. Bei mehreren Sensoren müssen diese keine überlappenden Sichtfelder aufweisen und nicht die gleichen Elemente erfassen. Je nach Anzahl und Anordnung der Sensoren im bzw. an dem Sensorträger kann auch die Anordnung der Elemente entsprechend angepasst werden, dass jeder Sensor zumindest einen Teilbereich der Anordnung erfassen kann.

In einer weiteren bevorzugten Ausgestaltung werden aus der Anordnung der Elemente Ground-truth Daten ermittelt. In der Anordnung sind die dreidimensionalen Positionen der Elemente a-priori bekannt. Daraus lassen sich die dreidimensionalen Abstände zu den nächstgelegenen Elementen ermitteln. Die dreidimensionale Position eines jeden Elements ist bereits Ground-truth.

Weiter wird besonders bevorzugt die Kalibrierung statisch oder dynamisch durchgeführt wird. Bei einer dynamischen Kalibrierung bewegt sich der Sensorträger an der Anordnung vorbei oder durch die Anordnung hindurch und zeichnet werden der Bewegung die jeweiligen Elemente auf. Neben der extrinsischen Sensorkalibrierung ist es hierbei auch möglich die Eigenbewegung des Sensorträgers zu schätzen. Basierend auf der Eigenbewegung können dann auch weitere Sensoren wie bspw. ein Raddrehzahlsensor und/oder Drehratensensor eines Fahrzeugs kalibriert werden.

Weitere vorteilhafte Ausgestaltungen sind Gegenstand der Figuren. Darin zeigen:

Fig. 1 : eine schematische Darstellung einer Anordnung mit einem Fahrzeug mit zu kalibrierenden Sensoren gemäß einer Ausführungsform der Erfindung;

Fig. 2a: eine schematische Darstellung eines Elements mit den nächstgelegenen Nachbarn gemäß einer Ausführungsform der Erfindung;

Fig. 2b: eine weitere schematische Darstellung eines Elements mit den nächstgelegenen Nachbarn gemäß einer weiteren Ausführungsform der Erfindung;

Fig. 3: ein schematisches Ablaufdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung.

Figur 1 zeigt eine schematische Darstellung einer Anordnung mit einem als Fahrzeug ausgestalteten Sensorträger 1 mit zu kalibrierenden Sensoren 2, 3 gemäß einer Ausführungsform der Erfindung. Die Anordnung besteht aus mehreren Einzelelementen E (E1 - Ei, Em) welche in einem bestimmten Muster angeordnet sind. Das Fahrzeug 1 zeichnet mit den Sensoren 2, 3 die Anordnung auf. Jeder Sensor 2, 3 besitzt ein Sichtfeld F2, F3, wodurch von dem Sensor 2 andere bzw. weniger Elemente E der Anordnung aufgezeichnet werden als durch den Sensor 3. Bei dem Sensor 2 kann es sich beispielsweise um eine Kamera handeln und bei dem Sensor 3 um einen Corner-Radar. Die Anordnung könnte auch in einer Vorbeifahrt des Fahrzeugs 1 von den Sensoren 2, 3 aufgezeichnet werden und die Sensoren entsprechend kalibriert werden. Die Erfindung ist dabei nicht auf zwei Sensoren beschränkt, sondern ist für eine Vielzahl an Sensoren sowie für eine Einzelsensorkalibrierung geeignet. Der Sensorträger 1 bzw. das Fahrzeug, die jeweiligen Sensoren 2, 3 sowie die Anordnung weisen jeweils ein Koordinatensystem KA, KS, K2 bzw. K3 auf.

Die Figur 2a zeigt eine schematische Darstellung eines Elements E1 mit den nächstgelegenen Nachbarn Em gemäß einer Ausführungsform der Erfindung. Durch die jeweiligen nächstgelegenen Nachbarn Em des Elements E1 kann das Element E1 eindeutig identifiziert werden, da jedes Element E eine bestimmte Anzahl an nächstgelegenen Nachbarn Em mit einem definierten Abstand aufweist. Dies ist durch das Muster vorgegeben. Ebenso sind die jeweiligen dreidimensionalen Positionen der Elemente E a-priori bekannt. Die Abstände d zwischen den Elementen E können aus den Positionen der Elemente E ermittelt werden.

Die Figur 2b zeigt eine weitere schematische Darstellung eines Elements E1 mit den nächstgelegenen Nachbarn Em gemäß einer weiteren Ausführungsform der Erfindung. In dieser Darstellung ist gezeigt, wie die Identifizierung der nächstgelegenen Nachbarn Em mittels Delaunay-Triangulation durchgeführt wird. Mittels der Delaunay-Triangulation wird ein Dreiecknetz aus einem Satz von Punkten Em und E1 erstellt.

Figur 3 zeigt ein schematisches Ablaufdiagramm eines Verfahrens gemäß einer Ausführungsform der Erfindung. In Schritt S1 wird zumindest ein Teil der Anordnung von zumindest einem oder mehreren Sensoren 2, 3 eines Sensorträgers erfasst. In Schritt S2 werden die jeweiligen Abstände zwischen den Elementen E1 -Em in dem jeweiligen Sichtbereich F2 F3 des einen oder der mehreren Sensoren 2, 3 erfasst und die Elemente E1 -Em identifiziert. In Schritt S3 wird die Kalibrierung basierend auf den jeweiligen dreidimensionalen Positionen der erfassten und identifizierten Elemente der Anordnung durchgeführt. Bezugszeichenliste

1 Sensorträger

2 Sensor 3 Sensor d Abstand

E, E1 - Em Elemente der Anordnung En, nächstgelegene Nachbarn eines Elements E F2 Sichtbereich Sensor 2 F3 Sichtbereich Sensor 3

KA Koordinatensystem Anordnung

KS Koordinatensystem Sensorträger

K2 Koordinatensystem Sensor 2

K3 Koordinatensystem Sensor 3 S1 -S3 Verfahrensschritte