Die Erfindung betrifft ein Verfahren zur Kalibrierung nach Anspruch 1. Weiterhin betrifft die Erfindung ein Verfahren zur Erfassung eines Umgebungsobjekts und eine Infrastrukturmehrfachsensoreinrichtung.

Stand der Technik

In DE 102016224 766 A1 ist ein Verfahren zur Kalibrierung von Sensoren an einer mobilen Plattform im Verhältnis zueinander beschrieben. Hierfür werden von den Sensoren definierte Marker in der Umgebung der mobilen Plattform erfasst. Mit diesem Vorgehen kann eine extrinsische Kalibrierung der Sensoren im Verhältnis zueinander vorgenommen werden, wobei von den Sensoren jeweils wenigstens ein definierter Marker erfasst wird. Anhand der erfassten Marker kann die Position und Orientierung eines ersten Sensors in Relation zur Position und Orientierung eines zweiten Sensors berechnet werden. Dabei werden die in den Markern codierten Informationen für eine jeweilige Bestimmung der Position und Ausrichtung der Sensoren verwendet, wobei diese Bestimmung vorzugsweise durch einen Abgleich dieser Informationen mit einer digitalen Karte erfolgt. Ausgehend von der Bestimmung der Position und Ausrichtung der Sensoren wird die extrinsische Kalibrierung eines Sensors in Bezug zu einem anderen Sensor durchgeführt.

Offenbarung der Erfindung

Gemäß der vorliegenden Erfindung wird ein Verfahren zur Kalibrierung mit den Merkmalen nach Anspruch 1 vorgeschlagen.

Dadurch kann die Sensorkalibrierung kostengünstiger, schneller und zuverlässiger durchgeführt werden. Der Betrieb in der Umgebung der Infrastrukturmehrfachsensoreinrichtung kann während der Sensorkalibrierung ungestörter aufrecht erhalten bleiben. Die Sensorkalibrierung kann automatisiert und regelmäßig erfolgen. Die Einbringung eigens für die Kalibrierung verwendeter Marker kann unterbleiben.

Die Infrastruktureinrichtung kann stationär festgelegt sein. Die Infrastruktureinrichtung kann zur Sicherheitsüberwachung und/oder Verkehrsüberwachung, bevorzugt im Strassenverkehr, eingesetzt sein. Die Infrastruktureinrichtung kann eine Fahrbahn einschließen.

Die Infrastrukturmehrfachsensoreinrichtung kann stationär festgelegt sein. Die Infrastrukturmehrfachsensoreinrichtung kann wenigstens ein Fahrzeug, bevorzugt ein Kraftfahrzeug, insbesondere auf der Fahrbahn erfassen. Die Infrastrukturmehrfachsensoreinrichtung kann mit wenigstens einem Fahrzeug zur Kommunikation verbunden sein. Das Fahrzeug kann mit einem Fahrerassistenzsystem ausgerüstet sein. Das Fahrzeug kann teilautonom oder autonom betrieben sein.

Das Umgebungsobjekt kann ein stationäres oder sich bewegendes Objekt sein. Das erste Umgebungsobjekt kann eine Fahrbahnmarkierung, ein Gebäude, ein Fahrzeug, ein Strassenschild oder eine Brücke sein.

Der erste Sensor kann eine Kamera, ein Lidar, eine Stereokamera oder ein Radar sein. Der zweite Sensor kann eine Kamera, ein Lidar, eine Stereokamera oder ein Radar sein. Der erste und zweite Sensor können das gleiche oder ein unterschiedliches Messprinzip anwenden. Beispielsweise kann der erste Sensor eine Kamera und der zweite Sensor ein Lidar oder eine Kamera sein.

Der erste und zweite Sensor können an einer gemeinsamen Halterung der Infrastrukturmehrfachsensoreinrichtung befestigt sein.

Die Sensorkalibrierung kann eine räumliche Einordnung des ersten Sensors in der Infrastrukturmehrfachsensoreinrichtung ermöglichen. Dadurch kann der erste Sensor in einem geometrischen Referenzsystem positioniert werden. Dadurch kann eine Sensorposition oder Sensorpose ermittelt und eine Koordinatentransformation zwischen dem Sensorbezugssystem und einem globalen Koordinatensystem, beispielsweise in kartesische (x, y, z) oder Weltkoordinaten (Breite, Länge, Höhe) der Infrastruktureinrichtung durchgeführt werden.

Der erste Objektparameter kann ein Abstand, eine Ausrichtung, eine Pose, eine Ausdehnung, eine Geschwindigkeit, eine Beschleunigung, eine Drehbeschleunigung, eine Drehgeschwindigkeit, eine Neigung oder eine Temperatur des ersten Umgebungsobjekts sein.

Bei einer bevorzugten Ausführung der Erfindung ist es vorteilhaft, wenn die Sensorkalibrierung eine Erstkalibrierung bei Erstinbetriebnahme des ersten Sensors in der Infrastrukturmehrfachsensoreinrichtung ist oder eine Betriebskalibrierung während eines Betriebs des ersten Sensors in der Infrastrukturmehrfachsensoreinrichtung im Rahmen einer Überwachungsmaßnahme ist. Bei der Erstkalibrierung kann der erste Sensor dem zweiten Sensor in der Infrastrukturmehrfachsensoreinrichtung angepasst werden. Dadurch kann der erste Sensor der Infrastrukturmehrfachsensoreinrichtung einfacher und schneller angepasst werden.

Bei der Betriebskalibrierung können mögliche Abweichungen bei dem ersten Sensor erkannt und ausgeglichen werden. Die Überwachungsmaßnahme kann die Betriebskalibrierung in vorgegebenen Zeitabständen durchführen. Die Betriebskalibrierung kann online, also bei in der Infrastrukturmehrfachsensoreinrichtung eingefügtem und angebundenen ersten Sensor, erfolgen. Die Überwachungsmaßnahme kann in Echtzeit erfolgen. Die Infrastruktureinrichtung kann ungestörter betrieben werden. Beispielsweise kann eine Unterbrechung im Betrieb der Infrastruktureinrichtung ausbleiben. Insbesondere können Strassensperrungen unterbunden werden.

Bei einer speziellen Ausführung der Erfindung ist es von Vorteil, wenn der Zuordnungsvergleich durch Anwendung eines Vergleichsalgorithmus erfolgt, bei dem maschinelles Lernen eingesetzt wird. Der Vergleichsalgorithmus kann durch Deep-Learning angelernt sein.

Eine bevorzugte Ausgestaltung der Erfindung ist vorteilhaft, bei der bei der Sensorkalibrierung wenigstens ein weiterer zweiter Objektparameter des ersten Umgebungsobjekts erfasst, in das jeweilige Sensorbezugssystem eingeordnet und bei dem Zuordnungsvergleich berücksichtigt wird. Dadurch kann die Kalibrierung genauer durchgeführt werden. Der erste Objektparameter kann ein Abstand zu dem jeweiligen Sensor und der zweite Objektparameter kann eine Abmessung des ersten Umgebungsobjekts in wenigstens eine erste Richtung sein oder umgekehrt.

Bei einer speziellen Ausgestaltung der Erfindung ist es vorteilhaft, wenn der erste Objektparameter von wenigstens einem dritten Sensor erfasst, auf dessen drittes Sensorbezugssystem in einer weiteren Zuordnung bezogen und über einen weiteren Zuordnungsvergleich mit der ersten und/oder zweiten Zuordnung verglichen wird, wenn der weitere Zuordnungsvergleich eine Abweichung zwischen der ersten und zweiten Zuordnung feststellt. Dadurch kann die Genauigkeit der Kalibrierung erhöht werden. Der dritte Sensor kann bereits eine bestätigt richtige Kalibrierung durchlaufen haben.

Bei einer bevorzugten Ausführung der Erfindung ist es vorteilhaft, wenn der zweite Sensor vor der Sensorkalibrierung bereits durch eine vorgeschaltete Sensorkalibrierung kalibriert wurde. Der zweite Sensor kann durch die vorgeschaltete Sensorkalibrierung eine bestätigte zuverlässige Erfassung ermöglichen. Bei einer vorzugsweisen Ausführung der Erfindung ist vorgesehen, dass der erste und zweite Sensor jeweils auf einem unterschiedlichen Messprinzip aufbauen. Das zur Sensorkalibrierung ausgewählte erste Umgebungsobjekt kann ein stationäres Objekt oder ein sich bewegendes Objekt sein. Ist der erste Sensor eine Kamera und der zweite Sensor ein Lidar oder auch umgekehrt, dann ist das erste Umgebungsobjekt bevorzugt ein stationäres Objekt, insbesondere ein Gebäude, eine Fahrbahn oder eine Fahrbahnmarkierung. Ist der erste Sensor eine Kamera und der zweite Sensor ein Radar oder auch umgekehrt, dann ist das erste Umgebungsobjekt bevorzugt ein sich bewegendes Objekt, insbesondere ein Fahrzeug und der erste Objektparameter eine Bounding Box oder ein Erfassungspunkt des ersten Umgebungsobjekts. Ist der erste Sensor ein Radar und der zweite Sensor ein Lidar oder auch umgekehrt, dann ist das erste Umgebungsobjekt bevorzugt ein sich bewegendes Objekt, insbesondere ein Fahrzeug und der erste Objektparameter eine Bounding Box oder ein Erfassungspunkt des ersten Umgebungsobjekts.

Eine bevorzugte Ausgestaltung der Erfindung ist vorteilhaft, bei der das erste und zweite Sensorbezugssystem jeweils als Sensorkoordinatensystem ausgeführt ist. Das Sensorkoordinatensystem kann durch eine Koordinatentransformation in ein globales Koordinatensystem der Infrastruktureinrichtung überführt werden.

Weiterhin wird ein Verfahren zur Erfassung eines Umgebungsobjekts in einer Infrastruktureinrichtung mit einer Infrastrukturmehrfachsensoreinrichtung vorgeschlagen, aufweisend wenigstens einen ersten Sensor zur Erfassung wenigstens eines ersten Umgebungsobjekts in der Infrastruktureinrichtung, wobei der erste Sensor durch eine Sensorkalibrierung mit einem Verfahren mit wenigstens einem der zuvor genannten Merkmale kalibriert wurde und das erste Umgebungsobjekt erfasst wird, indem ein erster Objektparameter des ersten Umgebungsobjekts auf das erste Sensorbezugssystem als erste Zuordnung bezogen wird. Dadurch kann die Erfassung genauer durchgeführt werden.

Weiterhin wird eine Infrastrukturmehrfachsensoreinrichtung zur Erfassung von Umgebungsdaten einer Infrastruktureinrichtung vorgeschlagen, aufweisend wenigstens einen ersten Sensor und einen zweiten Sensor jeweils zur Erfassung wenigstens eines ersten Umgebungsobjekts in der Infrastruktureinrichtung, wobei der erste Sensor durch eine Sensorkalibrierung nach einem Verfahren mit wenigstens einem der zuvor beschriebenen Merkmale kalibriert ist. Dadurch kann die Infrastrukturmehrfachsensoreinrichtung kostengünstiger ausgeführt werden.

Weitere Vorteile und vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus der Figurenbeschreibung und den Abbildungen. Figurenbeschreibung

Die Erfindung wird im Folgenden unter Bezugnahme auf die Abbildungen ausführlich beschrieben. Es zeigen im Einzelnen:

Figur 1 : Eine Infrastruktureinrichtung mit einer Infrastrukturmehrfachsensoreinrichtung in einer speziellen Ausführungsform der Erfindung.

Figur 2: Eine Infrastruktureinrichtung bei Durchführung eines Verfahrens in einer speziellen Ausführungsform der Erfindung.

Figur 3: Einen Teilablauf eines Verfahrens zur Kalibrierung in einer weiteren speziellen Ausführungsform der Erfindung.

Figur 4: Ein Zusammenhang von Objektparametern bei Verwendung unterschiedlicher Sensoren.

Figur 5: Ein Verfahren zur Kalibrierung in einer weiteren speziellen Ausführungsform der Erfindung.

Figur 6: Ein Verfahren zur Kalibrierung in einer weiteren speziellen Ausführungsform der Erfindung.

Figur 1 zeigt eine Infrastruktureinrichtung mit einer Infrastrukturmehrfachsensoreinrichtung in einer speziellen Ausführungsform der Erfindung. Die Infrastruktureinrichtung 10 ist stationär festgelegt und beispielsweise an einer Fahrbahnbrücke 12 eingerichtet. Die Infrastruktureinrichtung 10 ist bevorzugt zur Sicherheitsüberwachung und Verkehrsüberwachung eingesetzt.

Die Infrastruktureinrichtung 10 umfasst eine Infrastrukturmehrfachsensoreinrichtung 14, die auf der Fahrbahnbrücke 12 aufgebaut ist. Die Infrastrukturmehrfachsensoreinrichtung 14 ist stationär festgelegt und kann eine Umgebung 16 der Infrastruktureinrichtung 10 erfassen.

Die Umgebung 16 bezieht eine Fahrbahn 18 und daran angrenzende Umgebungsobjekte 20 ein. Weiterhin kann die Infrastrukturmehrfachsensoreinrichtung 14 Fahrzeuge 22 auf der Fahrbahn 18 als Umgebungsobjekte 20 der Infrastruktureinrichtung 10 erfassen. Die Infrastrukturmehrfachsensoreinrichtung 14 umfasst einen ersten Sensor 24 und einen zweiten Sensor 26 jeweils zur Erfassung wenigstens eines ersten Umgebungsobjekts 28 in der Infrastruktureinrichtung 10. Der erste und zweite Sensor 24, 26 sind an einer gemeinsamen Halterung 30 der Infrastrukturmehrfachsensoreinrichtung 14 befestigt. Der erste und zweite Sensor 24, 26 können das gleiche Messprinzip oder ein unterschiedliches Messprinzip anwenden. Der erste Sensor 24 kann ein Radar 32 und der zweite Sensor 26 kann eine Kamera 34 sein.

Der erste Sensor 24 kann durch ein Verfahren 35 zur Erfassung des ersten Umgebungsobjekts 28 eingesetzt sein. Dabei kann der erste Sensor 24 das erste Umgebungsobjekt 28 erfassen, indem ein erster Objektparameter 38 des ersten Umgebungsobjekts 28 auf ein erstes Sensorbezugssystem 40 als erste Zuordnung 42 bezogen wird. Dadurch kann beispielsweise eine räumliche Lage des ersten Umgebungsobjekts 28 erfasst werden.

Das erste Umgebungsobjekt 28 kann eine Fahrbahnbeleuchtung 44 neben der Fahrbahn 18 sein. Dabei kann der erste und zweite Sensor 24, 26 weitere Umgebungsobjekte 20, insbesondere Fahrzeuge 22 oder die Fahrbahnmarkierung 46 erfassen.

In einem Betrieb der Infrastrukturmehrfachsensoreinrichtung 14 oder bei einer Erstinbetriebnahme des ersten Sensors 24 kann eine Kalibrierung des ersten Sensors 24 erforderlich sein. Der erste Sensor 24 wird kalibriert, indem wenigstens der erste Objektpara meter 38, beispielsweise ein Abstand einer Stütze 48 des als Fahrbahnbeleuchtung 44 ausgeführten ersten Umgebungsobjekts 28 von dem ersten Sensor 24 erfasst und auf das erste Sensorbezugssystem 40 als erste Zuordnung 42 bezogen wird und der erste Objektparameter 38 von dem zweiten Sensor 26 erfasst und auf ein zweites Sensorbezugssystem 50 als zweite Zuordnung 52 bezogen wird und anschließend die erste und zweite Zuordnung 42, 52 verglichen und der erste Sensor 24 abhängig von diesem Zuordnungsvergleich 54 kalibriert wird.

Dadurch kann der erste Sensor 24 kostengünstiger, schneller und zuverlässiger kalibriert werden und der Betrieb der Infrastruktureinrichtung 10 ungestört aufrecht erhalten bleiben. Ein eigens für die Kalibrierung aufgebauter Marker in der Umgebung 16 der Infrastruktureinrichtung 10 kann entfallen.

Beispielsweise wird der erste Sensor 24 bei einer Erstinbetriebnahme kalibriert, indem die Differenz zwischen der ersten und zweiten Zuordnung 42, 52 bei dem Zuordnungsvergleich 54 möglichst verringert wird. Figur 2 zeigt eine Infrastruktureinrichtung bei Durchführung eines Verfahrens in einer speziellen Ausführungsform der Erfindung. Der Aufbau der Infrastruktureinrichtung 10 gleicht dem aus Figur 1. Hier wird ein Verfahren 56 zur Kalibrierung des ersten Sensors 24 angewendet, das bei einer Überwachungsmaßnahme ausgelöst werden kann. Dabei kann eine Sensorkalibrierung 58 als Betriebskalibrierung 60 des ersten Sensors 24 vorgenommen werden. Wird bei dem Zuordnungsvergleich 54 festgestellt, dass die erste Zuordnung 42 von der zweiten Zuordnung 52, von der ausgegangen wird, dass diese richtig ist, abweicht, wird der erste Sensor 24 kalibriert, um die erste Zuordnung 42 möglichst an die zweite Zuordnung 52 anzugleichen.

Figur 3 zeigt einen Teilablauf eines Verfahrens zur Kalibrierung in einer weiteren speziellen Ausführungsform der Erfindung. Das Verfahren 56 zur Kalibrierung des ersten Sensors 24 und weiterer Sensoren 66 kann auf der Richtigkeit einer Kalibrierung des zweiten Sensors 26 als Ausgangssensor 62 aufbauen. Die Richtigkeit der Kalibrierung des zweiten Sensors 26 kann durch eine vorgeschaltete Sensorkalibrierung 64 bestätigt worden sein. Die Kalibrierung des ersten Sensors 24 und der weiteren Sensoren 66 kann die erste Zuordnung und weiteren Zuordnungen mit der zweiten Zuordnung vergleichen und den ersten Sensor 24 und die weiteren Sensoren 66 abhängig von dem Zuordnungsvergleich kalibrieren. Dabei kann ein dritter Sensor 68 wiederum auf Grundlage der kalibrierten ersten Zuordnung des ersten Sensors 24 kalibriert werden.

Figur 4 zeigt ein Zusammenhang von Objektparametern bei Verwendung unterschiedlicher Sensoren. Bei als Kamera 34 ausgeführtem ersten Sensor können die Umgebungsobjekte optisch erfasst werden. Das bedeutet, die Umgebungsobjekte müssen sichtbar sein. Das erste Umgebungsobjekt 28 kann beispielsweise eine Fahrbahnmarkierung sein. Bei als Lidar 69 ausgeführtem zweiten Sensor oder einer Stereokamera 70 werden Anforderungen an die geometrische Form oder die Materialeigenschaft des ersten Umgebungsobjekts 28 gestellt, um dieses erfassen zu können. Zur Sensorkalibrierung des ersten Sensors über den Zuordnungsvergleich mit dem zweiten Sensor wird ein erster Objektparameter 38 gewählt, der von dem ersten und zweiten Sensor erfassbar ist, beispielsweise ein räumlicher Parameter wie die Entfernung eines stationären Umgebungsobjekts. Auch bei einer umgekehrten Anordnung, also der erste Sensor ist als Lidar 69 und der zweite Sensor als Kamera 34 ausgebildet, gelten diese Anforderungen an das erste Umgebungsobjekt 28 und den ersten Objektparameter 38.

Bei als Kamera 34 ausgeführtem ersten Sensor und bei als Radar 32 ausgeführtem zweiten Sensor sollte das erste Umgebungsobjekt 28 sich bewegen und eine Geschwindigkeit aufweisen. Der erste Objektparameter 38 kann eine Geschwindigkeit, eine Bounding Box oder ein Erfassungspunkt des ersten Umgebungsobjekts 28 sein, um dieses erfassen zu können. Auch bei einer umgekehrten Anordnung, also der erste Sensor ist als Radar 32 und der zweite Sensor als Kamera 34 ausgebildet, gelten diese Anforderungen an das erste Umgebungsobjekt 28 und den ersten Objektparameter 38.

Bei als Radar 32 ausgeführtem ersten Sensor und bei als Lidar 69 ausgeführtem zweiten Sensor oder einer Stereokamera 70 sollte das erste Umgebungsobjekt 28 sich bewegen und eine Geschwindigkeit aufweisen. Der erste Objektparameter 38 kann eine Geschwindigkeit oder eine Trajektorie des ersten Umgebungsobjekts 28 sein, um dieses erfassen zu können. Auch bei einer umgekehrten Anordnung, also der erste Sensor ist als Lidar 69 und der zweite Sensor als Radar 72 ausgebildet, gelten diese Anforderungen an das erste Umgebungsobjekt 28 und den ersten Objektparameter 38.

Figur 5 zeigt ein Verfahren zur Kalibrierung in einer weiteren speziellen Ausführungsform der Erfindung. Das Verfahren 56 zur Kalibrierung umfasst einerseits einen Messvorgang 74 des Ausgangssensors 62, hier beispielsweise des zweiten Sensors 26, und einen Messvorgang 76 des ersten Sensors 24. Zunächst werden in einem Datenerfassungsschritt 78 Sensordaten des zweiten Sensors 26, die den ersten Objektparameter 38 beschreiben und in einem weiteren Datenerfassungsschritt 80 Sensordaten des ersten Sensors 24, die den ersten Objektparameter 38 beschreiben, erfasst. Anschließend wird in einem Zuordnungsschritt 82 der erste Objektparameter 38 auf ein zweites Sensorbezugssystem des zweiten Sensors 26 und in einem weiteren Zuordnungsschritt 84 der erste Objektparameter 38 auf ein erstes Sensorbezugssystem des ersten Sensors 24 bezogen. Die zweite Zuordnung wird über den Zuordnungsvergleich 54 mit der ersten Zuordnung verglichen. Bei dem Zuordnungsvergleich 54 wird auch geprüft, ob der erste

Objektparameter 38 ein übereinstimmender erster Objektparameter 38 von beiden Sensoren 24, 26 ist.

In einem anschließenden Korrekturschritt 86 wird die erste Zuordnung der zweiten Zuordnung angeglichen. Abhängig von dem Zuordnungsvergleich 54 wird in einem Überprüfungsschritt 88 die Differenz zwischen der ersten und zweiten Zuordnung verglichen und bei Bedarf der Vorgang bei dem Zuordnungsvergleich 54 wiederholt oder in einem Freigabeschritt 90 der erste Sensor 24 als kalibriert ausgegeben.

Figur 6 zeigt ein Verfahren zur Kalibrierung in einer weiteren speziellen Ausführungsform der Erfindung. Das Verfahren 56 zur Kalibrierung als Betriebskalibrierung 60 kann im Anschluss an eine vorgeschaltete Sensorkalibrierung 91 als Erstkalibrierung 92 bei einer Erstinbetriebnahme des ersten Sensors erfolgen. Ein an die Betriebskalibrierung 60 des ersten Sensors anschließender Regelbetrieb 94 des ersten Sensors zur Erfassung von Umgebungsobjekten kann regelmäßig eine Überwachungsmaßnahme 96 einbeziehen, bei der die Genauigkeit des ersten Sensors geprüft und bei einer übermäßigen

Verschlechterung durch die Betriebskalibrierung 60 verbessert oder bei Erfüllung der Anforderungen der Regelbetrieb 94 weitergeführt wird.