Die Erfindung betrifft ein Verfahren zur Erkennung einer Dekalibrierung eines Lidarsystems.

Die Erfindung betrifft des Weiteren eine Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems.

Aus der DE 102020 007772 A1 ist ein Verfahren zur In-Betrieb-Kalibrierung eines Lidars eines Fahrzeugs mit den folgenden Verfahrensschritten bekannt:

- mehrmaliges Abtasten einer Fahrzeugumgebung mittels des Lidars zum Erzeugen von Punktewolken;

- Nachverfolgen einer Relativposition von den Punktewolken umfasster Abtastpunkte zum Lidar;

- Bestimmen einer Bewegungsrichtung der Abtastpunkte durch Auswerten einer Relativpositionsverschiebung der Abtastpunkte zwischen den Punktewolken;

- Bestimmen eines Schnittpunkts der Bewegungsrichtungen einer festgelegten Auswahl an Abtastpunkten zur Bestimmung eines Momentanfluchtpunkts;

- Vergleich einer Position des Momentanfluchtpunkts mit einer bekannten Position eines Referenzfluchtpunkts; und

- bei Feststellen einer Lageabweichung zwischen Momentanfluchtpunkt und Referenzfluchtpunkt: Verschieben eines Referenzkoordinatensystems oder eines Momentankoordinatensystems, um den Momentanfluchtpunkt mit dem Referenzfluchtpunkt zur Deckung zu bringen.

Des Weiteren wird ein Fahrzeug mit einem Lidar und einer Recheneinheit beschrieben, wobei die Recheneinheit dazu eingerichtet, das Verfahren auszuführen. Der Erfindung liegt die Aufgabe zugrunde, ein neuartiges Verfahren und eine neuartige Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems anzugeben.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist, und durch eine Vorrichtung, welche die im Anspruch 6 angegebenen Merkmale aufweist.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

In einem erfindungsgemäßen Verfahren zur Erkennung einer Dekalibrierung eines Lidarsystems, insbesondere eines Lidarsystems eines Fahrzeugs, tastet das Lidarsystem eine Umgebung, insbesondere eine Umgebung des Fahrzeugs, mit mehreren Laser-Empfänger-Systemen in einem gemeinsamen Sichtbereich ab. Es wird eine sich im gemeinsamen Sichtbereich befindende ebene Fläche mit den

Laser-Empfänger-Systemen abgetastet. Es werden Punktwolken identifiziert, die durch die Reflexion eines jeweiligen Laserstrahls der Laser-Empfänger-Systeme an der ebenen Fläche entstehen. Es wird eine virtuelle Messfläche, beispielsweise eine B-Spline-Ebene oder eine Bezier-Ebene, durch die identifizierte Punktwolke des jeweiligen Laserstrahls interpoliert. Es wird ermittelt, ob die für die jeweiligen Laserstrahlen ermittelten Messflächen im Wesentlichen miteinander übereinstimmen und/oder gekrümmt sind. Wenn ermittelt wird, dass die für die jeweiligen Laserstrahlen ermittelten Messflächen nicht im Wesentlichen miteinander übereinstimmen und/oder dass mindestens eine der für die jeweiligen Laserstrahlen ermittelten Messflächen gekrümmt ist, wird auf eine Dekalibrierung des Lidarsystems geschlossen, d. h. es wird dann die Dekalibrierung des Lidarsystems erkannt..

Eine erfindungsgemäße Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems, insbesondere eines Lidarsystems eines Fahrzeugs, insbesondere zur Durchführung des oben erwähnten Verfahrens zur Erkennung der Dekalibrierung des Lidarsystems, insbesondere des Lidarsystems eines Fahrzeugs, wobei das Lidarsystem mehrere Laser-Empfänger-Systeme aufweist, welche ausgebildet und eingerichtet sind zur Abtastung einer Umgebung, insbesondere einer Umgebung des Fahrzeugs, in einem gemeinsamen Sichtbereich, ist ausgebildet und eingerichtet zum Abtasten einer sich im gemeinsamen Sichtbereich befindenden ebenen Fläche mit den

Laser-Empfänger-Systemen, zum Identifizieren von Punktwolken, die durch die Reflexion eines jeweiligen Laserstrahls der Laser-Empfänger-Systeme an der ebenen Fläche entstehen, zum Interpolieren einer virtuellen Messfläche, beispielsweise einer B-Spline-Ebene oder einer Bezier-Ebene, durch die identifizierte Punktwolke des jeweiligen Laserstrahls, zum Ermitteln, ob die für die jeweiligen Laserstrahlen ermittelten Messflächen im Wesentlichen miteinander übereinstimmen und/oder gekrümmt sind, und zum Schließen auf eine Dekalibrierung des Lidarsystems, d. h. zum Erkennen der Dekalibrierung des Lidarsystems, bei einer Ermittlung, dass die für die jeweiligen Laserstrahlen ermittelten Messflächen nicht im Wesentlichen miteinander übereinstimmen und/oder dass mindestens eine der für die jeweiligen Laserstrahlen ermittelten Messflächen gekrümmt ist.

Das mittels des Verfahrens bzw. der Vorrichtung hinsichtlich einer möglicherweise vorliegenden Dekalibrierung zu prüfende Lidarsystem ist somit als ein solches Lidarsystem mit mehreren Laser- Empfänger-Systemen ausgebildet, die einen gemeinsamen Sichtbereich aufweisen. Das Lidarsystem tastet, wie oben bereits erwähnt, die Umgebung, insbesondere die Umgebung des Fahrzeugs, mit mehreren Laser-Empfänger-Systemen in einem gemeinsamen Sichtbereich ab. Es tastet somit die Umgebung, insbesondere die Umgebung des Fahrzeugs, mit mehreren Laserstrahlen in dem gemeinsamen Sichtbereich ab, wobei der jeweilige Laserstrahl vom jeweiligen Laser-Empfänger-System erzeugt und abgestrahlt wird und reflektierte Strahlung des jeweiligen Laserstrahls, insbesondere verursacht durch den Laserstrahl reflektierende Objekte, vom Empfänger des Laser-Empfänger-Systems empfangen wird. Das jeweilige Laser-Empfänger-System ist somit ein Lasersender- Empfänger-System.

Um die beschriebene Abtastung im gemeinsamen Sichtbereich zu ermöglichen, überlappen Sichtbereiche der einzelnen Laser-Empfänger-Systeme zumindest bereichsweise, wobei ein Überlappungsbereich, in dem sich die Sichtbereiche der einzelnen Laser-Empfänger-Systeme überlappen, den gemeinsamen Sichtbereich bildet. Das Lidarsystem umfasst mindestens zwei oder mehr als zwei solche Laser-Empfänger-Systeme. Ein solches Lidarsystem wird auch als Multi-Eye-Lidar-System bezeichnet.

Das Lidarsystem tastet somit, wie beschrieben, die Umgebung, insbesondere die Umgebung des Fahrzeugs, mit mehreren Laser-Empfänger-Systemen und somit mit mehreren Laserstrahlen, nämlich mit dem Laserstrahl des jeweiligen Laser-Empfänger-Systems, im gemeinsamen Sichtbereich ab. Um eine mögliche Dekalibrierung zu erkennen, wird dabei die sich im gemeinsamen Sichtbereich befindende ebene Fläche mit den Laser-Empfänger-Systemen und somit mit den mehreren Laserstrahlen, nämlich mit dem Laserstrahl des jeweiligen Laser-Empfänger-Systems, abgetastet. Es werden die Punktwolken identifiziert, die durch die Reflexion des jeweiligen Laserstrahls an der ebenen Fläche entstehen. Es wird eine virtuelle Messfläche, beispielsweise eine B-Spline-Ebene oder eine Bezier-Ebene, durch die identifizierte Punktwolke des jeweiligen Laserstrahls interpoliert, d. h. die jeweilige virtuelle Messfläche wird mittels aller Punkte der jeweiligen identifizierten Punktwolke interpoliert. Die jeweilige virtuelle Messfläche verläuft somit vorteilhafterweise durch alle Punkte der jeweiligen identifizierten Punktwolke. Es wird ermittelt, ob die für die jeweiligen Laserstrahlen ermittelten Messflächen im Wesentlichen miteinander übereinstimmen und/oder gekrümmt sind. Wenn die Ermittlung ergibt, dass die Messflächen nicht im Wesentlichen miteinander übereinstimmen und/oder dass mindestens eine der Messflächen gekrümmt ist, wird auf eine Dekalibrierung des Lidarsystems geschlossen.

Durch die erfindungsgemäße Lösung kann sichergestellt werden, dass das Lidarsystem innerhalb vorgegebener Parametergrenzen operiert und nur in zulässigen Grenzen von angenommenen, insbesondere vorgegebenen, Modellen abweicht. Nur durch kalibrierte Lidarsysteme, insbesondere Multi-Eye-Lidar-Systeme, kann ein sicherer Betrieb von automatisierten, insbesondere hochautomatisierten oder autonomen, Fahrzeugen sichergestellt werden.

Die erfindungsgemäße Lösung ermöglicht insbesondere eine automatische Erkennung der Dekalibrierung des Lidarsystems auch außerhalb von Werkstätten und Testeinrichtungen, d. h. beispielsweise bei einem sich bei einem Fahrzeugnutzer befindenden Fahrzeug, beispielsweise während eines normalen Fährbetriebs und/oder vor und/oder nach einem solchen normalen Fährbetrieb während eines Stillstands des Fahrzeugs. Dadurch können beispielsweise Wartungsintervalle des Lidarsystems verlängert werden und/oder muss keine Wartung des Lidarsystems, beispielsweise durch eine Werkstatt, durchgeführt werden, um eine solche Dekalibrierung des Lidarsystems zu erkennen.

Wird mittels der erfindungsgemäßen Lösung eine vorliegende Dekalibrierung des Lidarsystems erkannt, kann beispielsweise vorgesehen sein, dass auf dem Lidarsystem basierende Systeme und Funktionen deaktiviert oder nur noch eingeschränkt betrieben werden. Alternativ oder zusätzlich kann beispielsweise der Fahrzeugnutzer über die erkannte Dekalibrierung des Lidarsystems informiert werden, beispielsweise durch eine entsprechende optische, akustische und/oder haptische Warnmeldung, und/oder es kann eine Wartung des Lidarsystem veranlasst werden, beispielsweise eine automatische Buchung eines Wartungstermins in einer Werkstatt, oder dem Fahrzeugnutzer kann eine solche Buchung eines Wartungstermins durch das Fahrzeug vorgeschlagen werden, wobei er bei dieser Buchung beispielsweise durch das Fahrzeug unterstützt werden kann oder veranlassen kann, dass sie automatisch durchgeführt wird.

Alternativ oder zusätzlich kann im Anschluss an eine erkannte Dekalibrierung des Lidarsystems beispielsweise eine Kalibrierung des Lidarsystems durchgeführt werden, indem die Punkte durch Verwendung eines geeigneten Modells an eine gemeinsame Ebene angeglichen werden, d. h. derart, dass alle Punkte aller Punktwolken, die durch die Reflexion des jeweiligen Laserstrahls der Laser-Empfänger-Systeme an der sich im gemeinsamen Sichtbereich der Laser-Empfänger-Systeme befindenden und von diesen abgetasteten ebenen Fläche im gemeinsamen Sichtbereich entstehen, auf einer gemeinsamen Ebene liegen. Ein entsprechendes Verfahren zur Kalibrierung des Lidarsystems, insbesondere des Lidarsystems eines Fahrzeugs, umfasst somit das hier beschriebene Verfahren zur Erkennung einer Dekalibrierung eines Lidarsystems, insbesondere eines Lidarsystems eines Fahrzeugs, und zusätzlich bei erkannter Dekalibrierung des Lidarsystems dessen Kalibrierung auf die oben beschriebene Weise, d. h. die Punkte werden, insbesondere auf die oben beschriebene Weise, durch Verwendung eines geeigneten Modells an eine gemeinsame Ebene angeglichen. Eine entsprechende Vorrichtung zur Kalibrierung des Lidarsystems, insbesondere des Lidarsystems eines Fahrzeugs, insbesondere zur Durchführung des Verfahrens zur Kalibrierung des Lidarsystems, umfasst entsprechend die hier beschriebene Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems, insbesondere eines Lidarsystems eines Fahrzeugs, und ist zusätzlich ausgebildet und eingerichtet zur Kalibrierung des Lidarsystems auf die oben beschriebene Weise bei dessen erkannter Dekalibrierung, d. h. dazu ausgebildet und eingerichtet, die Punkte, insbesondere auf die oben beschriebene Weise, durch Verwendung eines geeigneten Modells an eine gemeinsame Ebene anzugleichen. Durch diese Möglichkeit der Kalibrierung des Lidarsystems nach erkannter Dekalibrierung können Werkstattaufenthalte zur Wartung des Lidarsystems vermieden werden und das Lidarsystem kann, insbesondere automatisch auf die beschriebene Weise, sehr schnell wieder kalibriert und danach wieder uneingeschränkt verwendet werden. Dadurch werden Ausfallzeiten des Lidarsystems und daraus resultierende Einschränkungen von Systemen und Funktionen des Fahrzeugs auf ein Minimum reduziert und Störungen und Unannehmlichkeiten sowie ein höherer Aufwand für den Fahrzeugnutzer werden vermieden.

In einer möglichen Ausführungsform des Verfahrens wird für die Ermittlung, ob die jeweilige Messfläche gekrümmt ist, an jedem Punkt der Punktwolke, die diese jeweilige Messfläche bestimmt, eine Tangentialebene an die jeweilige Messfläche ermittelt. Es wird somit an jedem dieser Punkte der jeweiligen Messfläche eine Tangentialebene dieser jeweiligen Messfläche bestimmt, d. h. eine am jeweiligen Punkt der jeweiligen Messfläche an der jeweiligen Messfläche tangential anliegende Ebene. Es wird auf eine gekrümmte jeweilige Messfläche geschlossen, d. h. es wird ermittelt, dass die jeweilige Messfläche gekrümmt ist, wenn die für die verschiedenen Punkte der jeweiligen Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen. Wie oben beschrieben, wird dabei bereits auf eine Dekalibrierung des Lidarsystems geschlossen, d. h. eine solche Dekalibrierung des Lidarsystems wird erkannt, wenn mindestens eine der Messflächen gekrümmt ist, d. h. wenn bei mindestens einer der Messflächen die für die verschiedenen Punkte dieser Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen.

In einer möglichen Ausführungsform der Vorrichtung ist die Vorrichtung für die Ermittlung, ob die jeweilige Messfläche gekrümmt ist, ausgebildet und eingerichtet zum Ermitteln einer Tangentialebene an die jeweilige Messfläche an jedem Punkt der Punktwolke, die diese jeweilige Messfläche bestimmt, und zum Schließen auf eine gekrümmte jeweilige Messfläche, d. h. zum Ermitteln, dass die jeweilige Messfläche gekrümmt ist, wenn die für die verschiedenen Punkte der jeweiligen Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen. Wie oben beschrieben, wird dabei bereits auf eine Dekalibrierung des Lidarsystems geschlossen, d. h. eine solche Dekalibrierung des Lidarsystems wird erkannt, wenn mindestens eine der Messflächen gekrümmt ist, d. h. wenn bei mindestens einer der Messflächen die für die verschiedenen Punkte dieser Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen.

Die beschriebene Ausführungsform der Ermittlung, ob die jeweilige Messfläche gekrümmt ist, ist eine einfache, effiziente und sichere Möglichkeit dieser Ermittlung.

Die ebene Fläche ist vorteilhafterweise zumindest so groß wie der gemeinsame Sichtbereich der Laser-Empfänger-Systeme. Vorteilhafterweise ist die ebene Fläche größer als der gemeinsame Sichtbereich der Laser-Empfänger-Systeme, d. h. sie überragt den gemeinsamen Sichtbereich vorteilhafterweise randseitig vollständig. Die ebene Fläche, also vorteilhafterweise ein die ebene Fläche aufweisendes Objekt, und das Lidarsystem werden oder sind vorteilhafterweise derart zueinander ausgerichtet, dass der gemeinsame Sichtbereich vollständig auf der ebenen Fläche liegt. In einer möglichen Ausführungsform wird als ebene Fläche ein Kalibriertarget, eine Hauswand oder ein Verkehrszeichen verwendet, bzw. ein Objekt, welches diese ebene Fläche aufweist. Durch die Verwendung eines vorgegebenen Kalibriertargets, d. h. Kalibrierzielobjekts, als ebene Fläche kann auf einfache Weise sichergestellt werden, dass tatsächlich eine ebene Fläche auf die oben beschriebene Weise abgetastet wird. Dies kann beispielsweise in einer Werkstatt erfolgen, jedoch ebenso durch einen Fahrzeugnutzer während einer normalen Fahrzeugnutzung, indem der Fahrzeugnutzer das Kalibriertarget im gemeinsamen Sichtbereich der Laser-Empfänger-Systeme positioniert. Ein Werkstattaufenthalt oder eine Wartung des Lidarsystems durch spezielles Wartungspersonal ist hierfür somit nicht zwingend erforderlich. Die weiteren Möglichkeiten der Verwendung einer Hauswand oder eines Verkehrszeichens als ebene Fläche ermöglichen eine weitere Erleichterung der Durchführung, so dass die Erkennung der möglichen Dekalibrierung besonders einfach auch außerhalb von Werkstätten und ohne spezielles Wartungspersonal durchgeführt werden kann, beispielsweise durch einen Fahrzeugnutzer während einer normalen Fahrzeugnutzung oder auf besonders vorteilhafte Weise automatisch, so dass damit kein Aufwand für den Fahrzeugnutzer verbunden ist.

Unter der oben verwendeten Formulierung „im Wesentlichen miteinander übereinstimmen“ ist insbesondere zu verstehen, dass eventuelle Abweichungen innerhalb von vorgegebenen Toleranzen liegen. D. h. die für die jeweiligen Laserstrahlen ermittelten Messflächen stimmen im Wesentlichen miteinander überein, wenn ermittelte Abweichungen innerhalb dieser vorgegebenen Toleranzen liegen. Ist dies der Fall, dann werden die für die jeweiligen Laserstrahlen ermittelten Messflächen als, zumindest im Wesentlichen, miteinander übereinstimmend bewertet. Werden Abweichungen ermittelt, die nicht innerhalb dieser vorgegebenen Toleranzen liegen, d. h. diese vorgegebenen Toleranzen überschreiten, dann werden die für die jeweiligen Laserstrahlen ermittelten Messflächen nicht als miteinander übereinstimmend bewertet, auch nicht als im Wesentlichen miteinander übereinstimmend.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.

Dabei zeigen:

Fig. 1 schematisch eine Seitenansicht einer Verkehrssituation mit zwei Fahrzeugen, Fig. 2 schematisch eine Abtasttrajektorie eines Laser-Empfänger-Systems eines Lidarsystems,

Fig. 3 schematisch Abtasttrajektorien von zwei Laser-Empfänger-Systemen eines Multi-Eye-Lidarsystems,

Fig. 4 schematisch Abtasttrajektorien von zwei Laser-Empfänger-Systemen eines Multi-Eye-Lidarsystems mit einem gemeinsamen Sichtbereich, und

Fig. 5 schematisch eine Vorrichtung zur Erkennung einer Dekalibrierung eines Lidarsystems, insbesondere eines Lidarsystems eines Fahrzeugs, insbesondere zur Durchführung eines Verfahrens zur Erkennung der Dekalibrierung des Lidarsystems, insbesondere des Lidarsystems eines Fahrzeugs.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.

Anhand der Figuren 1 bis 5 werden im Folgenden ein Verfahren und eine Vorrichtung 1 zur Erkennung einer Dekalibrierung eines Lidarsystems 2, insbesondere eines Lidarsystems 2 eines Fahrzeugs 3, beschrieben, wobei die Vorrichtung 1 vorteilhafterweise zur Durchführung des Verfahrens ausgebildet und eingerichtet ist. Das Verfahren und die Vorrichtung 1 ermöglichen insbesondere die Erkennung einer intrinsischen Dekalibrierung, insbesondere eines Multi-Eye-Lidar-Systems.

Lidar oder LiDAR steht als Abkürzung für „Light Detection And Ranging“ und bedeutet sinngemäß „optische Abstandsmessung“. Lidar ist ein ähnliches Messverfahren wie Radar, das Entfernung, Ortung und Intensität eines Objekts im Umfeld, d. h. in einer Umgebung des Lidarsystems 2, misst. Es verwendet beispielsweise Ultraviolett-, Infrarotstrahlen und Strahlen aus dem Bereich des sichtbaren Lichts. Hierzu können zum Beispiel Lichtimpulse eingesetzt und durch eine Laufzeitmessung des Lichtes eine Distanz zu einem Objekt berechnet werden. Diese Messtechnik wird Amplitude Modulated (AM)-LiDAR oder auch Time-of-Flight (ToF)-LiDAR genannt.

Um eine Messung mit einem ToF-LiDAR-Sensor, d. h. einem entsprechenden Lidarsystem 2, durchzuführen, werden, je nach LiDAR-Modell, ein oder mehrere Lichtimpulse ausgesendet. Diese empfängt der Sensor nach der Reflexion an einem vorhandenen Objekt wieder und fasst diese in einer LiDAR-Punktewolke, im Folgenden als Punktwolke bezeichnet, zusammen, wie in Figur 1 anhand einer Seitenansicht einer Verkehrssituation mit dem das Lidarsystem 2 umfassenden Fahrzeug 3 und einem weiteren Fahrzeug F beispielhaft schematisch dargestellt. Dabei ist eine Punktwolke, d. h. eine LiDAR-Punktewolke, eine endliche Menge von LiDAR-Punkten, im Folgenden kurz als Punkte p bezeichnet, die durch eine Entfernung d, eine Ortung x,y, z und eine Intensität I beschrieben werden.

Wie in Figur 1 gezeigt, sendet das Lidarsystem 2, d. h. der Lidarsensor, Lichtimpulse aus, welche an Objekten, auf die sie auftreffen, im hier dargestellten Beispiel am weiteren Fahrzeug F sowie an einer Fahrbahnoberfläche FO, reflektiert werden. Vom jeweiligen Objekt reflektierte Laserstrahlen RLS werden vom Lidarsystem 2, d. h. vom Lidarsensor, empfangen.

In den letzten Jahren ist die Bedeutung von Lidar-Sensoren, d. h. Lidarsystemen 2, als Kernmodalität für eine Realisierung von automatisiert, insbesondere hochautomatisiert oder autonom, fahrenden Systemen, d. h. Fahrzeugen 3, gestiegen. Lidar weist nämlich deutliche Vorteile zu anderen 3D-Sensoren auf. Ein Vorteil gegenüber einer Stereokamera ist beispielsweise, dass eine Datenqualität aus dem erzeugten Lidar von Tageslicht und Dunkelheit im Wesentlichen nicht beeinflusst wird.

Eine Erweiterung des Lidars ist das Multi-Eye-LiDAR-System, im Folgenden als Multi-Eye-Lidar-System bezeichnet. Die im Folgenden beschriebene Lösung zur Erkennung der Dekalibrierung des Lidarsystems 2 betrifft ein als ein solches Multi-Eye-Lidar-System ausgebildetes Lidarsystem 2. Bei dem Multi-Eye-Lidar-System werden mehrere, d. h. mindestens zwei, Laser-Empfänger-Systeme 2.1, 2.2, sogenannte „Eyes“, zu einem Lidarsystem 2 kombiniert. Abtasttrajektorien T1 , T2 der Eyes, d. h. der Laser-Empfänger-Systeme 2.1, 2.2, sind variabel, da das Messverfahren auf schwenkenden Spiegeln basiert, anders als bei den klassischen rotierenden LiDAR- Sensoren.

Figur 2 zeigt eine schematische Darstellung der Abtasttrajektorie T 1 eines solchen Laser-Empfänger-Systems 2.1 des Lidarsystems 2, hier beim Abtasten einer ebenen Fläche EF.

Die Abtasttrajektorien T1, T2 von zwei oder mehr Eyes, d. h.

Laser-Empfänger-Systemen 2.1, 2.2, in einem kombinierten System, d. h. Lidarsystem 2, werden auch als Scan-Pattern bezeichnet. Ein Beispiel für ein Scan-Pattern eines als Multi-Eye-Lidar-System ausgebildeten Lidarsystems 2 mit zwei

Laser-Empfänger-Systemen 2.1, 2.2 ist in Figur 3 schematisch dargestellt, hier ebenfalls beim Abtasten einer ebenen Fläche EF.

Um solch ein Lidarsystem 2 als eine verlässliche Kernmodalität in einem automatisiert, insbesondere hochautomatisiert oder autonom, fahrenden Fahrzeug 3 zu verwenden, muss eine Genauigkeit der erfassten Punktwolke aus dem als Multi-Eye-Lidar-System ausgebildeten Lidarsystem 2 sichergestellt werden. Hierfür müssen die Abtasttrajektorien T1, T2 der Eyes, d. h. der Laser- Empfänger-Systeme 2.1, 2.2, vor ihrer Verwendung synchronisiert werden. Aufgrund eines hierfür notwendigen Aufbaus kann sich die resultierende Abtasttrajektorie T1, T2 der Eyes, d. h. der Laser-Empfänger-Systeme 2.1, 2.2, beispielsweise durch sensorspezifische Alterungserscheinungen, über die Zeit verändern. Eine Abweichung muss für eine Interpretation von Sensordaten der Laser-Empfänger-Systeme 2.1, 2.2 festgestellt werden.

Die im Folgenden beschriebene Lösung betrifft ein technisches Verfahren, welches eine Überprüfung der Abtasttrajektorien T1, T2 ohne zusätzliche externe Sensoren ermöglicht, sowie eine Vorrichtung 1 zur Durchführung dieses Verfahrens.

Das mittels des Verfahrens bzw. der Vorrichtung 1 hinsichtlich einer möglicherweise vorliegenden Dekalibrierung zu prüfende Lidarsystem 2 ist, wie bereits erwähnt, als ein Lidarsystem 2 mit mehreren, d. h. mindestens zwei, Laser-Empfänger-Systemen 2.1, 2.2 ausgebildet, die einen gemeinsamen Sichtbereich GSB aufweisen, auch als Multi-Eye-Lidar-System bezeichnet.

Das Lidarsystem 2 tastet die Umgebung, insbesondere die Umgebung des Fahrzeugs 3, mit mehreren, mindestens zwei, Laser-Empfänger-Systemen 2.1, 2.2 im gemeinsamen Sichtbereich GSB ab. Es tastet somit die Umgebung, insbesondere die Umgebung des Fahrzeugs 3, mit mehreren Laserstrahlen in dem gemeinsamen Sichtbereich GSB ab, wobei der jeweilige Laserstrahl vom jeweiligen Laser-Empfänger-System 2.1, 2.2 erzeugt und abgestrahlt wird und reflektierte Strahlung des jeweiligen Laserstrahls, insbesondere verursacht durch den Laserstrahl reflektierende Objekte, vom Empfänger des Laser-Empfänger-Systems 2.1, 2.2 empfangen wird. Das jeweilige Laser-Empfänger-System 2.1, 2.2 ist somit ein Lasersender- Empfänger-System. Um die beschriebene Abtastung im gemeinsamen Sichtbereich GSB zu ermöglichen, überlappen Sichtbereiche der einzelnen Laser-Empfänger-Systeme 2.1, 2.2 zumindest bereichsweise, wie in Figur 4 gezeigt. Hier sind Abtasttrajektorien T1, T2 von zwei Laser-Empfänger-Systemen 2.1, 2.2 des als Multi-Eye-Lidarsystem ausgebildeten Lidarsystems 2 mit dem gemeinsamen Sichtbereich GSB, d. h. dem Bereich, in dem sich die Sichtbereiche und somit die Abtasttrajektorien T1 , T2 der Laser-Empfänger-Systeme 2.1, 2.2 überlappen, schematisch dargestellt. Der Überlappungsbereich, in dem sich die Sichtbereiche der einzelnen Laser-Empfänger-Systeme 2.1, 2.2 überlappen, bildet somit den gemeinsamen Sichtbereich GSB. Das Lidarsystem 2 umfasst, wie bereits erwähnt, mindestens zwei oder mehr als zwei solche Laser-Empfänger-Systeme 2.1, 2.2.

Das Lidarsystem 2 tastet somit, wie beschrieben, die Umgebung, insbesondere die Umgebung des Fahrzeugs 3, mit mehreren, d. h. mindestens zwei, Laser-Empfänger-Systemen 2.1, 2.2 und somit mit mehreren, entsprechend mindestens zwei, Laserstrahlen, nämlich mit dem Laserstrahl des jeweiligen Laser-Empfänger-Systems 2.1, 2.2, im gemeinsamen Sichtbereich GSB ab. Um eine mögliche Dekalibrierung zu erkennen, wird dabei eine sich im gemeinsamen Sichtbereich GSB befindende ebene Fläche EF, beispielsweise ein Kalibriertarget, eine Hauswand oder ein Verkehrszeichen, mit den Laser-Empfänger-Systemen 2.1, 2.2 und somit mit den mehreren Laserstrahlen, nämlich mit dem Laserstrahl des jeweiligen Laser-Empfänger-Systems 2.1, 2.2, abgetastet. Es werden die Punktwolken identifiziert, die durch die Reflexion des jeweiligen Laserstrahls an der ebenen Fläche EF entstehen.

Es wird eine virtuelle Messfläche, beispielsweise eine B-Spline-Ebene oder eine Bezier-Ebene, durch die identifizierte Punktwolke des jeweiligen Laserstrahls interpoliert, d. h. die jeweilige virtuelle Messfläche wird mittels aller Punkte p _1,i , p _2,i der jeweiligen identifizierten Punktwolke interpoliert. Die jeweilige virtuelle Messfläche verläuft somit vorteilhafterweise durch alle Punkte p _1,i , p _2,i der jeweiligen identifizierten Punktwolke. Es wird ermittelt, ob die für die jeweiligen Laserstrahlen ermittelten Messflächen im Wesentlichen miteinander übereinstimmen und/oder gekrümmt sind. Wenn die Ermittlung ergibt, dass die Messflächen nicht im Wesentlichen miteinander übereinstimmen und/oder dass mindestens eine der Messflächen gekrümmt ist, wird auf eine Dekalibrierung des Lidarsystems 2 geschlossen.

Die ebene Fläche EF ist vorteilhafterweise zumindest so groß wie der gemeinsame Sichtbereich GSB der Laser-Empfänger-Systeme 2.1, 2.2. Vorteilhafterweise ist die ebene Fläche EF größer als der gemeinsame Sichtbereich GSB der Laser-Empfänger-Systeme 2.1, 2.2, d. h. sie überragt den gemeinsamen Sichtbereich GSB vorteilhafterweise randseitig vollständig. Die ebene Fläche EF, also vorteilhafterweise ein die ebene Fläche aufweisendes Objekt, und das Lidarsystem 2 werden oder sind vorteilhafterweise derart zueinander ausgerichtet, dass der gemeinsame Sichtbereich GSB vollständig auf der ebenen Fläche EF liegt, wie in Figur 4 gezeigt.

In einer möglichen Ausführungsform wird für die Ermittlung, ob die jeweilige Messfläche gekrümmt ist, an jedem Punkt p _1,i , p _2,i der Punktwolke, die diese jeweilige Messfläche bestimmt, eine Tangentialebene an die jeweilige Messfläche ermittelt. Es wird somit an jedem dieser Punkte p _1,i , p _2,i der jeweiligen Messfläche eine Tangentialebene dieser jeweiligen Messfläche bestimmt, d. h. eine am jeweiligen Punkt p _1,i , p _2,i der jeweiligen Messfläche an der jeweiligen Messfläche tangential anliegende Ebene. Es wird auf eine gekrümmte jeweilige Messfläche geschlossen, d. h. es wird ermittelt, dass die jeweilige Messfläche gekrümmt ist, wenn die für die verschiedenen Punkte p _1,i , p _2,i der jeweiligen Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen. Wie oben beschrieben, wird dabei bereits auf eine Dekalibrierung des Lidarsystems 2 geschlossen, d. h. eine solche Dekalibrierung des Lidarsystems 2 erkannt, wenn mindestens eine der Messflächen gekrümmt ist, d. h. wenn bei mindestens einer der Messflächen die für die verschiedenen Punkte p _1,i , p _2,i dieser Messfläche ermittelten Tangentialebenen nicht im Wesentlichen miteinander übereinstimmen.

Unter der oben verwendeten Formulierung „im Wesentlichen miteinander übereinstimmen“ ist insbesondere zu verstehen, dass eventuelle Abweichungen innerhalb von vorgegebenen Toleranzen liegen. D. h. die für die jeweiligen Laserstrahlen ermittelten Messflächen stimmen im Wesentlichen miteinander überein, wenn ermittelte Abweichungen innerhalb dieser vorgegebenen Toleranzen liegen. Ist dies der Fall, dann werden die für die jeweiligen Laserstrahlen ermittelten Messflächen als, zumindest im Wesentlichen, miteinander übereinstimmend bewertet. Werden Abweichungen ermittelt, die nicht innerhalb dieser vorgegebenen Toleranzen liegen, d. h. diese vorgegebenen Toleranzen überschreiten, dann werden die für die jeweiligen Laserstrahlen ermittelten Messflächen nicht als miteinander übereinstimmend bewertet, auch nicht als im Wesentlichen miteinander übereinstimmend.

Im Anschluss an eine erkannte Dekalibrierung des Lidarsystems 2 kann beispielsweise eine Kalibrierung des Lidarsystems 2 durchgeführt werden, indem die Punkte p _1,i , p _2,i durch Verwendung eines geeigneten Modells an eine gemeinsame Ebene angeglichen werden, d. h. derart, dass alle Punkte p _1,i , p _2,i aller Punktwolken, die durch die Reflexion des jeweiligen Laserstrahls der Laser-Empfänger-Systeme 2.1, 2.2 an der sich im gemeinsamen Sichtbereich GSB der Laser-Empfänger-Systeme 2.1, 2.2 befindenden und von diesen abgetasteten ebenen Fläche EF im gemeinsamen Sichtbereich GSB entstehen, auf einer gemeinsamen Ebene liegen. Ein entsprechendes Verfahren zur Kalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 eines Fahrzeugs 3, umfasst somit das hier beschriebene Verfahren zur Erkennung einer Dekalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3, und zusätzlich bei erkannter Dekalibrierung des Lidarsystems 2 dessen Kalibrierung auf die oben beschriebene Weise, d. h. die Punkte p _1,i , p _2,i werden, insbesondere auf die oben beschriebene Weise, durch Verwendung eines geeigneten Modells an eine gemeinsame Ebene angeglichen.

Figur 5 zeigt eine beispielhafte schematische Darstellung der Vorrichtung 1 zur Erkennung der Dekalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3, insbesondere zur Durchführung des beschriebenen Verfahrens zur Erkennung der Dekalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3. Die Vorrichtung 1 kann des Weiteren auch zur Kalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3, insbesondere zur Durchführung des Verfahrens zur Kalibrierung des Lidarsystems 2, ausgebildet und eingerichtet sein. Sie umfasst dann entsprechend die Vorrichtung 1 zur Erkennung der Dekalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3, und ist zusätzlich ausgebildet und eingerichtet zur Kalibrierung des Lidarsystems 2 auf die oben beschriebene Weise bei dessen erkannter Dekalibrierung, d. h. dazu ausgebildet und eingerichtet, die Punkte p _1,i , p _2,i , insbesondere auf die oben beschriebene Weise, durch Verwendung eines geeigneten Modells an eine gemeinsame Ebene anzugleichen.

Die Vorrichtung 1 umfasst das Lidarsystem 2 mit den mehreren, d. h. mindestens zwei, Laser-Empfänger-Systemen 2.1, 2.2 und vorteilhafterweise eine Verarbeitungseinheit 4, insbesondere zur Durchführung und Auswertung mindestens eines oder mehrerer der oben beschriebenen Verfahrensschritte oder aller der oben beschriebenen Verfahrensschritte.

Die Verarbeitungseinheit 4 kann dabei beispielsweise ein Bestandteil des Lidarsystems 2 sein, d. h. es kann beispielsweise eine ohnehin vorhandene Verarbeitungseinheit 4 auch zur Durchführung des hier beschriebenen Verfahrens zur Erkennung der Dekalibrierung des Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3, und beispielsweise zusätzlich zur Durchführung des beschriebenen Verfahrens zur Kalibrierung des Lidarsystems 2, verwendet werden. Das hier beschriebene Verfahren zur Erkennung der Dekalibrierung des Lidarsystems 2 und beispielsweise zusätzlich das beschriebene Verfahren zur Kalibrierung des Lidarsystems 2 kann/können somit beispielsweise im Lidarsystem 2 implementiert sein.

Die Vorrichtung 1 kann in einer möglichen Ausführungsform zudem die ebene Fläche EF, beispielsweise das Kalibriertarget, umfassen.

Im Folgenden wird das Verfahren zur Erkennung der Dekalibrierung des als Multi-Eye-Lidar-System ausgebildeten Lidarsystems 2, insbesondere des Lidarsystems 2 des Fahrzeugs 3, anhand Figur 4 nochmals zusammengefasst beschrieben.

Es wird eine ebene Fläche EF, somit beispielsweise ein Objekt mit einer ebenen Seite, d. h. mit einer Oberfläche ohne Krümmung, zum Beispiel ein Kalibriertarget oder eine Fassade eines Gebäudes, d. h. eine Hauswand, benötigt. Die ebene Fläche EF ist vorteilhafterweise größer als der gemeinsame Sichtbereich GSB der Laser-Empfänger-Systeme 2.1, 2.2 des Lidarsystems 2, wie in Figur 4 gezeigt.

Die ebene Fläche EF, also vorteilhafterweise das Objekt mit der ebene Fläche EF, und das Lidarsystem 2 werden derart zueinander ausgerichtet, dass der gemeinsame Sichtbereich GSB vollständig auf der ebenen Fläche EF liegt.

Figur 4 zeigt die Abtasttrajektorien T1, T2 der beiden Laser-Empfänger-Systeme 2.1, 2.2 des Lidarsystems 2 mit den jeweiligen Punkten p _1,i und p _2,i . Dabei bezeichnet der Index „1“ die Zugehörigkeit zur ersten Abtasttrajektorie T 1 und der Index „2“ die Zugehörigkeit zur zweiten Abtasttrajektorie T2, und der Index „i“ ist der Laufindex (i = 1 bis n).

Die Punkte p _1,i der ersten Abtasttrajektorie T1, die im gemeinsamen Sichtbereich GSB liegen, sind jeweils ein Element einer Menge P1 aller Punkte p _1,i , die zur ersten Abtasttrajektorie T1 gehören, und jeweils ein Element einer Menge P _GSB aller Punkte p _1,i , p _2,i , die im gemeinsamen Sichtbereich GSB liegen. Liegt ein jeweiliger Punkt p _1,i der ersten Abtasttrajektorie T1 nicht im gemeinsamen Sichtbereich GSB, so ist er nur ein Element der Menge P1.

Die Punkte p _2,i der zweiten Abtasttrajektorie T2, die im gemeinsamen Sichtbereich GSB liegen, sind jeweils ein Element einer Menge P2 aller Punkte p _2,i , die zur zweiten Abtasttrajektorie T2 gehören, und jeweils ein Element der Menge P _GSB aller Punkte p _1,i , p _2,i , die im gemeinsamen Sichtbereich GSB liegen. Liegt ein jeweiliger Punkt p _2,i der zweiten Abtasttrajektorie T2 nicht im gemeinsamen Sichtbereich GSB, so ist er nur ein Element der Menge P2.

Es wird eine Fläche E1, d. h eine Messfläche E1, im Raum, die Krümmungen beschreibt, zum Beispiel eine B-Spline-Fläche oder Bezier-Fläche, für die Punkte p _1,i , die zur Menge P1 und zur Menge P _GSB gehören, bestimmt, d. h. für alle Punkte p _1,i der ersten Abtasttrajektorie T1, die im gemeinsamen Sichtbereich GSB liegen.

Es wird eine Fläche E2, d. h eine Messfläche E2, im Raum, die Krümmungen beschreibt, zum Beispiel eine B-Spline-Fläche oder Bezier-Fläche, für die Punkte p _2,i , die zur Menge P2 und zur Menge P _GSB gehören, bestimmt, d. h. für alle Punkte p _2,i der zweiten Abtasttrajektorie T2, die im gemeinsamen Sichtbereich GSB liegen.

Es wird die jeweilige Tangentialebene der Fläche E1 in jedem Punkt p _1,i der ersten Abtasttrajektorie T1, der im gemeinsamen Sichtbereich GSB liegt, bestimmt.

Es gibt zwei mögliche Fälle:

Fall a: Die Fläche E1 hat unterschiedliche Tangentialebenen in den unterschiedlichen Punkten p _1,i der ersten Abtasttrajektorie T1, die im gemeinsamen Sichtbereich GSB liegen. Dann wird erkannt und beispielsweise gemeldet, dass eine, insbesondere intrinsische, Dekalibrierung dieses Laser-Empfänger-Systems 2.1 beobachtet wurde, und somit wird auch die, insbesondere intrinsische, Dekalibrierung des Lidarsystems 2 erkannt und beispielsweise gemeldet.

Fall b: Die Fläche E1 hat die gleiche Tangentialebene in den unterschiedlichen Punkten p _1,i der ersten Abtasttrajektorie T1, die im gemeinsamen Sichtbereich GSB liegen, und ist somit eine Ebene, wie bei einem nicht dekalibrierten Lidarsystem 2 erwartet.

Es wird die jeweilige Tangentialebene der Fläche E2 in jedem Punkt p _2,i der zweiten Abtasttrajektorie T2, der im gemeinsamen Sichtbereich GSB liegt, bestimmt.

Es gibt zwei mögliche Fälle: Fall a: Die Fläche E2 hat unterschiedliche Tangentialebenen in den unterschiedlichen Punkten p _2,i der zweiten Abtasttrajektorie T2, die im gemeinsamen Sichtbereich GSB liegen. Dann wird erkannt und beispielsweise gemeldet, dass eine, insbesondere intrinsische, Dekalibrierung dieses Laser-Empfänger-Systems 2.2 beobachtet wurde, und somit wird auch die, insbesondere intrinsische, Dekalibrierung des Lidarsystems 2 erkannt und beispielsweise gemeldet.

Fall b: Die Fläche E2 hat die gleiche Tangentialebene in den unterschiedlichen Punkten p _2,i der zweiten Abtasttrajektorie T2, die im gemeinsamen Sichtbereich GSB liegen, und ist somit eine Ebene, wie bei einem nicht dekalibrierten Lidarsystem 2 erwartet.

Wenn der Fall b für beide Flächen E1 und E2 eintrifft, d. h. wenn sowohl ermittelt wird, dass die Fläche E1 die gleiche Tangentialebene in den unterschiedlichen Punkten p _1,i der ersten Abtasttrajektorie T1, die im gemeinsamen Sichtbereich GSB liegen, hat und somit eine Ebene ist, als auch ermittelt wird, dass die Fläche E2 die gleiche Tangentialebene in den unterschiedlichen Punkten p _2,i der zweiten Abtasttrajektorie T2, die im gemeinsamen Sichtbereich GSB liegen, hat und somit eine Ebene ist, werden die Flächen E1 und E2 auf Gleichheit geprüft. Sind die Flächen E1 und E2 gleich, vorteilhafterweise mit Berücksichtigung eines bekannten Rauschens des Lidarsystems 2, welches beispielsweise durch einen Hersteller des Lidarsystems 2 mitgeteilt wird, so ist das Lidarsystem 2, insbesondere bezüglich der Laser-Empfänger-Systeme 2.1, 2.2, kalibriert, insbesondere intrinsisch kalibriert. Sind die Flächen E1 und E2 ungleich, so sind die Laser-Empfänger-Systeme 2.1, 2.2, insbesondere intrinsisch, dekalibriert und damit ist auch das Lidarsystem 2, insbesondere intrinsisch, dekalibriert.