Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR DETECTING A DEGRADATION OF A LIDAR SENSOR
Document Type and Number:
WIPO Patent Application WO/2023/232317
Kind Code:
A1
Abstract:
The invention relates to a method for detecting a degradation of a LIDAR sensor, in which method - LIDAR pulses are emitted by means of the LIDAR sensor, - reflections of the emitted LIDAR pulses are detected by means of the LIDAR sensor, - an object (O) by which LIDAR pulses are reflected is detected in the surroundings of the LIDAR sensor, - the detected object (O) is tracked across multiple time slices, - it is determined which LIDAR pulses would have to be reflected at the object during the tracking of the object (O) by taking into account a distance (d) of the tracked object (O) from the LIDAR sensor and a geometry of the tracked object (O), - a failure rate (a) is determined, which indicates how frequently an expected reflection is not detected within a specified time period, and - a degradation of the LIDAR sensor is inferred on the basis of the failure rate (a) and of the distance (d) from the tracked object (O). The invention also relates to a method for operating a vehicle and/or a robot.

Inventors:
HEINZLER ROBIN (DE)
Application Number:
PCT/EP2023/058402
Publication Date:
December 07, 2023
Filing Date:
March 30, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
MERCEDES BENZ GROUP AG (DE)
International Classes:
G01S17/10; G01S7/48; G01S17/931; G01S7/497
Foreign References:
DE102020124017A12022-03-17
DE102018008903A12019-05-02
JP2020112528A2020-07-27
DE102020209353A12022-01-27
DE102018008903A12019-05-02
Attorney, Agent or Firm:
LEDERER, Elisabeth et al. (DE)
Download PDF:
Claims:
Patentansprüche Verfahren zur Detektion einer Degradation eines Lidarsensors, wobei

- mittels des Lidarsensors Lidarimpulse ausgesendet werden,

- mittels des Lidarsensors Reflexionen der ausgesendeten Lidarimpulse detektiert werden,

- ein Objekt (O), von welchem Lidarimpulse reflektiert werden, in einer Umgebung des Lidarsensors detektiert wird,

- das detektierte Objekt (O) über mehrere Zeittakte verfolgt wird,

- unter Berücksichtigung eines Abstands (d) des verfolgten Objekts (O) zu dem Lidarsensor und einer Geometrie des verfolgten Objekts (O) ermittelt wird, welche Lidarimpulse beim Verfolgen des Objekts (O) auf diesem reflektiert werden müssten,

- eine Ausfallrate (a) ermittelt wird, welche angibt, wie häufig eine erwartete Reflexion innerhalb eines vorgegebenen Zeitraums nicht detektiert wird, und

- anhand der Ausfallrate (a) und des Abstands (d) zu dem verfolgten Objekt (O) auf eine Degradation des Lidarsensors geschlossen wird. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Degradation eine Reichweitenreduktion des Lidarsensors ermittelt wird. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Ausfallrate (a) für jedes Empfängerpixel (1.1 bis 1.n) des Lidarsensors ermittelt wird. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass zur Ermittlung eines Defekts und/oder einer Alterung des jeweiligen Empfängerpixels (1.1 bis 1.n) ein Vergleich der ermittelten Ausfallrate (a) je Empfängerpixel (1.1 bis 1.n) mit ermittelten Ausfallraten (a) benachbarter Empfängerpixel (1.1 bis 1.n) in Abhängigkeit des Abstands (d) zu dem verfolgten Objekt (O) durchgeführt wird. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Reichweite des Lidarsensors aus einer Rückstrahlintensität der an einem Objekt (O) reflektierten Lidarimpulse und aus dem Abstand (d) des Lidarsensors zu dem Objekt (O) ermittelt wird. Verfahren zum Betrieb eines Fahrzeugs und/oder Roboters, wobei

- eine Umgebung des Fahrzeugs und/oder Roboters mittels zumindest eines Lidarsensors erfasst wird und

- in Abhängigkeit von mittels des Lidarsensors erfassten Daten ein automatisierter, insbesondere hochautomatisierter oder autonomer Fährbetrieb des Fahrzeugs und/oder Roboters unter Berücksichtigung einer mittels eines Verfahrens nach einem der vorhergehenden Ansprüche detektierten Degradation des zumindest einen Lidarsensors ausgeführt wird. Verfahren nach Anspruch 6, wobei im automatisierten Fährbetrieb eine Fahrgeschwindigkeit des Fahrzeugs und/oder Roboters mit zunehmender Degradation des zumindest einen Lidarsensors verringert wird.

Description:
Verfahren zur Detektion einer Degradation eines Lidarsensors

Die Erfindung betrifft ein Verfahren zur Detektion einer Degradation eines Lidarsensors.

Die Erfindung betrifft weiterhin ein Verfahren zum Betrieb eines Fahrzeugs und/oder Roboters.

Aus der DE 102018 008903 A1 ist ein Verfahren zur Ermittlung einer Sichtweite eines strahlbasierten Sensors eines Fahrzeugs zur Umgebungserfassung bekannt. Mittels des strahlbasierten Sensors werden Sensorstrahlen mit bekannter Intensität ausgesendet, wobei mittels des Sensors Reflexionen der Sensorstrahlen detektiert werden und eine Rückstrahlintensität ausgewertet wird. Eine gemessene Entfernung und die Rückstrahlintensität werden miteinander verknüpft und es wird ermittelt, ob eine Sichtweite des Sensors gegenüber einer maximalen Sichtweite desselben verringert ist.

Der Erfindung liegt die Aufgabe zu Grunde, ein neuartiges Verfahren zur Detektion einer Degradation eines Lidarsensors und ein neuartiges Verfahren zum Betrieb eines Fahrzeugs und/oder Roboters anzugeben.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren zur Detektion einer Degradation eines Lidarsensors, welches die im Anspruch 1 angegebenen Merkmale aufweist, und durch ein Verfahren zum Betrieb eines Fahrzeugs und/oder Roboters, welches die im Anspruch 6 angegebenen Merkmale aufweist.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.

In dem Verfahren zur Detektion einer Degradation eines Lidarsensors werden erfindungsgemäß mittels des Lidarsensors Lidarimpulse ausgesendet und mittels des Lidarsensors Reflexionen der ausgesendeten Lidarimpulse detektiert. Weiterhin wird ein Objekt, von welchem Lidarimpulse reflektiert werden, in einer Umgebung des Lidarsensors detektiert, wobei das detektierte Objekt über mehrere Zeittakte verfolgt wird. Unter Berücksichtigung eines Abstands des verfolgten Objekts zu dem Lidarsensor und einer Geometrie des verfolgten Objekts wird ermittelt, welche Lidarimpulse beim Verfolgen des Objekts auf diesem reflektiert werden müssten. Ferner wird eine Ausfallrate ermittelt, welche angibt, wie häufig eine erwartete Reflexion innerhalb eines vorgegebenen Zeitraums nicht detektiert wird. Anhand der Ausfallrate und des Abstands zu dem verfolgten Objekt wird auf eine Degradation des Lidarsensors geschlossen.

Das vorliegende Verfahren ermöglicht neben einer Ermittlung einer aktuellen Degradation des Lidarsensors, beispielsweise beeinflusst durch Umgebungseinflüsse oder eine Verschmutzung, auch eine zuverlässige Ermittlung einer Alterung und eines Verlusts einzelner Sender-Empfangspaare des Lidarsensors. Diese Informationen ermöglichen einen besonders zuverlässigen und sicheren Betrieb eines automatisiert, insbesondere hochautomatisiert oder autonom fahrenden Fahrzeugs und/oder Roboters, da mittels der Informationen einerseits eine aktuelle Fahrweise des Fahrzeugs und/oder Roboters an die Degradation des Lidarsensors angepasst werden kann und andererseits ein Alterungszustand des Lidarsensors bestimmt werden kann.

In einer möglichen Ausgestaltung des Verfahrens wird als Degradation eine Reichweitenreduktion des Lidarsensors ermittelt. Somit kann die aktuelle Fahrweise des Fahrzeugs und/oder Roboters an eine aktuelle Reichweite des Lidarsensors angepasst werden. Beispielsweise kann so eine Fahrgeschwindigkeit des Fahrzeugs und/oder Roboters mit zunehmender Degradation des zumindest einen Lidarsensors verringert werden.

In einer weiteren möglichen Ausgestaltung des Verfahrens wird die Ausfallrate für jedes Empfängerpixel des Lidarsensors ermittelt. Dies ermöglicht, dass bei einer teilweisen Degradation des Lidarsensors mittels Empfängerpixeln, welche außerhalb eines degradierten Bereichs liegen, erfasste Informationen weiterhin in zuverlässiger Weise zum automatisierten Betrieb des Fahrzeugs genutzt werden und eine Einschränkung des automatisierten Betriebs somit minimiert wird.

In einer weiteren möglichen Ausgestaltung des Verfahrens wird zur Ermittlung eines Defekts und/oder einer Alterung des jeweiligen Empfängerpixels ein Vergleich der ermittelten Ausfallrate je Empfängerpixel mit ermittelten Ausfallraten benachbarter Empfängerpixel in Abhängigkeit des Abstands zu dem verfolgten Objekt durchgeführt. Hierdurch kann die Zuverlässigkeit des Verfahrens weiter erhöht werden.

In einer weiteren möglichen Ausgestaltung des Verfahrens wird eine Reichweite des Lidarsensors aus einer Rückstrahlintensität der an einem Objekt reflektierten Lidarimpulse und aus dem Abstand des Lidarsensors zu dem Objekt ermittelt. Eine solche Ermittlung der Reichweite ist besonders einfach, zuverlässig und exakt durchführbar.

In dem erfindungsgemäßen Verfahren zum Betrieb eines Fahrzeugs und/oder Roboters wird eine Umgebung des Fahrzeugs und/oder Roboters mittels zumindest eines Lidarsensors erfasst und in Abhängigkeit von mittels des Lidarsensors erfassten Daten wird ein automatisierter, insbesondere hochautomatisierter oder autonomer Fährbetrieb des Fahrzeugs und/oder Roboters unter Berücksichtigung einer mittels eines zuvor beschriebenen Verfahrens detektierten Degradation des zumindest einen Lidarsensors ausgeführt.

Das Verfahren ermöglicht aufgrund der zuverlässigen Erfassung der Degradation des Lidarsensors einen ebenso zuverlässigen Betrieb des automatisiert fahrenden Fahrzeugs und ermöglicht somit eine Erhöhung einer Verkehrssicherheit.

In einer möglichen Ausgestaltung des Verfahrens wird im automatisierten Fährbetrieb eine Fahrgeschwindigkeit des Fahrzeugs und/oder Roboters mit zunehmender Degradation des zumindest einen Lidarsensors verringert, so dass in Abhängigkeit der Degradation des Lidarsensors stets ein sicherer Betrieb des Fahrzeugs und somit eine hohe Verkehrssicherheit ermöglicht werden können.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.

Dabei zeigen:

Fig. 1 schematisch einen Empfänger eines Lidarsensors bei einer Erfassung eines Objekts in einem ersten Abstand,

Fig. 2 schematisch den Empfänger gemäß Figur 1 bei einer Erfassung des Objekts in einem gegenüber dem ersten Abstand verringerten zweiten Abstand, Fig. 3 schematisch einen Empfänger eines Lidarsensors bei einer Erfassung eines Objekts und

Fig. 4 schematisch eine Ausfallrate eines Empfängers eines Lidarsensors in Abhängigkeit eines Abstands zu einem erfassten Objekt.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.

In Figur 1 ist schematisch ein Empfänger 1 eines Lidarsensors bei einer Erfassung eines Objekts O in einem ersten Abstand d dargestellt. Figur 2 zeigt den Empfänger 1 gemäß Figur 1 bei einer Erfassung des Objekts O in einem gegenüber dem ersten Abstand d verringerten zweiten Abstand d. Der Abstand d ist in Figur 4 näher dargestellt.

Lidarsensoren tasten ihre Umgebung mit Licht im Infrarotbereich ab und erfassen pro Messpunkt bzw. Empfängerpixel 1.1 bis 1.n eine Distanz bzw. einen Abstand d und eine Information über zurück gestreutes Licht. Diese Information ist beispielsweise die Intensität des zurückgestreuten Lichts. Aufgrund des Messprinzips nimmt eine Anzahl von Messpunkten bzw. Empfängerpixeln 1.1 bis 1.n pro Flächeneinheit mit bei größerem Abstand d ab, da der Empfänger 1 des Lidarsensors in Polarkoordinaten misst.

Folglich empfangen, wie in Figur 1 schematisch gezeigt, auf einem Objekt O in großem Abstand d, beispielsweise 150 m, weniger Empfängerpixel 1.1 bis 1.n ein Signal als bei einer Erfassung eines Objekts O gemäß Figur 2, bei welcher das Objekt O einen deutlich geringeren Abstand d zum Empfänger 1 aufweist. Wenn Objekte O mehrfach gemessen wurden und über die Zeit getrackt wurden, kann ein Abgleich durchgeführt werden, wie oft einzelne Empfängerpixel 1.1 bis 1.n ausfallen, obwohl aufgrund vorhandener Objektabmessungen ein Signal am Empfängerpixel 1.1 bis 1.n erwartet wird.

In Figur 3 ist ein Empfänger 1 eines Lidarsensors bei einer Erfassung eines Objekts O dargestellt. Dabei ist das Objekt O derart ausgebildet, dass dieses von den Empfängerpixeln 1.3 bis 1.5, 1.12 bis 1.14, 1.21 bis 1.23 und 1.30 bis 1.32 erfasst werden müsste. Figur 4 zeigt eine Ausfallrate a für unterschiedliche Empfängerpixel 1.1 bis 1.n eines Lidarsensors in Abhängigkeit des Abstands d zu einem erfassten Objekt O.

Wird ein Objekt O zu einem ersten Zeitpunkt t_0 zum ersten Mal erfasst und im weiteren Zeitverlauf über weitere Zeitpunkte t_k durchgehend bis zu einem weiteren Zeitpunkt t_m getrackt, so kann aufgrund einer bekannten Geometrie eine Ausfallrate a je Empfängerpixel 1.1 bis 1.n des Lidarsensors ermittelt werden. Hierbei kann die Ausfallrate a mit dem Abstand d des Objektes O zwischen dem genannten ersten Zeitpunkt t_0 und dem weiteren Zeitpunkt t_m kombiniert werden. Die Ausfallrate a in Abhängigkeit des Abstands d kann so je Empfängerpixel 1.1 bis 1.n ermittelt werden.

Ein Vergleich der ermittelten Ausfallrate a in Abhängigkeit einer Distanz zwischen verschiedenen Empfängerpixeln 1.1 bis 1.n lässt Rückschlüsse auf mögliche defekte oder gealterte Empfängerpixel 1.1 bis 1.n zu. Mögliche temporäre Störeinflüsse, wie beispielsweise Regen oder eine verschmutze Frontscheibe des Lidarsensors, können dabei durch unterschiedliche zeitliche Akkumulierungen identifiziert werden.

Wird die Ausfallrate a in Abhängigkeit des Abstands d zu Beginn eines Lebenszyklus des Lidarsensors im Labor ermittelt, so können diese Werte als Grundlage zur Ermittlung von temporären oder dauerhaften Veränderungen herangezogen werden.

Figur 3 zeigt an einem Beispiel, dass bei der Erfassung des Objekts O eine Abweichung zwischen dem Empfängerpixel 1.13 und dem defekten Empfängerpixel 1.22 auftritt. Eine Ausfallrate a von 100 %, dargestellt in Figur 4, entspricht einer nicht vorhandenen Messung, d. h. der Empfänger 1 des Lidarsensors hat kein Objekt O erkannt.

Ermittelte Ausfallraten a in Abhängigkeit des Abstands d lassen dabei folgende Rückschlüsse zu. Ein Zusammenhang zwischen einer maximalen Reichweite des Lidarsensors und der Ausfallrate a ergibt sich gemäß wobei der Faktor ß auf Basis von Labormessungen oder vorherigen Sensormessungen bestimmbar und abhängig von der Ausfallrate a ist.

Somit ergibt sich beispielsweise d max = 1,25 ■ d(tfc) mit a(d(t fe )) = 25% und ß = f(a) = (25%) = 1,25. (2)

Unterschiede von Ausfallratenkurven zwischen zwei verschiedenen

Empfängerpixeln 1.1 bis 1.n können dabei dauerhaft aufgrund von defekten oder gealterten elektronischen Komponenten und/oder Optikkomponenten und/oder temporär durch eine verschmutze Frontscheibe des Lidarsensors oder äußere Störeinflüsse, wie beispielsweise Regen oder Nebel, verursacht werden. Dies ist in Figur 4 für die Ausfallrate a(1.22) des defekten Empfängerpixels 1.22 und die Ausfallrate a(1.13) des benachbarten Empfängerpixels 1.13 dargestellt.