Titel

Verfahren zur Bestimmung eines Sensor- Degradations-Status

Stand der Technik

Die Automatisierung des Fahrens geht einher mit der Ausstattung von Fahrzeugen mit immer umfangreicheren und leistungsfähigeren Sensorsystemen zur Umfelderfassung. Teilweise decken Fahrzeugsensoren 360° des Umfeldes und unterschiedliche Reichweiten redundant durch mehrere Sensoren und Modalitäten ab. Als Modalitäten kommen beispielsweise Video-, Radar-, Lidar-, Ultraschall- und Mikrophon-Sensoren zum Einsatz.

Sensordaten werden zur Repräsentation eines Umfelds des Fahrzeugs zu einem abgesicherten Umfeldmodell zusammengefügt. Anforderungen an einen Umfang und eine Qualität des Umfeldmodells hängen wiederrum von den darauf realisierten Fahrfunktionen ab. Im fahrerlosen Fahrzeug werden auf Basis des Umfeldmodells z.B. vollumfängliche Fahrentscheidungen getroffen und die Aktuatoren entsprechend angesteuert.

Jeder der Sensoren kann durch Verschmutzungen, Gebrauchsspuren, Beschädigungen oder anderen Umwelteinflüsse wie Regen, Schnee und Nebel gegenüber seiner nominellen Leistungsfähigkeit eingeschränkt bzw. „degradiert“ sein. Die Effekte und deren Ausprägung in den Sensordaten sind dabei u.a. abhängig von der Sensor- Modalität.

Offenbarung der Erfindung

Daten von Sensor- Systemen werden zur Repräsentation eines Umfelds eines

Fahrzeugs in verschiedenen Verarbeitungsschritten mittels unterschiedlicher Module verarbeitet, wobei die Daten mit jedem Verarbeitungsschritt weiter abstrahiert werden und letztlich zu einem abgesicherten Umfeldmodell zusammengefügt werden. Dabei sind die gängigen Algorithmen für unterschiedliche Sensor- Modalitäten zur Objekt- Detektion, Objekt- Klassifikation, Objekt-Tracking, Distanz-Berechnung etc. anfällig gegenüber degradierten Eingangsdaten. Typische Ansätze zur Objektdetektion und - klassifikation versagen in diesen Fällen durch falsch-positive und falsch-negative Erkennungen ohne dabei Ihren degradierten Zustand zu erkennen.

Falsch-negative Degradations- Erkennungen sind in beinahe jedem Fall ein inakzeptables Sicherheitsrisiko, da Daten von „blinden“ Sensoren in Form von nicht erkannten oder fälschlicherweise erkannten Objekten unbemerkt Ursache für sicherheitsrelevante Fehlentscheidungen werden können.

Falsch-positive Degradations- Erkennungen wiederrum senken „nur“ die Verfügbarkeit des Systems, da eine von Sensor- Degradation abgeleitete System- Degradation unnötig stattfindet. Da in Automatisierungs-Leveln 1-3 (mit Fahrer) eine Rückgabe an den Fahrer möglich ist sind Falsch-Positive eher zu akzeptieren als im Automatisierungslevel 4-5 (ohne Fahrer) wo das Fahrzeug durch Überdegradation in seiner Fahraufgabe eingeschränkt wird (bis zum Stillstand), was für eine Anwendung inakzeptabel ist.

Dabei sind insbesondere die Falsch- Positiv- Raten der Degradations- Erkennungen eine Herausforderung für den Schritt in das hoch-autonome Fahren, wodurch die Notwendigkeit einer verbesserten Degradations- Erkennung der Sensor- Systeme entsteht.

Fehler in der Umfelderfassung eines Sensor-Systems können zu funktionalen Fehlentscheidungen im übergeordneten System führen. Je nach realisierter Funktion kann es dadurch zu Sicherheitsrisiken oder Komforteinbußen kommen. Sensorsysteme in Fahrzeugen können mit einer separaten Blindheitserkennung ausgestattet werden. Durch Erkennungsmechanismen für Sensorblindheit können die im Gesamtsystem auf den Sensordaten realisierten Funktionen adäquat zur aktuellen Sensorverfügbarkeit als degradiert gekennzeichnet werden.

Mit anderen Worten werden Daten von Sensorsystemen generiert, um mittels der Sensordaten Systemfunktionen zu realisieren. Wenn eine Verfügbarkeit des Sensor- Systems bekannt ist, wie z.B. durch eine zuverlässige

Blindheitsdetektion, kann daraus eine Verfügbarkeit der Systemfunktionen abgeleitet werden. Das heißt, ein System kann nur durch gute Erkennung von Sensordegradation auch eine adäquate System- Funktionen- Degradation diagnostizieren bzw. identifizieren. So dass, beispielsweise bei nur teilweise erfasster Umgebung, aufgrund von lokaler Blindheit des Systems entsprechende Funktionen auch nur entsprechend teilweise eingeschränkt bereitgestellt werden können.

Gemäß Aspekten der Erfindung wird ein Verfahren zur Bestimmung eines Sensor- Degradations-Status eines Sensor-Systems, ein Verfahren zum Bereitstellen eines Steuersignals, eine Auswerte-Vorrichtung, ein Computerprogrammprodukt, und ein maschinenlesbares Speichermedium, gemäß den Merkmalen der unabhängigen Ansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.

In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist. Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.

Gemäß einem Aspekt der Erfindung wird ein Verfahren zur Bestimmung eines Sensor- Degradations-Status eines ersten Sensor-Systems vorgeschlagen, wobei das Sensor- System eingerichtet ist, Daten zur Repräsentation eines Umfelds des ersten Sensors bereitzustellen. Dabei weist das Verfahren die folgenden Schritte auf:

In einem Schritt des Verfahrens werden Daten des ersten Sensor- Systems zur Repräsentation des Umfelds bereitgestellt. In einem weiteren Schritt werden Daten eines zweiten Sensor-Systems zur Repräsentation des Umfelds bereitgestellt. In einem weiteren Schritt wird ein Einzel-Blindheits-Indikator für das erste Sensor-System bestimmt, der auf Sensordaten ausschließlich des ersten Sensor- Systems basiert. In einem weiteren Schritt wird zumindest eine umfeldbezogene Bestimmungsgröße bestimmt, die auf den bereitgestellten Daten des ersten Sensor- Systems basiert. In einem weiteren Schritt wird die zumindest eine umfeldbezogene Bestimmungsgröße, basierend auf den bereitgestellten Daten des zweiten Sensor-Systems, bestimmt. In einem weiteren Schritt wird ein Fusions-Blindheits-Indikator, mittels eines Vergleichs der zumindest einen umfeldbezogenen Bestimmungsgröße, die auf den bereitgestellten Daten des ersten Sensor-Systems basiert, mit der zumindest einen umfeldbezogenen Bestimmungsgröße, die auf den bereitgestellten Daten des zweiten Sensor-Systems basiert, bestimmt. In einem weiteren Schritt wird der Sensor- Degradations-Status des ersten Sensor-Systems mittels des Einzel-Blindheits- Indikators des ersten Sensors-Systems und des Fusions-Blindheits-Indikators bestimmt.

Alternativ oder zusätzlich kann der Fusions-Blindheits-Indikator für das erste Sensorsystem, mittels eines Vergleichs der zumindest einen umfeldbezogenen Bestimmungsgröße, die auf den bereitgestellten Daten des ersten Sensor- Systems basiert, mit der zumindest einen umfeldbezogenen Bestimmungsgröße, die auf den bereitgestellten Daten des zweiten Sensor-Systems basiert, bestimmt werden. Entsprechend kann dann in einem weiteren Schritt der Sensor- Degradations-Status des ersten Sensor-Systems mittels des Einzel-Blindheits-Indikators des ersten Sensors-Systems und des Fusions-Blindheits-Indikators des ersten Sensor-Systems bestimmt werden.

Mit dem Verfahren zur Bestimmung eines Sensor-Degradations-Status kann für ein jeweiliges Sensor-System ein aktueller Sensor- Degradations-Status bestimmt werden. Dabei charakterisiert ein Sensor- Degradations-Status alle performancerelevanten Beeinträchtigungen, die das Sensor- System in seiner Betriebszeit, beispielsweise durch Regen, Schnee, Kratzer, Nebel, Blendung, eine tiefstehende Sonne, Blätter und andere Verschmutzungen, erfahren kann. Da nicht jede Sensormodalität von den genannten Ursachen gleichermaßen betroffen ist, müssen die Beeinträchtigungen auch nicht für jede Sensormodalität als Beeinträchtigung erkannt werden.

Dabei können die einzelnen Verfahrensschritte des Verfahrens zur Bestimmung eines Sensor- Degradations-Status mittels eines, über ein oder mehrere Steuergeräte verteilten, Systems bestimmt werden. Da typischerweise die Repräsentation eines Umfelds mittels Daten von Sensor- Systemen bestimmt werden, die unterschiedliche Verarbeitungs- Ebenen bis zur Bestimmung der Repräsentation durchlaufen, werden vorteilhafterweise bei diesem Verfahren zur Bestimmung des Sensor- Degradations- Status die auf der jeweiligen Ebene der Verarbeitung vorliegenden Daten und Verfahren genutzt, um den Sensor- Degradation-Status zu bestimmen. Dabei wird der entsprechende Sensor- Degradations-Status nicht schon auf der Sensor-Ebene bestimmt, sondern die vorliegenden Informationen werden anhand von Indikatoren bis in die letzte Ebene mitgeführt, um vorteilhafterweise die damit verbundene Zunahme eines Informationsgehaltes für eine zuverlässige und konsistente Bestimmung des Sensor- Degradations-Status zu verwenden. Insbesondere das Einbeziehen von Verfahren der Fusions-Ebene, in der Daten unterschiedlicher Sensoren, die auch unterschiedliche Modalität aufweisen können, miteinander verglichen werden, kann zur Bestimmung eines Sensor- Degradations-Status verwendet werden, sodass eine Bestimmung des Degradations-Status eines jeweiligen Sensors nicht mehr alleine auf den Daten beruht, die der Sensor selbst bereitstellt. Diese Bestimmung der Sensor- Degradations-Status mit diesem Verfahren kann auf einer Anzahl von Steuergeräten und elektronischen Untereinheiten dieser Steuergeräte verteilt werden.

Durch eine zuverlässige Erkennung der Degradation kann eine hohe Sensor- und System-Verfügbarkeit, durch insbesondere eine niedrige Falsch- Positive- Rate, gewährleistet werden ohne die Sicherheit eines Fahrzeugs zu gefährden, d.h. unter Beibehaltung einer niedrigen Falsch- Negativ- Rate.

Dabei ist dieses Verfahren auf eine Vielzahl von Sensoren und Sensor- Modalitäten zur Bestimmung einer Degradation anwendbar. Durch die Verwendung von Verfahren die auf den unterschiedlichen Ebenen zur Bestimmung der Repräsentation des Umfelds auf unterschiedlichen Ebenen der Datenverarbeitung verwendet werden, können die jeweiligen Indikatoren ressourcenschonend in eine vorhandene Datenverarbeitung zur Repräsentation des Umfelds integriert werden.

Durch das Einbeziehen der Fusionsebene können Stärken und Schwächen der verschiedenen Sensormodalitäten ausgeglichen werden. Außerdem ist es durch das Einbeziehen der Fusionsebene möglich, Ergebnisse von einer Anzahl von Sensoren redundant zu validieren.

Das Einbeziehen der Fusions- Ebene ist insbesondere für die gestiegenen Anforderungen in Level 4/5 der Fahrzeugautomatisierung notwendig.

Durch die Integration in die Verarbeitungsarchitektur der Bestimmung der Repräsentation des Umfelds kann die Bestimmung des Sensor- Degradations-Status kombiniert und erweitert werden. Erkannte Schwächen können gezielt durch Integration zusätzlicher Erkennungsmechanismen realisiert werden, ohne die Architekturprinzipien zu verletzen.

Wenn beispielsweise Daten eines Sensor- Systems vollständig, insbesondere unter Verwendung eines neuronalen Netzes, klassifiziert werden, kann zusätzlich eine Degradationsklasse definiert und in diese Klassifikation ressourcenschonend integriert werden. Dabei kann eine solche Klassifikation unterschiedlich integriert werden, indem eine Degradationsklasse überlagernd oder ersetzend integriert wird, d.h. ob bei Degradations- Erkennung die Daten noch auf Informationen für das Umfeldmodell hin untersucht werden sollen oder nicht. Ein Prototyp für ein solches Architektur-Szenario ist die pixelweise semantische Segmentierung von Kamerabildern. Eine Klasse „Blindheit“ könnte neben Klassen wie „Freifläche“, „Bordstein“, „Personen“, usw. eingeführt werden.

Ein weiteres Beispiel kann auf einem Mitzählen von Fehlassoziationen von Objekten bei einer Fusion von Daten von unterschiedlichen Sensor- Systemen basieren. Falls in einer solchen Fusion ein Verarbeitungsschritt durchgeführt wird, indem das aktuelle Umfeldmodell mit den Sensorerkenntnissen abgeglichen bzw. assoziiert wird, kann hier durch Mitzählen von Widersprüchen mit wenig zusätzlichem Aufwand ein Fusions- Degradations-Indikator bestimmt werden.

Das Verfahren kann in einer Verarbeitung-Architektur integriert werden, die verteilt über mehrere Steuergeräte (ECU engl. electronic control unit) arbeitet und dennoch eine Bestimmung eines jeweiligen Sensor- Degradations-Status unter Einbezug aller relevanten Informationsquellen gewährleistet. Beispielsweise können aufwändige Vorverarbeitungsschritte, wie eine Bestimmung von Indikatoren mittels neuronaler Netze auf Bildern oder Punktewolken auf dem Steuergerät (ECU) und in dem Speicher vorgenommen werden, dort durchgeführt werden, wo die jeweiligen Daten nativ vorliegen. Das Verfahren erlaubt eine hohe Abdeckung von Degradations-Ursachen und, falls nötig, eine bestmögliche Unterscheidung, da die finale Degradations- Entscheidung erst zentral unter Einbezug aller Informationen getroffen wird.

Mit anderen Worten kann das Verfahren zur Bestimmung des Sensor- Degradations- Status in eine Signalverarbeitungskette zur Umfeldwahrnehmung, z.B. im Bereich von automatisierten Fahrfunktionen integriert werden. Die Sensor- Systeme zur Umfeldwahrnehmung können dabei einen oder mehrere Sensoren von einer oder mehreren Sensormodalitäten aufweisen. Typischerweise wird die Umfeldwahrnehmung, insbesondere bei Nutzung mehrerer Sensoren, in mehreren Verarbeitungsschritten und auf mehreren Steuergerät (ECU) bestimmt. In jedem dieser Verarbeitungsschritte können potentiell nützliche Indikatoren für die Degradations- Erkennung gewonnen werden. Außerdem können je zwischen zwei Verarbeitungsschritten die Daten in einer geeigneten Form vorliegen, um sie dediziert auf Degradation zu untersuchen. Es muss dabei nicht in jedem Verarbeitungsschritt und auf allen Formen von Daten eine Degradations-Indikation stattfinden. Ein Degradations-Indikator zeichnet sich dadurch aus, dass er Degradations- Informationen kondensiert, d.h. auf Degradations-Szenarien bzw. Degradations- Ursachen reagiert und als nützliche Informationsquelle für die Bestimmung des Sensor- Degradation-Status dient. Die Degradations-Indikatoren können zu einer zentralen Auswerte-Vorrichtung weiter gereicht werden, in der der Sensor- Degradations-Status bestimmt wird.

Mit der Auswerte-Vorrichtung können auch andere, im Folgesystem relevante, Informationen extrahiert und bereitgestellt werden, wie zum Beispiel ein Konfidenz- Maß für die Bestimmung des Sensor-Degradation-Status, Beiträge zum Wetter- Umgebungsmodell, Anforderungen für Freihalte- oder Reinigungsvorgänge für die Sensor-Systeme, etc.

Dabei kann der Sensor- Degradations-Status, je nach Bedarf, unterschiedlich granular aufgebaut sein, z.B. aufgeteilt in einen jeweiligen Raumwinkel und/oder aufgeteilt gemäß eines jeweiligen Reichweiten-Bereichs und/oder aufgeteilt gemäß eines Bildbereiches und/oder aufgeteilt gemäß spezifischer Use-Cases von zumindest teilautomatisierten Fahrzeugen, wie beispielsweise Spurwechsel, Folgefahrt oder Ampelerkennung. Beispielsweise könnte eine Freiflächenerkennung noch funktionieren, während eine Fußgänger-Erkennung nicht mehr möglich ist.

Gemäß einem Aspekt wird vorgeschlagen, dass der Fusions-Blindheits-Indikator mittels eines trainierten neuronalen Netzwerkes oder einer Support- Vektor- Maschine und mit der zumindest einen umfeldbezogenen Bestimmungsgröße, die auf den bereitgestellten Daten des ersten Sensor-Systems basiert und der zumindest einen umfeldbezogenen Bestimmungsgröße, die auf den bereitgestellten Daten des zweiten Sensor-Systems basiert bestimmt wird.

Gemäß einem Aspekt wird vorgeschlagen, dass der Einzel-Blindheits-Indikator für das erste Sensor-System einen Sensor-Blindheits-Indikator und/oder einen Perzeptions- Blindheits- Indikator aufweist, wobei der Sensor-Blindheits-Indikator mittels Sensordaten bestimmt wird, die ausschließlich von dem ersten Sensor-Systems bereitgestellt werden; und der Perzeptions-Blindheits-Indikator, basierend auf einem Verfahren zur Bestimmung der umfeldbezogenen Bestimmungsgrößen, mittels Sensordaten, die ausschließlich von dem ersten Sensor-System bereitgestellt werden, bestimmt wird; und der Sensor- Degradations-Status des ersten Sensor- Systems entsprechend mittels des Sensor-Blindheits-Indikators und/oder des Perzeption- Blindheits-Indikators des ersten Sensors-Systems und des Fusions-Blindheits- Indikators des ersten Sensor-Systems bestimmt wird.

Dabei wertet ein Verfahren zur Bestimmung einer umfeldbezogenen Bestimmungsgröße Daten des ersten Sensor- Systems zur Repräsentation des Umfeldes des ersten Sensor- Systems bezüglich eines Messziels aus.

Beispielsweise wird eine Segmentierung eines Bildes oder ein Stixel oder ein L- Shape eines Lidar-Systems in Bezug auf das Messziel Objektdetektion ausgewertet, um beispielsweise eine Objektklasse Auto zu erkennen, zu vermessen und deren Position zu bestimmen.

Gemäß einem Aspekt wird vorgeschlagen, dass das erste Sensor- System eingerichtet ist, einen sensorspezifischen Degradations-Indikator bereitzustellen; und der Sensor- Degradations-Status des ersten Sensor-Systems zusätzlich mittels des von dem ersten Sensor-System bereitgestellten sensorspezifischen Degradations- Indikator bestimmt wird.

Ein solcher sensorspezifischer Degradations-Indikator kann typischerweise von jedem Sensor-System als Selbst- Diagnose bereitgestellt werden, ohne einen Abgleich mit anderen Sensor-Systemen vorzunehmen. Im Folgenden werden Beispiele für unterschiedliche Selbst-Diagnosen unterschiedlicher Sensor- Modalitäten vorgestellt, die auf unterschiedlichen Strategien basieren, um eine Sensor- Degradation zu bestimmen:

- Für Ultraschall-Sensoren kann beispielsweise eine Blindheitsdetektion mittels Eigenfrequenzmessungen an der Sensormembran zuverlässig Kontaktschmutz erkennen. Mittels einer Kombination mit Informationen, die von anderen Sensor- Systemen bereitgestellt werden, kann dies noch weiter ausgebaut werden.

- Für Radar-Sensoren kann ein Degradations-Indikator aus der Signalverarbeitungsebene des jeweiligen Radar-Sensors selbst abgeleitet werden. Ein solcher Degradation-Indikator kann in folgenden Verarbeitungsschichten zeitlich gefiltert werden, um stochastische Fehler zu unterdrücken.

- Für Video-Sensoren kann ein Degradations-Status mittels eines Bildinhaltes bestimmt werden, wie z.B. durch Klassifikation von Bildinhalten oder durch Bewertung des optischen Flusses. Wenn ein Degradations-Status mittels des Bildinhaltes nicht bestimmt werden kann, kann das hier beschriebene Verfahren eine Bestimmung eines Degradation-Status für einen solchen Sensor verbessern.

Dabei kann mittels des optischen Flusses einen Degradation-Status abgeleitet werden, da gewisse Degradationen eines Video-Sensors gar keinen optischen Fluss bestimmen lassen (einbrechender optischer Fluss) oder dann ein inkonsistenter optischen Fluss bestimmt wird oder beispielsweise ein optischer Fluss einer Länge null bestimmt wird, da der Bildinhalt statisch ist.

- Daten von Lidar-Sensoren können verwendet werden, um atmosphärische Phänomene zu detektieren, zu unterscheiden und zu quantifizieren, um diese Informationen dann mit anderen Sensoren zu kombinieren.

Gemäß einem Aspekt wird vorgeschlagen, dass bei zumindest einem der Degradations-Indikatoren zusätzlich ein Indikator- Konfidenzmaß berechnet wird. Ein solches Indikator- Konfidenzmaß ermöglicht bei der Kombination verschiedener Degradations-Indikatoren eines jeweiligen Sensorsystems und/oder unterschiedlicher Sensorsysteme sich widersprechende Degradations- Indikatoren und/oder sich widersprechende Repräsentationen und/oder umfeldbezogener Bestimmungsgrößen unterschiedlicher Sensorsysteme entsprechend gewichtet in eine Bestimmung des Sensor- Degradations-Status eingehen zu lassen.

Ein solches Indikator- Konfidenzmaß kann beispielsweise Werte aus einem Bereich [0,1] aufweisen, um im Detektionsschritt eine auf das Indikator- Konfidenzmaß bezogene Wichtung unterschiedlicher Blindheits-Indikatoren zu ermöglichen, die darauf basiert, mit welcher Güte bzw. Qualität die Blindheits- Indikatoren bestimmt wurden.

Die jeweiligen Blindheits-Indikatoren und/oder Indikator- Konfidenzmaße können in einem zusätzlichen Schritt des Verfahrens zeitlich, z.B. insbesondere mittels einer exponentiellen Filterung, gefiltert werden, um robust gegen temporäre Ausreißer zu werden.

Gemäß einem Aspekt wird vorgeschlagen, dass das erste Sensor- System und das zweite Sensor-System eine gleiche Sensor- Modalität aufweisen und/oder das erste Sensor-System und das zweite Sensor-System unterschiedliche Sensor- Modalitäten aufweisen.

Das Verwenden von zwei Sensor- Systemen gleicher Modalität lässt Defekte im Sinne von Degradationen eines einzelnen Sensor-Systems leicht erkennen. Sensor-System mit unterschiedlicher Modalität, ermöglichen die Bestimmung des Sensor- Degradations-Status mit einer größeren Zuverlässigkeit, insbesondere wenn mittels eines modellbasierten Verfahrens Kreuzvergleiche zwischen Sensorsystemen unterschiedlicher Modalität durchgeführt werden.

Gemäß einem Aspekt wird vorgeschlagen, dass der Vergleich zur Bestimmung eines Fusions-Blindheits-Indikators für das erste Sensorsystem objektbasiert und/oder modellbasiert ist.

Zur Bestimmung einer Repräsentation eines Umfelds mit zumindest zwei Sensor- Systemen werden typischerweise fusionierte Objekte mit Objektwahrscheinlichkeiten gebildet. Ein objektbasierter Vergleich zur Bestimmung eines Fusions-Blindheits- Indikators basiert auf einem Vergleich von erkannten Objekten von zumindest zwei Sensor-Systemen, die insbesondere unterschiedliche Modalitäten aufweisen können. Dabei kann unter unterschiedlichen Aspekten ein von zumindest zwei unterschiedlichen Sensor-Systemen redundant identifiziertes Objekt entsprechend einer Validierung verglichen werden, um einen Fusions-Blindheits-Indikator zu bestimmen. Mit anderen Worten erfolgt hier ein Abgleich einer Objekterkennung von zumindest zwei unterschiedlichen Sensoren.

- Wenn beispielsweise ein Objekt durch mindestens zwei Sensoren bestätigt wurde und ein dritter Sensor das Objekt nicht erkennt, obwohl es in seinem Sichtbereich liegen sollte, ist das ein Indikator für Sensor- Degradation oder Sensor-Dekalibrierung des dritten Sensors. Über Statistik oder andere Indikatoren lässt sich die Entscheidung absichern.

- Wenn sich mindestens zwei Sensoren in ihrer Erkennung widersprechen, kann das ein Indikator für Probleme mit mindestens einem der Sensoren sein. Statistisch über mehrere Beobachtungen oder Beobachtungszyklen kombiniert, ob z.B. ein bestimmter Sensor immer am Problem beteiligt ist, oder durch Kombination mit anderen Indikatoren, wie z.B. sensorbasierte Degradations-Indikation schlägt für einen der Sensoren an, kann das zu einer Degradationsentscheidung führen.

Bei diesem objektbasierten Vergleich können beteiligte Sensoren, unterschiedliche Sensor- Modalität aufweisen.

Darüber hinaus kann ein solcher objektbasierter Vergleich so durchgeführt werden, dass ein Degradation-Indikator abhängig von Winkelbereichen und/oder Entfernungsbereichen aus Sicht des jeweiligen Sensor- Systems separat bestimmt wird. Beispielsweise kann für einen Lidar-Sensor ein Problem bei einer Bestimmung eines Objektes immer in einem Winkelbereich „unten rechts“ oder ab einer bestimmten Entfernung auftreten, was zu einem Degradation-Indikator führen kann, der jeweils eine lokale Verschmutzung oder eine Reichweitenbeeinträchtigung charakterisiert.

Insbesondere können die Degradations- Indikatoren eine Anzahl von Unter-Indikatoren aufweisen bzw. eine höhere Dimensionen haben, um die jeweilige Degradation eines Sensor-Systems zu beschreiben.

Ein modellbasierter Vergleich zur Bestimmung eines Fusions-Degradations-Indikators vergleicht die Sensordaten und/oder identifizierten Objekte und/oder Eigenschaften der identifizierten Objekte durch Modellwissen über Degradationsphänomene.

- Beispielsweise kann bei einem erkannten Wetterphänomen die Erkenntnis aus einem Sensor-System auf anderes Sensor- System übertragen werden, bzw. es können Erkenntnisse gegenseitig validiert oder deplausibilisiert werden. Dabei kann auch berücksichtigt werden, dass durch aktuelle Fahrtrichtung und/oder Verbaupositionen von Sensor- System diese mehr oder weniger durch, z.B. eine nasse Sensoroberfläche bei Regen, degradiert sein können. Es kann außerdem berücksichtigt werden, dass unterschiedliche Sensormodalitäten prinzipbedingt unterschiedlich in Reichweite, Winkelfehler o.ä. durch das jeweilige Wetterphänomen beeinflusst werden. Beispielsweise kann Nebel mittels eines Lidar- Systems identifiziert werden. Wenn dieses Lidar-System eine Bestimmung mit einer Strahlung nahe der sichtbaren Wellenlängen vornimmt, wie z.B. bei 900nm, kann eine gemessene atmosphärische Extinktion im Wesentlichen 1:1 auf beispielsweise ein Kamera-Systeme propagiert werden.

Beispielsweise kann in einen modellbasierten Vergleich einfließen, dass abhängig von einem Wetterphänomen manche Sensoren durch ihre Verbauposition begünstigt sind das Phänomen zu erkennen und ggf. zu vermessen. Dabei können andere Sensoren dennoch durch das Wetterphänomen degradiert sein. In diesem Fall kann die Erkenntnis aus den bezüglich des Wetterphänomens günstig verbauten Sensoren auf alle beeinflussten Sensoren übertragen werden. So kann beispielsweise Tagnebel gut mittels eines entlang der Straße ausgerichteten Kamera-Systems, über einen Helligkeitsverlauf auf einer Straße erkannt werden und auch die Nebeldichte über ein so ausgerichtetes Kamera-System vermessen werden. Daten von gleichermaßen von dem Nebel beeinträchtigten seitwärts gerichtete Sensoren, können mit der Erkenntnis aus den vorwärts gerichteten Sensoren entsprechend ausgewertet werden, um einen Fusions-Blindheits-Indikator zu bestimmen. Entsprechendes gilt für eine Detektion von Regen, da ein seitwärts gerichtetes Kamera-System Regen beispielsweise schwerer identifizieren kann, als ein vorwärtsgerichtetes Sensor-System, das Regen klar darstellen kann.

Gemäß einem Aspekt wird vorgeschlagen, dass die zumindest eine umfeldbezogene Bestimmungsgröße bei dem objektbasierten Vergleich ein Objekt des Umfeldes des ersten und des zweiten Sensor- Systems ist.

Gemäß einem Aspekt wird vorgeschlagen, dass der modellbasierte Vergleich der zumindest einen umfeldbezogenen Bestimmungsgröße, basierend auf Daten des ersten Sensorsystems, mit der zumindest einen umfeldbezogenen Bestimmungsgröße, basierend auf Daten des zweiten Sensor- Systems, in Bezug auf Modellbetrachtungen über Degradationsvorgänge des ersten Sensor- Systems und des zweiten Sensor- Systems durchgeführt wird.

Gemäß einem Aspekt wird vorgeschlagen, dass die umfeldbezogene Bestimmungsgröße, die mit einem ersten Sensor-System erster Modalität und einem zweite Sensor-System zweiter Modalität bestimmt wird, in Bezug auf eine unterschiedliche Wirkung eines auf die beide Sensor-Systeme einwirkenden Degradationsvorgangs verglichen werden

Gemäß einem Aspekt wird vorgeschlagen, dass sich die erste Modalität von der zweiten Modalität unterscheidet.

Gemäß einem Aspekt wird vorgeschlagen, dass der sensorspezifischen Degradations- Indikator durch eine Auswerteeinrichtung des ersten Sensor- Systems bestimmt wird; und/oder der Perzeptions-Blindheits-Indikator von einem Perzeptions-Modul einer Auswerte-Vorrichtung bestimmt wird; und/oder der Fusions-Blindheits-Indikator von einem Fusions-Modul der Auswerte-Vorrichtung bestimmt wird; und/oder der Degradationswert des ersten Sensor- Systems durch ein Detektions-Modul der Auswerte-Vorrichtung bestimmt wird.

Dabei können die unterschiedlichen Module eingerichtet sein, die jeweilige Blindheits-Indikatoren mit einer solchen Taktrate zu bestimmen, so dass zu jedem bereitgestellten Daten-Chunk ein Sensor- Degradations-Status bestimmt werden kann, um architekturbedingte Verzögerungen zu vermeiden.

Es wird ein Verfahren vorgeschlagen, bei dem, basierend auf einem Sensor- Degradations-Status eines ersten Sensor- Systems, der gemäß einem der oben beschriebenen Verfahren bestimmt wird, ein Steuersignal zur Ansteuerung eines zumindest teilautomatisierten Fahrzeugs bereitgestellt wird; und/oder basierend auf dem Sensor- Degradations-Status eines ersten Sensor-Systems ein Warnsignal zur Warnung eines Fahrzeuginsassen bereitgestellt wird.

Der Begriff „basierend auf“ ist in Bezug auf das Merkmal, dass ein Steuersignal basierend auf einem Sensor- Degradations-Status eines ersten Sensor-Systems bereitgestellt wird, breit zu verstehen. Er ist so zu verstehen, dass der Sensor- Degradations-Status des ersten Sensor-Systems, für jedwede Bestimmung oder Berechnung eines Steuersignals herangezogen wird, wobei das nicht ausschließt, dass auch noch andere Eingangsgrößen für diese Bestimmung des Steuersignals herangezogen werden. Dies gilt entsprechend für die Bereitstellung eines Warnsignals.

Mit einem solchen Steuersignal kann, abhängig von einem Grad des vorliegenden Degradations-Status eines Sensor- Systems unterschiedlich auf die Sensor- Degradation reagiert werden. So kann mit dem Steuersignal, beispielsweise bei Vorhandensein von Freihalte- oder Waschfunktionen, z.B. mit Spritzdüsen und/oder Scheibenwischern für eine Sensoroberfläche, eine Reinigung mit unterschiedlicher Intensität aktiviert werden, um die System- Verfügbarkeit aufrechtzuerhalten. Hochautomatisierte Systeme leiten darüber hinaus eventuell mit dem Steuersignal einen Übergang in einen sicheren Zustand ein. Beispielsweise kann dies bei einem zumindest teilautomatisierten Fahrzeug zu einem langsamen Anhalten auf einem Seitenstreifen führen.

Es wird eine Auswerte-Vorrichtung vorgeschlagen, die eingerichtet ist, eines der oben beschriebenen Verfahren zur Bestimmung eines Sensor- Degradations-Status durchzuführen.

Gemäß einem Aspekt wird ein Computerprogramm angegeben, das Befehle umfasst, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der oben beschriebenen Verfahren auszuführen. Ein solches Computerprogramm ermöglicht den Einsatz des beschriebenen Verfahrens in unterschiedlichen Systemen.

Es wird ein maschinenlesbares Speichermedium angegeben, auf dem das oben beschriebene Computerprogramm gespeichert ist. Mittels eines solchen maschinenlesbaren Speichermediums ist das oben beschriebene Computerprogramm transportabel.

Ausführungsbeispiele

Ausführungsbeispiele der Erfindung werden mit Bezug auf die Figur 1 dargestellt und im Folgenden näher erläutert. Es zeigt:

Figur 1 eine Auswerte-Vorrichtung mit einer Vielzahl von Sensoren.

Die Figur 1 skizziert schematisch eine Auswerte-Vorrichtung mit einer Vielzahl von Sensoren 110 bis 150, die neben ihrem Sensorsignal 110a bis 150a jeweils einen entsprechenden Einzel-Blindheit-Indikator 110b bis 150b bereitstellen.

Dabei skizziert der Sensor 110 ein Video-System, der Sensor 120 ein Radar- System, der Sensor 130 ein Lidar- System, der Sensor 140 ein Ultraschall- System und der Sensor 150 ein Schallwandel-System.

Die Sensoren 110 bis 150 sind eingerichtet, jeweils einen sensorspezifischen Degradations-Indikator 110b bis 150b mittels Sensordaten zu bestimmen, die jeweils ausschließlich von dem jeweiligen Sensor-System bereitgestellt werden.

Die Sensorsignale 110a bis 150a zur Repräsentation des Umfelds werden zusammen mit den Einzel-Blindheits-Indikatoren 110b bis 150b einem Perzeptions-Modul 210 bereitgestellt, um einen Perzeption-Blindheits-Indikator zu bestimmen.

Die jeweiligen Sensoren 110-150 sind mit einer jeweiligen Auswerteeinrichtung eingerichtet, sowohl vorhandenen sensorinternen Informationen als auch rohe Sensor-Daten des jeweiligen Sensors zu verwenden, um Degradations- Indikatoren zu berechnen. Dies kann bei einem Radar-System eine Berechnung einer Signalqualität sein oder bei einem Ultraschall-System eine Messung der Membran- Eigenfrequenz sein. Als Degradations-Indikator können aber auch schon bereits vorhandene Signale dienen, wie beispielsweise bei Video- Sensoren ein optischer Fluss.

Das Perzeptions-Modul 210 bestimmt mittels der bereitgestellten Sensorsignale 110a bis 150a eine umfeldbezogene Bestimmungsgröße zur Repräsentation eines Umfeldes. Zusätzlich bestimmt das Perzeptions-Modul 210 für die Sensor- Systeme 110 bis 150 zumindest einen Perzeptions-Blindheits-Indikator für das jeweilige Sensor- System, basierend auf dem jeweiligen Verfahren zur Bestimmung der umfeldbezogenen Bestimmungsgrößen, mittels der jeweiligen Sensordaten, die ausschließlich von dem jeweiligen Sensor- System bereitgestellt werden.

In der Figur 1 ist der Perzeptions-Blindheits-Indikator 210a für ein erstes Sensor- System und der Perzeptions-Blindheits-Indikator 210b für ein zweites Sensor- System der Sensor- Systeme 110 bis 150 dargestellt.

Das Perzeptions-Modul 210 bestimmt mit den bereitgestellten Daten und Informationen die jeweiligen Degradations-Indikatoren für das jeweilige Sensor- System 110-150. Dabei können die umfeldbezogenen Bestimmungsgrößen, auf deren Bestimmung die Bestimmung der Perzeptions-Blindheits-Indikatoren basieren, höher abstrahiert sein, als die reinen Sensor-Daten der Sensorsysteme 110 bis 150. Beispielsweise können die umfeldbezogenen Bestimmungsgrößen Objekte, Features, Stixel, Ausmaße von jeweiligen bestimmten Objekten, Typen von Objekten, dreidimensionale „bounding boxen“, Klassen von Objekten, L- Shapes und/oder Kanten und/oder Reflexionspunkte von beispielsweise Lidar- Systemen und viele weitere aufweisen. Darüber hinaus können durch das Perzeptions-Modul Objekte getrackt, also ihr Ort zeitlich verfolgt werden. Für ein Radar-System kann beispielsweise eine Anzahl getrackter Objekte für die Bestimmung eines Perzeptions-Blindheits-Indikators verwendet werden. Für ein Video-System kann beispielsweise ein Ausgangswert einer Klassifikation, die mittels eines neuronalen Netzes bestimmt wird, für die Bestimmung eines Perzeptions-Blindheits-Indikators verwendet werden.

Die jeweiligen Sensorsignale 110a bis 150a der jeweiligen Sensor-Systeme 110- 150 zur Repräsentation des Umfeldes und die Einzel-Blindheits-Indikatoren 110b bis 150b der jeweiligen Sensor- Systeme sowie die Perzeptions-Blindheits- Indikatoren der jeweiligen Sensor-Systeme 110 bis 150 werden dem Fusions- Modul 310 bereitgestellt, um einen Fusions-Blindheits-Indikator für das jeweilige Sensor-System 110 bis 150 zu bestimmen.

Dabei wird der jeweilige Fusions-Blindheits-Indikator 330 für das jeweilige Sensor-System mittels eines Vergleichs der zumindest einen umfeldbezogenen Bestimmungsgröße 320a, die auf den bereitgestellten Daten eines ersten Sensor-Systems der Sensor- Systeme 110 bis 150 basiert, mit zumindest einer umfeldbezogenen Bestimmungsgröße 320b, die auf den bereitgestellten Daten eines zweiten Sensor-Systems der Sensor-Systeme 110 bis 150 basiert, bestimmt. Die umfeldbezogenen Bestimmungsgrößen, werden im Fusions-Modul 310 stark abstrahiert, so dass beispielsweise aus den Objekten oder Stixeln fusionierte Objekte mit Objektwahrscheinlichkeiten gebildet werden. Darüber hinaus können Karten des Umfeldes generiert und/oder aktualisiert und/oder gegen Karteninformationen aus einer Datenbank abgeglichen werden. Des Weiteren sind abstrahierte Informationen von allen Sensor-Systemen vorhanden.

Die Einzel-Blindheits-Indikatoren 110b bis 150b der jeweiligen Sensor-Systeme sowie die Perzeptions-Blindheits-Indikatoren der jeweiligen Sensor- Systeme 110 bis 150 sowie die Fusions-Blindheits-Indikatoren der jeweiligen Sensor-Systeme 110 bis 150 werden einer Auswerte- Vorrichtung 410 bereitgestellt, die mit diesen bereitgestellten Werten einen Degradationswert des jeweiligen Sensor-Systems 110 bis 150 bestimmt.