Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR CONTROLLING A CLEANING PROCESS FOR AN OPTICAL PATH OF A CAMERA SYSTEM OF A MOBILE PLATFORM
Document Type and Number:
WIPO Patent Application WO/2023/001539
Kind Code:
A1
Abstract:
The invention relates to a method for controlling a cleaning process for an optical path of a camera system of a mobile platform, comprising the steps of: providing a current status of cleaning resources; providing a current blindness status of the optical path of the camera system; determining a future driving scenario of the mobile platform; determining a cleaning scenario on the basis of the current status of the cleaning resources and/or on the current blindness status of the optical path of the camera system and/or on the future driving scenario of the mobile platform in order to enable the cleaning process.

Inventors:
THULKE MIRKO (DE)
KLEIN MARKUS (DE)
OSTERTAG MICHAEL (DE)
LI YAO (DE)
KROLL SHISHIRA (DE)
KERN ANDREAS (DE)
HEPPNER NIKLAS (DE)
PFADT JUERGEN (DE)
Application Number:
PCT/EP2022/068536
Publication Date:
January 26, 2023
Filing Date:
July 05, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BOSCH GMBH ROBERT (DE)
International Classes:
B60S1/56; B60S1/08
Foreign References:
US10427645B22019-10-01
US20190118776A12019-04-25
US11001231B12021-05-11
US20110266375A12011-11-03
Download PDF:
Claims:
Ansprüche

1. Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform, mit:

Bereitstellen eines aktuellen Status (Sl) von Reinigungsressourcen; Bereitstellen eines aktuellen Blindheitsstatus (S2) des optischen Wegs des Kamerasystems;

Bestimmen eines zukünftigen Fahrszenarios (S3) der mobilen Plattform; Bestimmen eines Reinigungsszenarios (S4), basierend auf dem aktuellen Status der Reinigungsressourcen; und/oder dem aktuellen Blindheitsstatus des optischen Wegs des Kamerasystems; und/oder dem zukünftigen Fahrszenario der mobilen Plattform, um den Reinigungsvorgang freizugeben.

2. Verfahren gemäß Anspruch 1, wobei eine Reinigungsanforderung zumindest eines Anwendungsverfahrens für die mobile Plattform, das ein Bild des Kamerasystems verwendet, bereitgestellt wird; und der Reinigungsvorgang ausgelöst wird, sofern das Reinigungsszenario aktuell den Reinigungsvorgang freigegeben hat; und die Reinigungsanforderung von zumindest einem Anwendungsverfahren aktiv ist.

3. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei abhängig von dem bestimmten zukünftigen Fahrszenario ein Reinigungsvorgang ausgelöst wird, sofern das Reinigungsszenario den Reinigungsvorgang freigegeben hat.

4. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das zukünftige Fahrszenario der mobilen Plattform mittels eines trainierten maschinellen Lern-Systems bestimmt wird, und dem trainierte maschinellen Lern-System Eingangsgrößen für die Bestimmung des zukünftigen Fahrszenarios der mobilen Plattform bereitgestellt werden.

5. Verfahren gemäß Anspruch 4, wobei die Eingangsgrößen für das trainierte maschinelle Lern-System einen Getriebemodus und/oder einen Off-Road Modus und/oder Satellitennavigationsdaten und/oder Navigationsdaten und/oder einen Typ eines Fahrzyklus und/oder detektierte Verkehrsschilder und/oder Objekte einer Umgebung der mobilen Plattform und/oder Fahrzeuge der Umgebung der mobilen Plattform und/oder erkannte Untergründe der mobilen Plattform und/oder eine Repräsentation der Umgebung der mobilen Plattform umfassen.

6. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das zukünftige Fahrszenario mittels eines aktuellen Fahrszenarios bestimmt wird und/oder das zukünftige Fahrszenario basierend auf einer Eintrittswahrscheinlichkeit aus einer Vielzahl von möglichen zukünftigen Fahrszenarios bestimmt wird.

7. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das zukünftige Fahrszenario einen Geschwindigkeitsbereich und/oder einen automatischen Parkvorgang und/oder einen Fahrzeugtürenzustand und/oder eine Tageszeit und/oder einen Fahrbahnwechsel und/oder eine Fahrtrichtung und/oder ein Off-Road Modus und/oder einen Typ eines Fahrzyklus und/oder erkannte Untergründe der mobilen Plattform umfasst.

8. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei die unterschiedlichen Anwendungsverfahren einen automatischen Parkvorgang und/oder eine bildbasierte Anwendung und/oder eine automatische Notbrems-Funktion und/oder ein Kalibrierten des Kamerasystems und/oder eine manuelle Anforderung umfasst.

9. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei abhängig von dem bestimmten Reinigungsszenario und/oder dem bereitgestellten Blindheitsstatus und/oder den Reinigungsressourcen zumindest ein Anwendungsverfahren deaktiviert wird.

10. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das Kamerasystem der mobilen Plattform ein rückwärts gerichtetes Kamerasystem zur Rückwärtsfahrt und/oder ein vorwärts gerichtetes Kamerasystem zur Vorwärtsfahrt und/oder ein Seitenkamera-System umfasst; und/oder das Reinigungszenario abhängig von dem verwendeten Kamerasystem ist.

11. Verfahren gemäß einem der vorhergehenden Ansprüche, wobei das Reinigungssystem ausgelöst wird, wenn das anfordernde Anwendungsverfahren nicht aktiv ist und/oder in einem nicht aktiven Zustand geschaltet wird.

12. Verwendung des Verfahrens gemäß einem der Ansprüche 1 bis 11 zum Regeln eines Reinigungsvorgangs.

13. Vorrichtung zur Datenverarbeitung, um einen Reinigungsvorgang für einen optischen Weg eines Kamerasystems zu regeln, mit einem Eingang zur Bereitstellung eines aktuellen Status von Reinigungsressourcen; und/oder zur Bereitstellung eines aktuellen Blindheitsstatus des optischen Wegs des Kamerasystems; und/ oder zur Bereitstellung von zumindest einer Reinigungsanforderung zumindest eines Anwendungsverfahrens, die zumindest ein Bild des Kamerasystems verwenden; und einer Recheneinheit und/oder einem System-on-Chip; und einem Ausgang zum Auslösen eines Reinigungsvorgangs; wobei die Recheneinheit und/oder das System-on-Chip eingerichtet ist, ein Verfahren gemäß einem der Ansprüche 1 bis 12 durchzuführen.

14. Steuergerät zur Verwendung in einem Fahrzeug, das eine Vorrichtung zur Datenverarbeitung gemäß Anspruch 13 aufweist.

15. Mobile Plattform, insbesondere ein zumindest teilautomatisiertes Fahrzeug, das ein Steuergerät gemäß Anspruch 14 aufweist.

Description:
Beschreibung

Titel

Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform

Stand der Technik

Die Automatisierung des Fahrens geht einher mit der Ausstattung von Fahrzeugen mit immer umfangreicheren und leistungsfähigeren Sensorsystemen zur Umfelderfassung. Bei der Interpretation der Sensordaten werden für Klassifikations- und Detektionsaufgaben Methoden des maschinellen Lernens (engl. Machine Learning) eingesetzt.

Ein optisches Kamerasystem kann durch unterschiedlichste Störungen des Aufnahmepfades degradiert sein, so z.B. durch eine Verschmutzung der Kameralinse oder einer vorgelagerten Windschutzscheibe, oder einer Beschädigung der Kamera oder durch andere Umwelteinflüsse wie Regen,

Nebel, Schnee oder Gischt.

Für eine Erfassung von Umweltrepräsentationen zum zumindest teilautomatisierten Fahren mittels solcher optischer Sensoren sind ausreichend klare Bilder der optischen Sensoren besonders wichtig. Daher werden solche Kamerasysteme bzw. Video-Sensoren mit Reinigungsvorrichtungen versehen.

Offenbarung der Erfindung

Bei automatischen Reinigungsanforderungen sollte berücksichtigt werden, dass ein Reinigungsvorgang nicht zu häufig erfolgt, um zu vermeiden, dass Reinigungsressourcen unnötig verbraucht werden, so dass gegebenenfalls eine Reinigungsfunktionalität, aufgrund verbrauchte Ressourcen, nicht mehr realisiert werden kann, was Funktionalitäten von Anwendungsverfahren, die einen ungestörten optischen Weg des Kamerasystems erfordern, eingeschränkt werden und/oder nicht mehr zur Verfügung stehen. Dazu wird eine Regelung des Reinigungsvorgangs benötigt, die den Reinigungsvorgang, angepasst an Fahrszenarien, abhängig von Umwelt- und/oder Fahrzeugbedingungen, um den Verbrauch von Reinigungsressourcen zu optimieren.

Dazu kann die Regelung auf einem manuellen und/oder automatischen REAR- und/oder FRONT und/oder Seiten-Kamera-Reinigungsvorgang und/oder, d. h. auf einer Benutzereingabe und/oder einer algorithmischen Blindheitserkennung und/oder eine Reinigungs-Anforderung eines Anwendungsverfahrens des Kamerasystems basieren. Die Regelung kann ein Softwaresignal ausgeben, um beispielsweise eine Reinigungspumpe als Reinigungsvorgang zu aktivieren, die Reinigungsflüssigkeit auf den optischen Weg des Kamerasystems sprüht, um diesen zu reinigen.

Gemäß Aspekten der Erfindung wird ein Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform, eine Verwendung des Verfahrens, eine Vorrichtung zur Datenverarbeitung, ein Steuergerät und eine mobile Plattform, gemäß den Merkmalen der unabhängigen Ansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der abhängigen Ansprüche sowie der nachfolgenden Beschreibung.

In dieser gesamten Beschreibung der Erfindung ist die Abfolge von Verfahrensschritten so dargestellt, dass das Verfahren leicht nachvollziehbar ist.

Der Fachmann wird aber erkennen, dass viele der Verfahrensschritte auch in einer anderen Reihenfolge durchlaufen werden können und zu dem gleichen oder einem entsprechenden Ergebnis führen. In diesem Sinne kann die Reihenfolge der Verfahrensschritte entsprechend geändert werden. Einige Merkmale sind mit Zählwörtern versehen, um die Lesbarkeit zu verbessern oder die Zuordnung eindeutiger zu machen, dies impliziert aber nicht ein Vorhandensein bestimmter Merkmale.

Gemäß einem Aspekt der Erfindung wird ein Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform vorgeschlagen, wobei in einem Schritt ein aktueller Status von Reinigungsressourcen bereitgestellt wird. In einem weiteren Schritt wird ein aktueller Blindheitsstatus des optischen Wegs des Kamerasystems bereitgestellt.

In einem weiteren Schritt wird ein zukünftiges Fahrszenario der mobilen Plattform bestimmt. In einem weiteren Schritt wird ein Reinigungsszenario, basierend auf dem aktuellen Status der Reinigungsressourcen und/oder dem aktuellen Blindheitsstatus des optischen Wegs des Kamerasystems und/oder dem zukünftigen Fahrszenario der mobilen Plattform bestimmt, um den Reinigungsvorgang freizugeben.

Mit anderen Worten kann mit diesem Verfahren eine notwendige Reinigung identifiziert werden, bevor von einem Anwendungsverfahren, das ein Bild des Kamerasystems verwendet, ein Reinigungsvorgang angefordert wird. D. h. ein Reinigungsvorgang des optischen Weges kann schon durchgeführt werden, wenn gewisse Anwendungsverfahren, die ein Bild des Kamerasystems verwenden, noch nicht operativ geschaltet sind, so dass der Reinigungsvorgang die Funktion nicht beeinträchtigt.

Darüber hinaus kann ein Reinigungsvorgang während eines bestimmten Fahrzustandes freigegeben und/oder ausgelöst werden, um eine Reinigungswirkung zu optimieren. Beispielsweise kann der Reinigungsvorgang bei einer Geschwindigkeit ausgelöst werden, bei dem eine dabei verwendete Reinigungsflüssigkeit durch den Fahrtwind, insbesondere in einem Geschwindigkeitsbereich von 40 km/h bis 60 km/h, nach der Reinigung aus dem optischen Weg des Kamerasystems entfernt wird.

Das Fahrszenario kann beispielsweise dadurch erkannt werden, dass ein Fahrzyklus gewechselt wird oder bestimmte Fahrzyklen durchlaufen werden, aus denen ein zukünftiges Fahrszenario abgeleitet werden kann. Weiterhin beispielsweise, kann ein bestimmtes Fahrszenario dadurch erkannt werden, dass aus einer länger anhaltenden hohen Geschwindigkeit auf einen bestimmten niedrigen Geschwindigkeitsbereich abgebremst wird. Dies kann beispielsweise, ohne weitere Informationen, als ein Verlassen einer Autobahn interpretiert werden.

Das zukünftige Fahrszenario kann aus einer Vielzahl von möglichen Fahrszenarien mittels einer Bestimmung einer Wahrscheinlichkeit für das Eintreten eines der Vielzahl der möglichen Fahrszenarien bestimmt werden und somit als ein wahrscheinliches zukünftiges Fahrszenario bestimmt werden.

Dabei kann das Kamerasystem sowohl in Fahrtrichtung als auch gegen die Fahrtrichtung als auch seitlich zur Fahrtrichtung eingerichtet sein. D. h. das Kamerasystem kann ein Front- Kamerasystem und/oder ein Heck- Kamerasystem und/oder ein Seiten -Kamerasystem sein.

Ein Kamerasystem kann ein optisches System zur Generierung von Bildern der Umgebung der mobilen Plattform, wie beispielsweise ein optisches Videosystem, sein. In diesem Zusammenhang kann das Regeln des Reinigungsvorgangs im Sinne von einem Steuern des Reinigungsvorgangs und/oder einem Regeln im engeren Sinn verstanden werden.

Unter einer mobilen Plattform kann ein zumindest teilweise automatisiertes System verstanden werden, welches mobil ist, und/oder ein Fahrerassistenzsystem eines Fahrzeugs. Ein Beispiel kann ein zumindest teilweise automatisiertes Fahrzeug bzw. ein Fahrzeug mit einem Fahrerassistenzsystem sein. Das heißt, in diesem Zusammenhang beinhaltet ein zumindest teilweise automatisiertes System eine mobile Plattform in Bezug auf eine zumindest teilweise automatisierte Funktionalität, aber eine mobile Plattform beinhaltet auch Fahrzeuge und andere mobile Maschinen einschließlich Fahrerassistensystemen. Weitere Beispiele für mobile Plattformen können Fahrerassistenzsysteme mit mehreren Sensoren, mobile Multisensor-Roboter wie z.B. Roboterstaubsauger oder Rasenmäher, ein Multisensor- Überwachungssystem, eine Fertigungsmaschine, ein persönlicher Assistent oder ein Zugangskontrollsystem sein. Jedes dieser Systeme kann ein vollständig oder teilweise automatisiertes System sein.

Durch die Verwendung des Reinigungsszenarios können die Reinigungsressourcen optimiert eingesetzt und an die Umgebungs- und Fahrbedingungen angepasst werden. Das Reinigungsszenario kann auch ein manuelles Triggern eines Reinigungsvorgangs des Fahrers der mobilen Plattform unmöglich machen, um beispielsweise ein aktuelles Anwendungsverfahren in seiner Funktion nicht zu stören.

Gemäß einem Aspekt wird vorgeschlagen, dass eine Reinigungsanforderung zumindest eines Anwendungsverfahrens für die mobile Plattform, das ein Bild des Kamerasystems verwendet, bereitgestellt wird und der Reinigungsvorgang ausgelöst wird, sofern das Reinigungsszenario aktuell den Reinigungsvorgang freigegeben hat, und die Reinigungsanforderung von zumindest einem Anwendungsverfahren aktiv ist und/oder von einem Fahrer eine Reinigungsanforderung getriggert wurde.

Dabei kann die Anforderung für einen Reinigungsvorgang von einem oder mehreren einer Vielzahl von Anwendungsverfahren stammen und entsprechend dem Verfahren zum Regeln des Reinigungsvorgangs freigegeben oder nicht freigegeben werden. Alternativ kann mit diesem Verfahren ein notwendiger Reinigungsvorgang durchgeführt werden, bevor der Reinigungsvorgang anfordert wird oder nach Anforderung eines Reinigungsvorgangs, um den Reinigungsvorgang zu optimieren und/oder um das Anwendungsverfahren in seiner Funktion nicht zu beeinträchtigen. Beispielsweise kann ein interner Parklückensuche-Algorithmus einen Reinigungsvorgang unabhängig von einer Fahreranforderung anfordern oder den Reinigungsvorgang unterbinden, um eine Funktionalität bereitzuhalten. Wenn das zukünftige Fahrszenario also eine Parkplatzsuche bestimmt, kann in einem höheren Geschwindigkeitsbereich der optische Weg des Kamerasystems gereinigt werden, da der Parklückensuche-Algorithmus nur bis 40 km/h aktiv ist.

Daher stört eine Reinigung in einem Geschwindigkeitsbereich über 40 km/h die Anwendung des Parklückensuche-Algorithmus nicht.

Mögliche Reinigungsanforderungen anderer Anwendungsverfahren, die in einem zukünftigen Fahrszenario aktiv geschaltet werden, können mit entsprechenden Reinigungszenarien vor der Reinigungsanforderung des jeweiligen Anwendungsverfahrens vermieden werden, um das jeweilige Anwendungsverfahren bereitstellen zu können.

Gemäß einem Aspekt wird vorgeschlagen, dass, abhängig von dem bestimmten zukünftigen Fahrszenario, ein Reinigungsvorgang ausgelöst wird, sofern das Reinigungszenario den Reinigungsvorgang freigegeben hat.

Beispielsweise kann, wenn die mobile Plattform, wie beispielsweise ein Fahrzeug, eine Autobahn unter Regenbedingungen verlässt, eine Reinigung ausgelöst werden. Weiterhin beispielsweise, kann während einer Off-Road Strecke eine Häufigkeit des Reinigungsvorgangs mit höherer Frequenz durch das Reinigungszenario freigegeben werden.

Dabei kann das zukünftige Fahrszenario mittels eines aktuellen Fahrszenarios beispielsweise durch Extrapolation aus dem aktuellen Fahrszenario bestimmt werden. Zusätzlich oder alternativ kann das zukünftige Fahrszenario basierend auf einer Eintrittswahrscheinlichkeit aus einer Vielzahl von möglichen zukünftigen Fahrszenarios bestimmt werden.

Beispielsweise kann zur Bestimmung eines zukünftigen Fahrszenarios ein aktueller Fahrzyklus und/oder Informationen über die Umgebung der mobilen Plattform und/oder Fahrzeugzustandsinformationen berücksichtigt werden.

Gemäß einem Aspekt wird vorgeschlagen, dass das zukünftige Fahrszenario der mobilen Plattform mittels eines trainierten maschinellen Lern-Systems bestimmt wird, und dem trainierten maschinellen Lern-System Eingangsgrößen für die Bestimmung des zukünftigen Fahrszenarios der mobilen Plattform bereitgestellt werden.

Mit anderen Worten können adaptive Lernalgorithmen zum Auslösen des Reinigungsvorgangs, mittels trainierter maschineller Lern-Systeme, verwendet werden. Ein solches trainiertes maschinelles Lern-System kann beispielsweise ein neuronales Netzwerk sein das trainiert wurde zukünftige Fahrszenarien mittels der Eingangsgrößen zu bestimmen. Dabei können sich die Eingangsgrößen auf einen Fahrzyklus und/oder auf eine Umgebung der mobilen Plattform und/oder einen Fahrzeugzustand beziehen.

Vorteilhafterweise kann durch die Bestimmung des zukünftigen Fahrszenarios mit einem trainierten maschinellen Lern-System eine Vorhersage für einen notwendigen Reinigungsvorgang, abhängig von dem zukünftigen Fahrszenario, generiert werden, so dass der Reinigungsvorgang proaktiv erfolgen kann, um den Reinigungsvorgang zu optimieren und/oder dem Anwendungsprogramm, das ein Bild des Kamerasystems verwendet, eine optimierte Funktion zu ermöglichen.

Dabei sind Beispiele für maschinelle Lern-Systeme ein neuronales Netzwerk, insbesondere ein neuronales Faltungsnetzwerk, ggf. in Kombination mit vollständig verbundenen neuronalen Netzen, ggf. unter Nutzung von klassischen Regularisierungs- und Stabilisierungsschichten wie Batch-Normalisierung und Trainings-Drop-Outs, unter Nutzung verschiedener Aktivierungsfunktionen wie Sigmoid und ReLu, etc. Klassische Ansätze wie Support-Vector-Machines,

Boosting, Entscheidungsbäume, sowie Random- Forrests können alternativ oder zusätzlich als maschinelle Lern-Systeme für das beschriebene Verfahren verwendet werden.

Bei neuronalen Netzwerken kann das Signal an einer Verbindung künstlicher Neuronen eine reelle Zahl sein, und der Ausgang eines künstlichen Neurons wird durch eine nichtlineare Funktion der Summe seiner Eingänge berechnet. Die Verbindungen der künstlichen Neurone haben typischerweise ein Gewicht, das sich mit fortschreitendem Lernen anpasst. Das Gewicht erhöht oder verringert die Stärke des Signals an einer Verbindung. Künstliche Neuronen können eine Schwelle aufweisen, so dass nur dann ein Signal ausgegeben wird, wenn das Gesamtsignal diese Schwelle überschreitet.

Typischerweise wird eine Vielzahl von künstlichen Neuronen in Schichten zusammengefasst. Unterschiedliche Schichten führen möglicherweise unterschiedliche Arten von Transformationen für ihre Eingaben durch. Signale wandern von der ersten Schicht, der Eingabeschicht, zur letzten Schicht, der Ausgabeschicht; möglicherweise nach mehrmaligem Durchlaufen der Schichten. Solche neuronalen Netze müssen für ihre spezifische Aufgabe trainiert werden.

Dabei erhält jedes Neuron der entsprechenden Architektur des neuronalen Netzes z. B. ein zufälliges Anfangs-Gewicht. Dann werden die Eingangs-Daten in das Netz gegeben, und jedes Neuron kann die Eingangs-Signale mit seinem Gewicht gewichten und gibt das Ergebnis weiter an die Neuronen der nächsten Schicht. An der Output-Schicht wird dann das Gesamt-Ergebnis bereitgestellt.

Die Größe des Fehlers kann berechnet werden, sowie der Anteil, den jedes Neuron an diesem Fehler hatte, um dann das Gewicht jedes Neurons in die Richtung zu verändern, die den Fehler minimiert. Dann erfolgen rekursiv Durchläufe, erneute Messungen des Fehlers und Anpassung der Gewichte, bis ein Fehlerkriterium erfüllt ist.

Ein solches Fehlerkriterium kann z.B. der Klassifikationsfehler auf einem Test- Daten-Set sein, oder auch ein aktueller Wert einer Loss-Funktion, beispielsweise auf einem Trainings-Daten-Set. Alternativ oder zusätzlich kann das Fehlerkriterium ein Abbruchkriterium betreffen als einen Schritt bei dem im Training ein Overfitting einsetzen würde oder die verfügbare Zeit zum Training abgelaufen ist.

In diesem Verfahren kann das neuronale Netzwerk mit einer Vielzahl von Referenz-Fahrszenarien als Eingangsdaten trainiert werden, zukünftige Fahrszenarien vorherzusagen, indem beispielsweise mittels Referenzfahrten der mobilen Plattform Referenz-Fahrszenarien mit unterschiedlichen zeitlichen Abständen generiert und gespeichert werden, mit denen das neuronale Netzwerk trainiert werden kann, Fahrszenarien in unterschiedlichen zeitlichen Abständen ausgehend von einem aktuellen Fahrszenario vorherzusagen. Dabei können bei den Referenz-Fahrszenarien eine Vielzahl von jeweils entsprechenden Eingangsgrößen für das neuronale Netzwerk detektiert und gespeichert werden, um mit diesen Eingangsgrößen das neuronale Netzwerk zu Trainieren entsprechende Fahrszenarien zu erkennen und vorherzusagen.

Dabei können die Referenz-Fahrszenarien Fahrerszenarien sein, die insbesondere speziell für das Trainieren eines maschinellen Lern-Systems aufgenommen und beispielsweise manuell selektiert und annotiert wurden oder synthetisch generiert wurden und entsprechend gelabelt sind. Beispielsweise kann ein solches Labein der Fahrszenarien manuell erfolgen.

Gemäß einem Aspekt wird vorgeschlagen, dass die Eingangsgrößen für das trainierte maschinelle Lern-System einen Getriebemodus und/oder einen Off-Road Modus und/oder Satellitennavigationsdaten und/oder Navigationsdaten und/oder einen Typ eines Fahrzyklus und/oder detektierte Verkehrsschilder und/oder Objekte einer Umgebung der mobilen Plattform und/oder Fahrzeuge der Umgebung der mobilen Plattform und/oder erkannte Untergründe der mobilen Plattform und/oder eine Repräsentation der Umgebung der mobilen Plattform umfassen.

Vorteilhafterweise kann durch diese Eingangsgrößen das maschinelle Lern-System wie beispielsweise das neuronale Netzwerk zukünftige Fahrszenarien bestimmen bzw. Vorhersagen, indem möglichst viele relevante Eingangsgrößen für die Bestimmung des zukünftigen Fahrszenario berücksichtigt werden.

Gemäß einem Aspekt wird vorgeschlagen, dass das zukünftige Fahrszenario mittels eines aktuellen Fahrszenarios bestimmt wird und/oder das zukünftige Fahrszenario basierend auf einer Eintrittswahrscheinlichkeit aus einer Vielzahl von möglichen zukünftigen Fahrszenarios bestimmt wird.

Vorteilhafterweise kann das zukünftige Fahrszenario mittels einer Extrapolation das zukünftige Fahrszenario bestimmen. Alternativ oder zusätzlich kann mittels einer Bestimmung einer Eintrittswahrscheinlichkeit für ein bestimmtes Fahrszenario aus einer Vielzahl von Szenarien das zukünftige Fahrszenario bestimmt werden.

Gemäß einem Aspekt wird vorgeschlagen, dass das zukünftige Fahrszenario einen Geschwindigkeitsbereich und/oder einen automatischen Parkvorgang und/oder einen Fahrzeugtürenzustand und/oder eine Tageszeit und/oder einen Fahrbahnwechsel und/oder eine Fahrtrichtung und/oder ein Off-Road Modus und/oder einen Typ eines Fahrzyklus und/oder erkannte Untergründe der mobilen Plattform umfasst.

Diese zukünftigen Fahrszenarien sind hier beispielhaft aus einer Vielzahl von möglichen Fahrszenarien genannt.

Gemäß einem Aspekt wird vorgeschlagen, dass der Reinigungsvorgang mittels einer Wischvorrichtung und/oder einer Waschvorrichtung erfolgt.

Gemäß einem Aspekt wird vorgeschlagen, dass die unterschiedlichen Anwendungsverfahren einen automatischen Parkvorgang und/oder eine bildbasierte Anwendung und/oder eine automatische Notbrems-Funktion und/oder ein Kalibrierten des Kamerasystems umfasst.

Gemäß einem Aspekt wird vorgeschlagen, dass abhängig von dem bestimmten Reinigungsszenario und/oder dem bereitgestellten Blindheitsstatus und/oder den Reinigungsressourcen zumindest ein Anwendungsverfahren deaktiviert wird. Vorteilhafterweise kann mit diesem Verfahren zum Regeln des Reinigungsvorgangs eine Möglichkeit zum Aktivieren des Reinigungsvorgangs bestimmt werden, um bei einer zumindest temporären eingeschränkten Möglichkeit einen Reinigungsvorgang zu starten, ein Anwendungsverfahren, zumindest temporär zu deaktivieren, um eine Fehlfunktion des Anwendungsverfahrens zu vermeiden.

Beispielsweise kann eine Blindheit des optischen Wegs des Kamerasystems bestimmt werden, woraufhin das Fahrzeug zum Stillstand gebracht wird, insbesondere dadurch, dass der Motor abgestellt wird. Bei einem Neustart des Fahrzeugs wird von einem ausreichend durchsichtigen optischen Weg des Kamerasystems ausgegangen, d. h. das Kamerasystem wird als "nicht blind" angenommen, um ein zumindest teilautomatisches Ausparken zu ermöglichen.

Gemäß einem Aspekt wird vorgeschlagen, dass das Kamerasystem der mobilen Plattform ein rückwärts gerichtetes Kamerasystem zur Rückwärtsfahrt und/oder ein vorwärts gerichtetes Kamerasystem zur Vorwärtsfahrt umfasst und/oder das Reinigungszenario abhängig von dem verwendeten Kamerasystem ist. Vorteilhafterweise kann durch die Abhängigkeit des Reinigungszenarios von dem verwendeten Kamerasystem, also ob das verwendete Kamerasystem in Bezug auf die mobile Plattform vorwärts gerichtet oder rückwärts gerichtet ist, berücksichtigt werden, dass bei einer Vorwärtsfahrt bzw. einer Rückwärtsfahrt unterschiedliche Fahrszenarien und insbesondere unterschiedliche zukünftige Fahrszenarien möglich sind. Beispielsweise ist ein vorderes automatisches Notbremssystem (engl, automatic emergency brake; AEB Front) bei langsamen Fahrmanövern aktiv. Daher wird eine mögliche Reinigungsanforderung anders sein als eine AEB- Reinigungsanforderung hinten, die grundsätzlich ausgelöst wird, wenn Rückwärtsfahren erforderlich ist. Die Reinigungsanforderung des Front AEB kann beispielsweise zu Beginn des Fahrzyklus oder beim Eintritt in einen Betriebsbereich mit niedriger Geschwindigkeit ausgelöst werden.

Gemäß einem Aspekt wird vorgeschlagen, dass das Reinigungssystem ausgelöst wird, wenn das anfordernde Anwendungsverfahren nicht aktiv ist und/oder in einem nicht aktiven Zustand geschaltet wird.

Damit kann die Regelung des Reinigungsvorgangs für den optischen Weg des Kamerasystems an das entsprechende Anwendungsverfahren spezifisch angepasst werden, so dass ein Reinigungsvorgang die Funktion des Anwendungsverfahrens nicht beeinträchtigt. Mit anderen Worten wird, entsprechend einer antizipierten Regelung, dann ein Reinigungsvorgang im entsprechenden Fahrzyklus eines Fahrszenarios ausgelöst, wenn eine Funktion eines Anwendungsverfahrens, dass ein Bild des Kamerasystems verwendet, außerhalb eines aktiven Arbeitspunktes sind, wodurch eine Funktion durch den Reinigungsvorgang nicht blockiert wird.

Es wird eine Verwendung eines der oben beschriebenen Verfahren zum Regeln des Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform zum Regeln eines Reinigungsvorgangs vorgeschlagen.

Es wird eine Vorrichtung zur Datenverarbeitung vorgeschlagen, um einen Reinigungsvorgang für einen optischen Weg eines Kamerasystems zu regeln, wobei die Vorrichtung einen Eingang zur Bereitstellung eines aktuellen Status von Reinigungsressourcen und/oder einen Eingang zur Bereitstellung eines aktuellen Blindheitsstatus des optischen Wegs des Kamerasystems und/oder einen Eingang zur Bereitstellung von zumindest einer Reinigungsanforderung zumindest eines Anwendungsverfahrens, die zumindest ein Bild des Kamerasystems verwenden, aufweist. Weiterhin weist die Vorrichtung zur Datenverarbeitung eine Recheneinheit und/oder einem System-on-Chip und einem Ausgang zum Auslösen eines Reinigungsvorgangs auf, wobei die Recheneinheit und/oder das System-on-Chip eingerichtet ist, eines der oben beschriebenen Verfahren zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform durchzuführen.

Vorteilhafterweise kann mit einer solchen Vorrichtung das Verfahren leicht in unterschiedliche Systeme integriert werden.

Es wird ein Steuergerät zur Verwendung in einem Fahrzeug, das eine oben beschriebene Vorrichtung zur Datenverarbeitung aufweist, vorgeschlagen.

Dabei kann ein solches Steuergerät auch weitere Funktionen aufweisen.

Es wird eine mobile Plattform, und insbesondere ein zumindest teilautomatisiertes Fahrzeug, vorgeschlagen, das ein oben beschriebenes Steuergerät aufweist. Vorteilhafterweise kann eine solche mobile Plattform alle Vorteile des Verfahrens zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems realisieren. Ausführungsbeispiele

Ein Ausführungsbeispiel der Erfindung wird mit Bezug auf die Figur 1 dargestellt und im Folgenden näher erläutert. Es zeigen:

Figur 1 Ablaufschema des Verfahrens.

Die Figur 1 skizziert schematisch ein Ablaufschema eines Verfahrens zum Regeln eines Reinigungsvorgangs für einen optischen Weg eines Kamerasystems einer mobilen Plattform.

In einem ersten Schritt S1 wird ein aktueller Status von Reinigungsressourcen bereitgestellt.

In einem weiteren Schritt S2 wird ein aktueller Blindheitsstatus des optischen Wegs des Kamerasystems bereitgestellt. In einem weiteren Schritt S3 wird ein zukünftiges Fahrszenario der mobilen

Plattform bestimmt.

In einem weiteren Schritt S4 wird ein Reinigungszenario, basierend auf dem aktuellen Status der Reinigungsressourcen und/oder dem aktuellen Blindheitsstatus des optischen Wegs des Kamerasystems und/oder dem zukünftigen Fahrszenario der mobilen Plattform bestimmt, um den

Reinigungsvorgang freizugeben.