Titel

Verfahren zum Erkennen einer Verschmutzung an einer Linseneinheit einer Kamera einer landwirtschaftlichen Arbeitsmaschine

Stand der Technik

Die Erfindung geht aus von einem Verfahren zum Identifizieren einer Verschmutzung an einer Linseneinheit einer optischen Erfassungseinheit, insbesondere einer Kamera, bevorzugt einer landwirtschaftlichen Arbeitsmaschine sowie einer entsprechenden Recheneinheit, einer optischen Erfassungseinheit und einer landwirtschaftlichen Arbeitsmaschine nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm und ein maschinenlesbares Speichermedium

Landwirtschaftliche Maschinen befinden sich in einer rauen Umgebung mit viel Schmutz. Schmutz auf der Kameralinse bzw. auf dem Abdeckglas der Kameralinse blockt das einfallende Licht. Dies wird als unscharfer Punkt auf dem Sensor abgebildet, woraus ein dunkler Fleck im Bild resultiert. Die Szene wird aber durch die Sonne bzw. auch den LEDs immer ausreichend ausgeleuchtet. Falls eine Kameralinse durch Erdklumpen verschmutzt wird, muss die Kamera dies erkennen und melden, da eine verschmutze Kameralinse teilweise oder vollständig blind ist und somit keine Objekte erkennen kann.

Um Schmutz auf der Kameralinse zu erkennen, werden oft Differenzbilder über eine Serie von Bildern erzeugt. Dort wo sich der Bildinhalt verändert, wird die Differenz groß und bei Verschmutzung klein. Daraus lässt sich auf eine Verschmutzung schließen. Alternativ kann die gleiche Szene mit unterschiedlichen Blendenzahlen aufgenommen werden um relative Helligkeitsschwankungen in den Bildern auszuwerten. Aus der DE 10 2016 118 335 Al ist ein Verfahren zum Erkennen einer Verschmutzung auf einer Linse einer Kamera eines Kraftfahrzeugs bekannt.

Die DE 10 2018 209 020 Al beschreibt eine Vorrichtung, welche zur Erkennung einer Verschmutzung einer lichtdurchlässigen Abdeckung wenigstens eines Sendefensters und/oder eines Empfangsfensters eines optischen Sensors ausgebildet ist.

Offenbarung der Erfindung

Gegenstand der vorliegenden Erfindung ist ein Verfahren zum Identifizieren einer Verschmutzung an einer Linseneinheit einer optischen Erfassungseinheit, insbesondere einer Kamera, bevorzugt einer landwirtschaftlichen Arbeitsmaschine, mit den Schritten:

- Empfangen von Bildern, insbesondere von Feldabschnitten einer landwirtschaftlichen Fläche, welche mittels der optischen Erfassungseinheit, insbesondere Kamera der landwirtschaftlichen Arbeitsmaschine, erfasst wurden;

- Segmentieren von Bildzellen, welche einen definierten Grauschwellenwert unterschreiten, der empfangenen Bilder, mittels einer Recheneinheit, um potentielle Verschmutzungszellen in den empfangenen Bildern zu identifizieren; und

- Ermitteln der übereinstimmenden Verschmutzungszellen, welche in den empfangenen Bildern gleich sind, mittels der Recheneinheit, um diese als Verschmutzung auf der Linseneinheit zu identifizieren.

Gegenstand der vorliegenden Erfindung ist ferner eine Recheneinheit, welche eingerichtet ist, die Schritte eines vorhergehend beschriebenen Verfahrens durchzuführen und/oder zu steuern.

Gegenstand der vorliegenden Erfindung sind außerdem eine optische Erfassungseinheit, insbesondere Kamera zum Erfassen eines Feldabschnitts einer landwirtschaftlichen Fläche, um Bilder von Feldabschnitten zu erfassen, mit einer Linseneinheit und einer vorhergehend beschriebenen Recheneinheit. Gegenstand der vorliegenden Erfindung ist des Weiteren eine landwirtschaftliche Arbeitsmaschine, insbesondere Feldspritze, mit einem landwirtschaftlichen Arbeitswerkzeug, insbesondere einer Spritzvorrichtung, und einer vorhergehend beschriebenen optischen Erfassungseinheit.

Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm, das dazu eingerichtet ist, die Schritte eines vorangehend beschriebenen Verfahrens durchzuführen und/oder zu steuern, wenn das Computerprogramm auf einem Computer ausgeführt wird, sowie ein maschinenlesbares Speichermedium, auf dem das Computerprogramm gespeichert ist.

Durch das erfindungsgemäße Verfahren ist es nunmehr möglich, eine Verschmutzung auf einer Linseneinheit einer optischen Erfassungseinheit bzw. Kamera auf sehr einfache Weise mit sehr wenig Rechenleistung durchzuführen. Ferner ist das Verfahren mittels Bilderserien durchführbar, sodass kein Standbild notwendig ist.

Die optische Erfassungseinheit ist bevorzugt eine Kamera. Die Linseneinheit umfasst hierbei die Linse und das ggf. das Abdeckglas bzw. Schutzglas.

Die empfangenen Bilder sind bevorzugt eine definierte Auswahl einer unmittelbar nacheinander von der optischen Erfassungseinheit erfassen Bilderserie. Hierbei kann die definierte Auswahl alle Bilder der Bilderserie umfassen. Die definierte Auswahl kann jedoch auch nur eine definierte Anzahl von unmittelbar nacheinander erfassten Bildern der Bilderserie umfassen. Je nachdem wie schnell auf die Verschmutzung reagiert werden muss und ggf. um Rechenzeit einzusparen, kann die definierte Anzahl auch nur jedes x-te Bild, bspw. jedes 5. erfasste Bild der Bilderserie umfassen.

Bei den Bildern kann es sich um Bilder von unterschiedlichen Feldabschnitten oder von demselben Feldabschnitt (bei stehender optischer Erfassungseinheit) handeln. Die Bildzellen sind bevorzugt Bildpunkte bzw. Pixel. Die Bildzellen können jedoch auch eine höhere Auslösung aufweisen und somit zwei oder mehrere Bildpunkte umfassen.

Im Schritt des Segmentierens werden die Bildzellen bzw. Pixel, welche einen definierten Grauschwellenwert unterschreiten, segmentiert, um potentielle Verschmutzungszellen in den empfangenen Bildern zu identifizieren. Der definierte Grauschwellenwert kann bspw. kleiner oder gleich 100 von 12 Bit, d.h. von 4096 Grauwerten, betragen.

In einer Ausführungsform sind die segmentierten Bildzellen selbst die potentiellen Verschmutzungszellen.

In einer weiteren Ausführungsform werden im Schritt des Segmentierens die Bilder mit einem Gitter überlagert, dessen Gitterzellen zumindest zwei, insbesondere eine Vielzahl von Bildzellen umfassen, wobei die segmentierten Bildzellen mit dem Gitter verknüpft werden und Gitterzellen mit einem Bedeckungsgrad von größer oder gleich einem definierten Bedeckungsschwellenwert als die Verschmutzungszellen identifiziert werden. Der definierten Bedeckungsschwellenwert kann bspw. 50% betragen, sodass Gitterzellen, welche zumindest zu 50% mit segmentierten Bildzellen bedeckt sind, als die Verschmutzungszellen identifiziert werden.

Da bei dieser Ausführungsform nur „grobe“ Gitterzellen über die empfangenen Bilder verglichen werden, kann weiter Rechenzeit eingespart werden, da der Rechenaufwand sehr gering ist, und ferner das Verfahren kann auch im Stand durchgeführt werden.

Bevorzugt werden die Schritt des Empfangens der Bilder und des Segmentierens der Bildzellen nacheinander und wiederholt durchgeführt. D.h., mit anderen Worten, dass bspw. ein Bild empfangen und die Bildzellen in diesem segmentiert werden und anschließend die Schritte wiederholt nacheinander für alle weiteren empfangenen Bilder durchgeführt werden. Im Schritt des Ermittelns werden die übereinstimmenden Verschmutzungszellen, welche in den empfangenen Bildern gleich sind, mittels der Recheneinheit ermittelt, um diese (mittels der Recheneinheit) als Verschmutzung auf der Linseneinheit zu identifizieren. D.h., mit anderen Worten, dass die identifizierten potentiellen Verschmutzungszellen über die empfangenen Bilder miteinander vergleichen, und die potentiellen Verschmutzungszellen, welche in allen Bildern identifiziert wurden, als tatsächliche Verschmutzung auf der Linseneinheit identifiziert werden. D.h., mit anderen Worten, dass die segmentierten Bildzellen, welche sich in den empfangenen Bildern bzw. der Bilderserie nicht verändert haben bzw. segmentiert geblieben sind, als Verschmutzung identifiziert werden.

Hierbei werden die übereinstimmenden Verschmutzungszellen bevorzugt erst ab einem definierten Verschmutzungszellenschwellenwert (mittels der Recheneinheit) als Verschmutzung identifiziert. Der definierte Verschmutzungszellenschwellenwert kann bspw. 5000 Verschmutzungszellen betragen.

Unter einer landwirtschaftlichen Fläche kann eine landwirtschaftlich genutzte Fläche, eine Anbaufläche für Pflanzen oder auch eine Parzelle einer solchen Fläche bzw. Anbaufläche verstanden werden. Die landwirtschaftliche Fläche kann somit eine Ackerfläche, ein Grünland oder eine Weide sein.

Der Feldabschnitt kann ein Erfassungsabschnitt bzw. ein erfasster Bildabschnitt der optischen Erfassungseinheit sein.

Das Verfahren kann einen Schritt des Erfassens der Feldabschnitte der landwirtschaftlichen Fläche mittels der optischen Erfassungseinheit umfassen. Der Schritt des Erfassens kann während einer Überfahrt oder eines Fluges der landwirtschaftlichen Arbeitsmaschine durchgeführt werden. Zumindest ein weiterer Schritt des Verfahrens, insbesondere alle Schritte des Verfahrens kann/können während einer Überfahrt oder eines Fluges der landwirtschaftlichen Arbeitsmaschine durchgeführt werden.

Hierbei kann die landwirtschaftliche Arbeitsmaschine eine mobile Einheit umfassen oder auf einer mobilen Einheit angeordnet sein, wobei die mobile Einheit insbesondere als Landfahrzeug und/oder Luftfahrzeug und/oder Anhänger ausgebildet sein kann. Die mobile Einheit kann auch ein selbstfahrender bzw. autonomer Roboter sein. Die landwirtschaftliche Arbeitsmaschine ist bevorzugt eine Beikrautregulierungsmaschine, insbesondere eine Feldspritze. Das landwirtschaftliche Arbeitswerkzeug ist bevorzugt eine Spritzvorrichtung, kann jedoch auch ein mechanisches Werkzeug zur Beikrautregulierung sein.

Des Weiteren ist es vorteilhaft, wenn das Verfahren einen Schritt des Ausgebens eines Signals, insbesondere eines Steuersignals zum Ansteuern einer Reinigungsvorrichtung, insbesondere der optischen Erfassungseinheit, und/oder eines Informationssignals, in Abhängigkeit von der identifizierten Verschmutzung auf der Linseneinheit. Das Informationssignal kann insbesondere ein optisches und/oder akustisches Signal sein, bspw. um einem Fahrer oder Betreiber der landwirtschaftlichen Arbeitsmaschine die Verschmutzung zu signalisieren.

Die Recheneinheit ist bzw. die Recheneinheiten sind zur Bildverarbeitung ausgebildet bzw. eingerichtet, sodass sie Berechnungsschritte bzw. Bildverarbeitungsschritte zur Durchführung des erfindungsgemäßen Verfahrens ausführen kann. Demnach weist jede Recheneinheit eine entsprechende Bildverarbeitungssoftware auf. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten bspw. elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.

Demnach kann das erfindungsgemäße Verfahren beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware in der Recheneinheit bzw. einem Steuergerät implementiert sein.

Die Recheneinheit kann vollständig oder teilweise an der optischen Erfassungseinheit bzw. der landwirtschaftlichen Arbeitsmaschine angeordnet bzw. in diese integriert sein. Die Recheneinheit kann jedoch auch vollständig oder teilweise extern, bspw. in einer Cloud integriert sein. Die Recheneinheit kann somit auch auf verschiedene, bspw. mobile und stationäre Einheiten aufgeteilt sein.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

Fig. 1 eine als verschmutzten Kamera ausgeführte optische

Erfassungseinheit einer landwirtschaftlichen Arbeitsmaschine;

Fig. 2 ein mittels der verschmutzten Kamera aus Fig. 1 erfasstes Bild;

Fig. 3a-c eine Bilderserie von empfangenen Bildern mit identifizierten potentiellen Verschmutzungszellen gemäß einer Ausführungsform;

Fig. 4 übereinstimmende Verschmutzungszellen der Bilder aus Fig.

3a-c;

Fig. 5 das Bild aus Fig. 2 mit einem überlagerten Gitter;

Fig. 6a-c eine Bilderserie von empfangenen Bildern mit identifizierten potentiellen Verschmutzungszellen gemäß einer weitere Ausführungsform; Fig. 7 übereinstimmende Verschmutzungszellen der Bilder aus Fig.

6a-c; und

Fig. 8 ein Ablaufdiagramm eines Verfahrens gemäß einem

Ausführungsbeispiel.

Fig. 1 zeigt eine optische Erfassungseinheit 10 einer (nicht gezeigten) landwirtschaftlichen Arbeitsmaschine. Die optische Erfassungseinheit 10 ist als Kamera 10 ausgebildet. Die optische Erfassungseinheit 10 weist eine Linseneinheit 12 auf. An bzw. auf der Linseneinheit 12 haftet eine Verschmutzung 14.

In Fig. 2 ist ein mittels der optischen Erfassungseinheit 10 bzw. Kamera 10 aus Fig. 1 erfasstes Bild 16 eines Feldabschnitts 18 einer landwirtschaftlichen Fläche gezeigt. Hierbei weist das Bild 16 einen dunklen Abschnitt 20 bzw. Fleck 20 aufgrund der Verschmutzung 14 an der Linseneinheit 12 auf.

In Fig. 3a-c ist eine Bilderserie von empfangenen Bildern 16a-c gezeigt. Wie aus Fig. 3a-c ersichtlich, werden mittels einer (nicht gezeigten) Recheneinheit in den empfangenen Bildern 16a-c Bildzellen 22a-c bzw. Bildpixel 22a-c segmentiert, welche einen definierten Grauschwellenwert unterschreiten. Die segmentierten Bildzellen 22a-c werden im gezeigten Ausführungsbeispiel in den empfangenen Bildern 16a-c der Bilderserie jeweils als potentielle Verschmutzungszellen 24a-c identifiziert.

Fig. 4 zeigt nun die übereinstimmenden Verschmutzungszellen 26, welche in allen Bildern 16a-c gleich sind. Die Verschmutzungszellen 26 werden dann mittels der Recheneinheit als Verschmutzung 14 auf der Linseneinheit 12 identifizieren.

Alternativ können die übereinstimmenden Verschmutzungszellen 26 auch erst ab einem definierten Verschmutzungszellenschwellenwert, bspw. ab 5000 Verschmutzungszellen 26 als Verschmutzung 14 identifiziert werden, was vorliegend er Fall ist. In Fig. 5 bis Fig. 7 ist der Ablauf einer weiteren Ausführungsform des Verfahrens dargestellt. Hierbei zeigen Fig. 5 das erfasste Bild 16 aus Fig. 2 und die Fig. 6a-c die Bilderserie von Bildern 16a-c aus Fig. 3a-c, wobei diese in Gegensatz zur vorhergehend beschriebenen Ausführungsform im Schritt des Segmentierens zusätzlich mit einem Gitter 28 überlagert werden, dessen Gitterzellen 30 jeweils 100 Bildzellen bzw. Bildpixel umfassen. Hierbei wird das Gitter 28 mit den jeweiligen segmentierten Bildzellen 22a-c verknüpft, wobei Gitterzellen 30 mit einem Bedeckungsgrad von größer oder gleich 50% von segmentierten Bildzellen 22a-c jeweils als potentielle Verschmutzungszellen 24a-c identifiziert werden. Dies führt zu einer geringeren Auflösung, wodurch jedoch Rechenzeit eingespart werden kann.

Fig. 7 zeigt nun analog zu Fig. 4 die übereinstimmenden Verschmutzungszellen 26, welche in allen Bildern 16a-c gleich sind. Die Verschmutzungszellen 26 werden dann mittels der Recheneinheit als Verschmutzung 14 auf der Linseneinheit 12 identifizieren.

Alternativ können die übereinstimmenden Verschmutzungszellen 26 auch erst ab einem definierten Verschmutzungszellenschwellenwert, bspw. ab 5 Verschmutzungszellen 26 als Verschmutzung 14 identifiziert werden, was vorliegend er Fall ist.

Fig. 8 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels des hier vorgestellten Ansatzes als Verfahren 100 zum Identifizieren einer Verschmutzung 14 an einer Linseneinheit 12 einer optischen Erfassungseinheit 10, insbesondere einer Kamera 10, bevorzugt einer landwirtschaftlichen Arbeitsmaschine. Das Verfahren 100 umfasst einen Schritt des Empfangens 102 von Bildern 16, 16a-c, insbesondere von Feldabschnitten 18 einer landwirtschaftlichen Fläche, welche mittels der optischen Erfassungseinheit 10, insbesondere Kamera 10, bevorzugt der landwirtschaftlichen Arbeitsmaschine, erfasst wurden. Das Verfahren 100 umfasst ferner einen Schritt des Segmentierens 104 von Bildzellen 22a-c, welche einen definierten Grauschwellenwert unterschreiten, der empfangenen Bilder 16, 16a-c, mittels einer Recheneinheit, um potentielle Verschmutzungszellen 24a-c in den empfangenen Bildern 16, 16a-c zu identifizieren. Das Verfahren 100 umfasst außerdem einen Schritt des Ermittelns 106 der übereinstimmenden Verschmutzungszellen 26, welche in den empfangenen Bildern 16, 16a-c gleich sind, mittels der Recheneinheit, um diese als Verschmutzung 14 auf der Linseneinheit 12 zu identifizieren.

Der Weiteren umfasst das Verfahren 100 einen optionalen Schritt des Ausgebens 108 eines Signals, insbesondere eines Steuersignals zum Ansteuern einer Reinigungsvorrichtung, insbesondere der optischen Erfassungseinheit 10, und/oder eines Informationssignals, in Abhängigkeit von der identifizierten Verschmutzung 14 auf der Linseneinheit 12.