Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur automatisierten Erfassung von Bäumen, insbesondere zur Inventur von Baumbeständen in Wäldern, Parks oder Baumschulen.

Insbesondere im Bereich der Waldwirtschaft ist eine automatisierte Erfassung von Bäumen wichtig, beispielsweise um neben der Inventur auch einen Harvester zu steuern. Dabei ist es bereits angedacht worden, dass diese Harvester autonom fahren, beispielsweise diese vollautomatisch vorab festgelegten Routen abfahren.

Die bisherigen Ansätze verwenden 2D-Laserscanner zur Erfassung. Ein Beispiel für ein solches System ist„Alexander Ziegler et al.;„Echtzeit und Embedded-Algorithmen und Sensorsystem für die dynamische Waldinventur; Allgemeine Vermessungs-Nachrichten AVN 5/2010, Seite 182 ff." beschrieben. Dabei wird neben dem 2D-Laserscanner eine digitale Kamera eingesetzt. Nachteilig an dem bekannten System mit 2D-Laserscannern ist, das die Harvester an jeweils festgelegten Orten abgestellt werden müssen (statische Messungen) oder aber sehr hohe Genauigkeitsanforderungen an ein Lagemesssystem gestellt werden müssen, um dynamisch zu messen, da sich die Lage des Harvesters während des Scan-Vorgangs stark ändern kann.

Aus der WO 20103/102840 A1 ist ein Verfahren zur Bestimmung eines Disparitätsbildes bzw. Stereobildes von mindestens zwei stereoskopisch (d.h. sich räumlich

überlappenden) aufgenommenen Bildern bekannt.

Aus der DE 10 201 1 086 091 A1 ist eine Vorrichtung zum mechanischen Ausdünnen von Blüten, insbesondere von Obstbäumen, bekannt, umfassend einen mechanischen Aktor, wobei die Vorrichtung mindestens einen optischen Detektor und eine Auswerteeinheit umfasst, wobei die Auswerteeinheit aus mindestens einer Aufnahme des optischen Detektors eine Blütendichte ermittelt, wobei der mechanische Aktor in Abhängigkeit der ermittelten Blütendichte angesteuert wird. Vorzugsweise umfasst die Vorrichtung eine Positionsbestimmungseinrichtung, wobei mittels des oder der optischen Detektoren mindestens zwei Aufnahmen zur Erzeugung eines Stereobildes aufgenommen werden. Aus dem Stereobild wird ein 3D-Modell berechnet und die 3D-Modellkoordinaten in 2D- oder 3D-Weltkoordinaten umgerechnet. Dabei werden in dem 3D-Modell Bereiche maskiert, die außerhalb eines vorgegebenen Abstandsbereiches liegen und/oder zum Horizont und/oder zum Bodenbereich gehören.

Der Erfindung liegt das technische Problem zugrunde, eine Vorrichtung zur

automatisierten Erfassung von Bäumen zu schaffen sowie ein Verfahren zur

automatisierten Erfassung von Bäumen zur Verfügung zu stellen, mittels derer einfacher eine dynamische Erfassung in Echtzeit erfolgen kann.

Die Lösung des technischen Problems ergibt sich durch die Vorrichtung mit den

Merkmalen des Anspruchs 1 sowie das Verfahren mit den Merkmalen des Anspruchs 10. Weitere vorteilhafte Ausgestaltungen der Erfindung ergeben sich aus den

Unteransprüchen.

Hierzu umfasst die Vorrichtung eine fahrbare Plattform, eine Kameraeinheit zur Erfassung von zwei räumlich überlappenden Bildern, wobei die Kameraeinheit auf der Plattform montiert ist, eine Lagesensorik zur Bestimmung der sechs Freiheitsgrade der

Kameraeinheit und mindestens eine Auswerteeinheit, die derart ausgebildet ist, dass aus den zwei sich räumlich überlappenden Bildern ein 2D-Disparitätsbild erzeugt wird. In dem 2D-Disparitätsbild oder einem mit dem 2D-Disparitätsbild rektifizierten Bild der

Kameraeinheit erfolgt dann eine Segmentierung von Bäumen, wobei die segmentierten Bäume mit den Daten der Lagesensorik als Datensatz in einem Weltkoordinatensystem abgespeichert werden. Dabei erfolgt die Erfassung der Bilder dynamisch in Echtzeit, wobei die nachfolgende Datenverarbeitung ebenfalls in Echtzeit erfolgen kann oder aber offline in einem Datenzentrum. Die beiden räumlich sich überlappenden Bilder können durch eine Monokamera aufgenommen werden, die zeitlich nacheinander eine Szene aus unterschiedlichen Blickwinkeln aufnimmt. Vorzugsweise wird jedoch eine Stereokamera verwendet, die weitgehend synchron die beiden Bilder aufnimmt. Die Ermittlung des 2D- Disparitätsbildes erfolgt beispielsweise mit einem Algorithmus wie er in der WO

2010/1202840 A1 beschrieben ist. Der Vorteil der passiven optischen Ermittlung der Daten gegenüber den aktiven 2D-Laserscannern ist, dass die Aufwendungen an die Lagegenauigkeit geringer sind, da zeitgleich die ganze Szene erfasst wird. Ein weiterer Vorteil ist, dass die Segmentierung in den 2D-Bildern (2D-Disparitätsbild oder rektifiziertes Bild) einfacher ist, als in den 3D-Punktwolken des 2D-Laserscanners. Vorzugsweise ist dabei die fahrbare Plattform derart ausgebildet, dass diese autonom fahren kann. In der Alternative, wo die Segmentierung in den 2D-Disparitätsbildern erfolgt, werden vorzugsweise die segmentierten Bäume als Datensätze in einem Weltkoordinatensystem abgespeichert. Durch Wiederholung wird dann aus den verschiedenen Datensätzen eine 3D-Punktwolke erzeugt, in der Baumdaten aus verschiedenen Datensätzen fusioniert werden. Dies ist notwendig, da ein Baum mit leicht unterschiedlichen Koordinaten in mehreren Datensätzen auftauchen kann. Durch die Fusionierung werden diese verschiedenen Koordinaten zu einer Koordinate zusammengefasst.

In der alternativen Ausführungsform, wo die Segmentierung in dem rektifizierten Bild erfolgt, werden die segmentierten Daten vorzugsweise zu einer 3D-Punktwolke zusammengefasst und diese dann in ein Weltkoordinatensystem überführt und abgespeichert.

In einer weiteren Ausführungsform ist die Auswerteeinheit derart ausgebildet, dass in dem 2D-Disparitätsbild oder in der 3D-Punktwolke der Hintergrund und/oder Boden

herausgefiltert wird. Bei der Segmentierung im 2D-Disparitätsbild erfolgt dies

vorzugsweise als Vorstufe vor der eigentlichen Segmentierung, was den nachfolgenden Segmentierungsprozess vereinfacht. Anschaulich werden Objekte ignoriert, die einen Abstand größer als einen Schwellwert aufweisen (z.B. 10-15 m), um so den Hintergrund zu entfernen. Des Weiteren können Objekte ignoriert werden, die zu dicht sind. Bildteile, in denen Bäume vermutet werden, können mit einem relativen Schwellwert aus einer Bildzeile herausgefiltert werden, was später noch näher erläutert wird. Der Boden kann beispielsweise mittels eines horizontalen Medianfilters extrahiert und herausgefiltert werden. Die eigentliche Segmentierung erfolgt dann vorzugsweise mittels eines vertikalen Medianfilters.

In einer weiteren Ausführungsform wird zu den segmentierten Bäumen neben der Position mindestens ein weiterer Parameter erfasst und abgespeichert. Dabei kann der mindestens eine weitere Parameter der Durchmesser (Brusthöhendurchmesser) und/oder der Kronenansatz und/oder die Schaftlänge und/oder die Schaftform bzw. die

Schaftformfunktion und/oder die Baumkrümmung und/oder die Baumgattung und/oder Vitalitätsmerkmale und/oder Volumendaten und/oder eine Verastung sein.

In einer weiteren Ausführungsform ist der Kameraeinheit mindestens ein Spektralfilter, beispielsweise ein NIR-Durchlassfilter, zugeordnet. In einer weiteren Ausführungsform weist die Lagesensorik mindestens eine Inertial- Measurement-Unit, einen Neigungssensor und einen Empfänger eines Satelliten- Navigationssystems auf, wobei die Daten der Inertial-Measurement-Unit (IMU) durch den Neigungssensor und/oder die Bilddaten der Kameraeinheit gestützt werden. Dies ermöglicht eine hochgenaue Lagemessung trotz Drift der IMU.

In einer bevorzugten Ausführungsform ist die Vorrichtung als Harvester ausgebildet.

Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die Figuren zeigen:

Fig. 1 ein schematisches Blockschaltbild eines Teils einer Vorrichtung zur

automatischen Erfassung von Bäumen,

Fig. 2 ein Flussdiagramm eines ersten Verfahrens zur Segmentierung von

Bäumen und

Fig. 3 ein Flussdiagramm eines zweiten Verfahrens zur Segmentierung von

Bäumen.

In der Fig. 1 ist ein Teil einer Vorrichtung 1 zur automatisierten Erfassung von Bäumen dargestellt. Die Vorrichtung 1 weist eine Kameraeinheit 2 in Form einer Stereokamera auf, die nahezu synchron zwei sich räumlich überlappende Bilder B1 , B2 einer Szene aufnimmt. Des Weiteren weist die Vorrichtung 1 eine Lagesensorik 3, eine

Auswerteeinheit 4 und einen Speicher 5 auf. Die Lagesensorik 3 weist eine Inertial- Measurement-Unit 6, einen Neigungssensor 7, einen DGPS-Empfänger 8 und einen Kalman-Filter 9 auf, wobei die Bilddaten B1 , B2 der Kameraeinheit 2 zur Stützung der Daten der Inertial-Measurement-Unit 6 in den Kalman-Filter 9 eingehen. Dabei werden vorzugsweise die Bilddaten B1 , B2 über die Auswerteeinheit 4 dem Kalman-Filter 9 zugeführt. Dies erlaubt eine spezielle Vorverarbeitung der Bilddaten für den Kalman-Filter 9, indem beispielsweise markante Punkte aus den Bilddaten ermittelt und dem Kalman- Filter 9 übergeben werden. Dabei sei angemerkt, dass prinzipiell auch nur die Bilddaten B1 oder nur die Bilddaten B2 zur Stützung ausreichend sind. Durch die Bilddaten B1 , B2 kann die Drift der Inertial-Measurement-Unit 6 kompensiert werden. Als Ausgang des Kaiman-Filters 9 stehen dann die drei translatorischen Freiheitsgrade X, Y, Z und die drei rotorischen Freiheitsgrade α, ß, γ zur Verfügung. Die Vorrichtung 1 weist weiter eine nicht dargestellte fahrbare Plattform auf, sodass anhand der DGPS-Daten direkt oder über die X, Y, Z-Koordinaten eine Bahnkurve der Plattform ermittelbar ist. In der Auswerteeinheit 4 werden aus den Bilddaten B1 , B2 die aufgenommenen Bäume segmentiert und die Kamerakoordinaten in Weltkoordinaten umgerechnet und schließlich die segmentierten Bäume in einem Weltkoordinatensystem im Speicher 5 abgespeichert. Dabei kann der komplette Auswertevorgang in Echtzeit auf der fahrbaren Plattform erfolgen oder aber ein Teil der Auswertung erfolgt in einer Zentrale in Echtzeit oder aber offline. Des Weiteren können die Daten der Auswerteeinheit 4 zur unmittelbaren Steuerung eines Aktors verwendet werden, insbesondere wenn die Vorrichtung 1 als Harvester ausgebildet ist.

Der Vorgang der Auswertung soll nun in einem ersten Verfahren anhand des

Flussdiagramms in Fig. 2 näher erläutert werden. In einem ersten Schritt S1 werden die beiden Bilder B1 , B2 durch die Kameraeinheit 2 aufgenommen und an die

Auswerteeinheit 4 übermittelt. In einem zweiten Schritt S2 wird aus den zwei Bildern B1 , B2 ein 2D-Disparitätsbild erzeugt. In einem dritten Schritt S3 wird der Hintergrund entfernt, indem beispielsweise Objekte größer als ein vorgegebener Abstand entfernt werden. Ist die Vorrichtung 1 als Harvester ausgebildet, so bewegt sich dieser in

Rückegassen, die typischerweise 20 m auseinander liegen. Daher sind Objekte mit einer Entfernung größer 20 m nicht von Interesse und können aus der benachbarten

Rückegasse aufgenommen werden. In einem vierten Schritt S4 werden anschließend Bildregionen, die nicht einem Baum zugeordnet werden können, entfernt. Hierzu wird eine ausreichend hohe Bildzeile im 2D-Disparitätsbild ausgewählt. Anschließend werden die Disparitäten in der ausgewählten Zeile für die jeweiligen Spalten mit den übrigen Bildteilen verglichen. Liegen die Disparitätswerte in einem relativen Bereich um die ausgewählte Zeile, wird ein Baum vermutet. Andernfalls wird die Bildregion für die Segmentierung ignoriert. Dabei bleiben im Bodenbereich noch Bereiche übrig, die mit einem Baum „verbunden" sind. In einem nachfolgenden Schritt S5 wird dann der Bodenbereich extrahiert und herausgefiltert. Hierzu wird ein horizontaler Medianfilter verwendet.

Anschaulich ist dies beispielsweise ein Rechteck, das ein Vielfaches mehr Pixel breit als hoch ist. Dadurch werden breite Objekte gefunden, da bei schmalen Strukturen diese im Rechtreck unterbewertet sind. Diese breiten Strukturen können dann entfernt werden. In einem nachfolgenden Schritt S6 wird dann das derart gefilterte 2D-Disparitätsbild binärisiert. In einem nachfolgenden Schritt S7 werden anschließend vertikale Objekte (also insbesondere Baumstämme) mittels einem vertikalen Medianfilter detektiert. In einem Schritt S8 werden dann die detektierten Objekte ausgedehnt und die derart ausgedehnte binärisierte Maske auf das ursprüngliche 2D-Disperitätsbild angewendet (siehe S9). Das Ergebnis sind segmentierte, d.h. vereinzelte Bäume mit eindeutigem Pixelbezug. Anschließend werden in einem Schritt S10 die Kamerakoordinaten für die segmentierten Bäume in Weltkoordinaten umgerechnet, sodass über mehrere Aufnahmen eine 3D-Punktwolke entsteht. Da ein Baum in mehreren Aufnahmen vorkommen kann, die berechneten Koordinaten aber nicht exakt übereinstimmen, werden in einem Schritt S1 1 durch Mittelwertbildung die verschiedenen Koordinaten eines einzelnen Baumes zu einer einzigen Koordinate zusammengefasst. Als Ergebnis erhält man dann in Schritt S12 3D- Daten der vereinzelten Bäume in Weltkoordinaten.

In der Fig. 3 ist ein alternatives Verfahren zu Segmentieren von Bäumen in Form eines Flussdiagramms dargestellt. Dabei werden in einem ersten Schritt S20 wieder die beiden Bilder B1 , B2 mittels der Kameraeinheit 2 aufgenommen und daraus in einem

nachfolgenden Schritt S21 ein 2D-Disparitätsbild erzeugt. Anschließend wird eines der Bilder B1 oder B2 mit dem 2D-Disparitätsbild in einem Schritt S22 rektifiziert und in einem Schritt 23 mittels eines Median-Filters geglättet.

Auf dieses geglättete Bild werden in Schritt 24 Kanten- und Kovarianz-Filter (z.B. ein Kaiman-Filter) angewendet, wobei als Ergebnis in Schritt 25a ein Kantenbild in X- und ein Kantenbild in Y-Richtung vorliegen. Aus diesen beiden Kantenbildern können dann die Kantenwinkel (Richtungsvektoren) ermittelt werden. In einem Schritt S25b erhält man ein „class image" als Ergebnis der Kovarianz-Filterung. Dieses„class image" wird dann zeilenweise auf mehrere Merkmale untersucht, wie beispielsweise Disparität, erwartete Baumstammdicke und Kantenwinkel, wobei vorzugsweise alle drei Merkmale zur

Anwendung kommen und für jedes Merkmal ein Schwellwert existiert, mit dem die Pixel des class image verglichen werden (Schritt S26).

Das Ergebnis der Merkmalsextraktion sind markierte Pixel, die linienförmige Kandidaten in X-Richtung entlang des möglichen Baumes/Baumstammes bilden. Dabei werden in einem Schritt S27 Pixelkandidaten entfernt. Hierzu wird beispielsweise ein Spalten-Histogramm und dessen Ableitung gebildet. Kandidaten, die nicht zwischen einer steigenden und fallenden Flanke der Ableitung liegen, werden dann verworfen. Anschließend werden im Schritt S28 zusammengehörende Pixelkandidaten über ein geeignetes Verfahren, z.B. Region Erowing, ermittelt. Das Verfahren wird auf das Bild (Kamera- und/oder Disparitätsbild) angewendet und darüber die Fläche bis zur

Baumsilhouette vergrößert. Vorzugsweise existieren dabei Abbruchbedingungen wie beispielsweise Abstand zum nächsten Kandidaten oder Disparität und Grauwert.

In einem nächsten Schritt S29 wird dann die Kontur der Pixel geschlossen. Schließlich werden in einem Schritt S30 die segmentierten Bäume klassifiziert, wobei vorzugsweise ein Labeling stattfindet, d.h. zusammengehörige Pixel werden zusammengefasst.

Im Schritt S31 werden zur Bildung einer 3D-Punktewolke alle 3D-Punkte entsprechend der Ergebnisse aus der 2D-Segmentierung über alle Bildaufnahmezeitpunkte gespeichert. Im Schritt S32 werden Ausreißer mittels eines K-NN-Algorithmus (k nächster Nachbar- Algorithmus) entfernt. In einem Schritt S33 wird beispielsweise mittels eines Ransac- Algorithmus die Bodenplatte und bodennahes Buschwerk entfernt.

Anschließend wird das 3D-Objekt im Schritt S34 klassifiziert (Stamm, Krone), wobei eine Zuordnung von 3D-Punkten zu 3D-Objekten mittels Graph-Clustering über Filtermerkmale aus der 2D-Segmentierung und dem Punktabstand erfolgt.

Schließlich werden in einem Schritt S35 die 3D-Punkte in ein Weltkoordinatensystem überführt und im Schritt S36 die Position für jeden Baum anhand der verorteten und gelabelten 3D-Punkte bestimmt.

Mittels dieses Ansatzes können zusätzlich Kronenansatz, Schaftlänge und die

Baumkrümmung bestimmt werden. Des Weiteren kann beispielsweise über

Texturanalysen eine Erfassung der Baumgattung erfolgen. Über räumliche und/oder spektrale Texturen können auch Vitalitätsmerkmale der segmentierten Bäume bestimmt werden. Abschließend sei angemerkt, dass die Bestimmung des Durchmessers vorzugsweise über mehrere Zeilen erfolgen, wobei der resultierende Durchmesser durch einen Mittelwert oder einen Median über die Zeilen erfolgt.