Beschreibung

Technisches Gebiet

Ausführungsbeispiele gemäß der vorliegenden Erfindung beziehen sich auf Verfahren, Luftfahrzeuge und Systeme zur Erfassung eines Merkmals eines Objekts. Weitere Ausführungsbeispiele beziehen sich auf Kl (künstliche Intelligenz) unterstützte Inspektionen von Windrädern mit Drohnen.

Hintergrund der Erfindung

Windkraftanlagen bilden einen integralen Bestandteil einer nachhaltigen Energieversorgung. Die Nutzung der unerschöpflichen Ressource Wind ermöglicht eine emissionsfreie und sichere Produktion von Strom. Obwohl die Art der Energieerzeugung durch die Wandlung mechanischer Energie in elektrische Energie keine unmittelbaren Risiken birgt, so ist es dennoch von großer Bedeutung die Anlagen selbst regelmäßig zu warten und zu überprüfen. Durch die hohe Leistung und dementsprechende Dimensionierung moderner Windkraftanlagen müssen diese sehr großen mechanischen Kräften über einen langen Zeitraum von vielen Jahren widerstehen. Daher sollten Beschädigungen rechtzeitig erkannt werden, um diese zu beheben, nicht nur im Hinblick auf die Sicherheit der Anlage, sondern auch im Hinblick auf die Effizienz der Anlage, beispielsweise im Fall von Beschädigungen an den Rotoren der Windräder, welche die Leistungsfähigkeit der Anlage vermindern können.

Eines der Hauptprobleme dabei bildet die Größe moderner Windkraftanlagen, sowie die schwere Zugänglichkeit zu einem Großteil der Oberfläche der Anlage. Konventionelle Ansätze beinhalten den Einsatz von Kletterern, welche die Anlagen begutachten und Beschädigungen dokumentieren. Solche Arbeiten sind jedoch neben der inhärenten Gefährdung von Menschen mit großen Kosten verbunden, aufgrund der Notwendigkeit von speziell geschultem Personal und dem Wegfall der Stromproduktion des entsprechenden Windrades während der gesamten Dauer der Überprüfung. Darüber hinaus ist durch die Verfügbarkeit und Geschwindigkeit solcher Kletterer nicht die Vielzahl von Anlagen moderner Windkraftparks zur Aufrechterhaltung ausreichend kurzer Überprüfungsintervalle möglich.

In Anbetracht dessen besteht ein Bedarf nach einem Konzept, das einen besseren Kompromiss zwischen einer Geschwindigkeit und einer Genauigkeit einer Überprüfung von Windkraftanlagen mit geringen Kosten schafft. Ferner sollte ein entsprechendes Konzept eine gute Skalierbarkeit aufweisen, um ausreichend geringe Überprüfungsintervalle auch bei einer Vielzahl von Anlagen eines Windkraftparks zu gewährleisten, z.B. für gesetzlich vorgeschriebene wiederkehrende Prüfungen.

Zusammenfassung der Erfindung

Die, der vorliegenden Erfindung zugrundeliegende, Aufgabe besteht darin, ein Konzept zu schaffen, das eine Erfassung von Merkmalen eines Objekts mit geringem Zeitaufwand und hoher Genauigkeit mit geringen Kosten ermöglicht.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst. Erfindungsgemäße Weiterbildungen sind in den Unteransprüchen definiert.

Ausführungsbeispiele gemäß einem ersten Aspekts der vorliegenden Erfindung schaffen ein Verfahren zur Erfassung eines Merkmals eines Objekts, wobei das Verfahren einen Schritt (a), welcher ein Abfliegen des Objekts und optisches Erfassen zumindest eines Teils des Objekts durch zumindest eine Aufnahmeeinheit mit einer ersten Auflösung aufweist, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt. Das Verfahren umfasst ferner einen Schritt (b), welcher ein Auswerten der Mehrzahl von Bildern aufweist, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren. Darüber hinaus umfasst das Verfahren einen Schritt (c), welcher ein erneutes optisches Erfassen derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, aufweist. Weitere Ausführungsbeispiele gemäß einem zweiten Aspekts der vorliegenden Erfindung schaffen ein Verfahren zur Erfassung eines Merkmals eines Objekts, wobei das Verfahren einen Schritt (a) umfasst, welcher ein Abfliegen des Objekts und optisches Erfassen zumindest eines Teils des Objekts durch zumindest eine Aufnahmeeinheit aufweist, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt, und wobei für einen Bereich ein Bild mit einer ersten Auflösung und eine Mehrzahl von Teilbildern jeweils mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, erzeugt werden. Das Verfahren umfasst darüber hinaus einen Schritt (b), welcher ein Auswerten der Mehrzahl von Bildern aufweist, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren. Ferner umfasst das Verfahren einen Schritt (c), welcher ein Bereitstellen der Teilbilder derjenigen Bereiche des Objekts aufweist, deren zugeordnete Bilder das Merkmal enthalten.

Weitere Ausführungsbeispiele gemäß dem ersten Aspekt vorliegenden Erfindung schaffen ein unbemanntes Luftfahrzeug, zum Beispiel eine Drohne, zur Erfassung eines Merkmals eines Objekts, mit zumindest einer Aufnahmeeinheit zur Erzeugung von Bildern durch eine optische Erfassung. Dabei ist das unbemannte Luftfahrzeug ansteuerbar, um das Objekt abzufliegen und um zumindest einen Teil des Objekts durch die Aufnahmeeinheit mit einer ersten Auflösung optisch zu erfassen, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt. Darüber hinaus ist das unbemannte Luftfahrzeug ansteuerbar, um diejenigen Bereiche des Objekts, deren zugeordneten Bilder das Merkmal enthalten, erneut mit einer zweiten Auflösung optisch zu erfassen, die höher ist als die eine erste Auflösung.

Weitere Ausführungsbeispiele gemäß dem zweiten Aspekt der vorliegenden Erfindung schaffen ein unbemanntes Luftfahrzeug, zum Beispiel eine Drohne, zur Erfassung eines Merkmals eines Objekts, mit zumindest einer Aufnahmeeinheit zur Erzeugung von Bildern durch eine optische Erfassung. Dabei ist das unbemannte Luftfahrzeug ansteuerbar, um das Objekt abzufliegen und um zumindest einen Teil des Objekts durch die Aufnahmeeinheit optisch zu erfassen, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt. Ferner ist das unbemannte Luftfahrzeug ansteuerbar, um für jeden Bereich ein Bild mit einer ersten Auflösung und eine Mehrzahl von Teilbildern jeweils mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, zu erzeugen. Weitere Ausführungsbeispiele gemäß dem ersten Aspekt der vorliegenden Erfindung schaffen ein System zur Erfassung eines Merkmals eines Objekts, mit einem unbemannten Luftfahrzeug, zum Beispiel einer Drohne, wobei das unbemannte Luftfahrzeug ansteuerbar ist, um das Objekt abzufliegen, um zumindest einen Teil des Objekts durch zumindest eine Aufnahmeeinheit mit einer ersten Auflösung optisch zu erfassen, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt. Ferner ist das System ausgebildet, die Mehrzahl von Bildern auszuwerten, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren. Dabei ist das unbemannte Luftfahrzeug ansteuerbar, um diejenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, erneut mit einer zweiten Auflösung optisch zu erfassen, die höher ist als die eine erste Auflösung.

Weitere Ausführungsbeispiele gemäß dem zweiten Aspekt der vorliegenden Erfindung schaffen ein System zur Erfassung eines Merkmals eines Objekts, mit einem unbemannten Luftfahrzeug, zum Beispiel einer Drohne, wobei das unbemannte Luftfahrzeug ansteuerbar ist, um das Objekt abzufliegen und um zumindest einen Teil des Objekts durch die Aufnahmeeinheit optisch zu erfassen, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt. Darüber hinaus ist das das unbemannte Luftfahrzeug ansteuerbar, um für jeden Bereich ein Bild mit einer ersten Auflösung und eine Mehrzahl von Teilbildern jeweils mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, zu erzeugen. Ferner ist das System ausgebildet, um die Mehrzahl von Bildern auszuwerten, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren, und die Teilbilder derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, bereitzustellen, z.B. zur Klassifizierung oder Katalogisierung der erfassten Merkmale.

Ausführungsbeispiele gemäß dem ersten und zweiten Aspekt der vorliegenden Erfindung beruhen auf dem Kerngedanken, zur Erfassung eines Merkmals eines Objekts das Objekt abzufliegen und zumindest einen Teil des Objekts mit einer Aufnahmeeinheit mit einer ersten Auflösung zu erfassen und für diejenigen Bereiche des Objekts, die das Merkmal aufweisen, Aufnahmen mit einer zweiten Auflösung, die höher ist als die erste Auflösung, bereitzustellen, z.B. durch erneutes Erfassen eines solchen Bereichs (erster Aspekt) mit der zweiten Auflösung oder durch Erzeugen von mehreren Teilbildern mit der zweiten Auflösung für jeden Bereich und Bereitstellen derjenigen Teilbilder, die das Merkmal enthalten.

Bei dem Objekt kann es sich um ein großes und schwer zugängliches Objekt handeln, wie beispielsweise eine Windkraftanlage, eine Bohrinsel, eine Brücke, ein Kran, eine Fabrikanlage, eine Raffinerie oder ein Schiff. Bei dem Merkmal des Objekts kann es sich beispielsweise um Beschädigungen des Objekts handeln. Gemäß Ausführungsbeispielen kann ein erfindungsgemäßes Verfahren dazu verwendet werden, um diese Beschädigungen, zum Beispiel in Form von Rissen, Löchern, Abweichungen von geometrischen Normen, wie beispielsweise Verbiegungen, Rostbefall oder anderen Indikatoren, die einen Rückschluss auf die strukturelle Integrität des Objekts zulassen, zu erfassen.

Durch das Abfliegen des Objekts, beispielsweise mit einem unbemannten Luftfahrzeug, wie einer Drohne, kann ein solches Objekt mit geringem Zeit- und Ressourcenaufwand erfasst werden. Insbesondere kann beispielsweise auf den Einsatz von Menschen zur Erfassung selbst, wie beispielsweise Kletterer bei Windkraftanlagen, verzichtet werden, wodurch nicht nur Kosten eingespart werden können, sondern auch eine Gefährdung von Menschen vermieden werden kann. Darüber hinaus können durch das Abfliegen des Objekts Teile des Objekts erfasst werden, die ansonsten nicht erreichbar werden. Das Erfassen, zumindest eines Teils des Objekts, mit der ersten Auflösung und das erneute Erfassen von Bereichen des Objekts mit der zweiten Auflösung, die höher ist als die erste Auflösung, ermöglicht dabei einen guten Kompromiss zwischen Geschwindigkeit und Genauigkeit der Merkmalserfassung, da beispielsweise nicht das gesamte Objekt mit der höheren Auflösung abgetastet werden muss, was einen hohen Zeit- und Datenaufwand mit sich bringen kann, sondern nur Bereiche, bei denen auf Grundlage der Erfassung mit der ersten Auflösung Beschädigungen nicht ausgeschlossen werden konnten, oder bei denen Beschädigungen wahrscheinlich sind. In anderen Worten besteht ein erfindungsgemäßer Ansatz darin, nach einem Erfassen und Klassifizieren von Bildern eines Objekts von denjenigen Bereichen des Objekts, die einen Fehler oder ein anderes interessierendes Merkmal enthalten, neue Bilder mit höherer Auflösung zu erzeugen.

Auf Grundlage einer Mehrzahl von Bildern mit der ersten Auflösung kann in einfachen Worten eine Groberfassung des Objekts bzw. von Merkmalen des Objekts erfolgen. Diese Bilder können im Hinblick auf das Merkmal, wie beispielsweise eine Beschädigung, ausgewertet und klassifiziert werden, um diejenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, mit der zweiten, höheren Auflösung, erneut zu erfassen. Auf Grundlage von Bildern mit der zweiten Auflösung können somit mit hoher Genauigkeit, beispielsweise auch kleine Beschädigung erkannt werden. Die Auswertung der Mehrzahl von Bildern kann dabei automatisiert, beispielsweise auf Grundlage von Ansätzen aus dem Machine Learning (maschinelles Lernen), oder manuell, beispielsweise durch einen Menschen, erfolgen. Ferner kann die Auswertung der Mehrzahl von Bildern auch teilautomatisiert erfolgen, bspw. mit automatisierten Verfahren, welche einen Menschen bei der Auswertung unterstützen.

Dabei kann ein erneutes Abfliegen nach einer Auswertung der Mehrzahl von Bildern am Boden, um neue Bilder mit der zweiten Auswertung zu erzeugen, durchgeführt werden, oder die Auswertung während des Flugs, also dem Abfliegen des Objekts und optisches Erfassen zumindest eines Teils des Objekts, erfolgen. Um neue Bilder mit höherer Auflösung zu erzeugen, kann der Abstand der Aufnahmeeinheit zum Objekt reduziert werden oder eine Änderung einer Zoomeinstellung der Aufnahmeeinheit stattfinden. Darüber hinaus kann, z.B. auf Grundlage einer vorigen Bildklassifikation, ein Rasterbild erzeugt werden, wobei jedes Teilbild des Rasterbildes die zweite, höhere Auflösung aufweist.

Ferner kann jedoch auch, beispielsweise unabhängig von einer Auswertung der Bilder bezüglich der Merkmale, für Bilder einer Erfassung eines Teils des Objekts, mit der ersten Auflösung, eine Mehrzahl von Teilbildern jeweils mit der zweiten Auflösung erzeugt werden. Somit kann bei einem einzelnen Abfliegen des Objekts die gesamte Datenmenge zur Auswertung, zum Beispiel im Hinblick auf Beschädigung des Objekts, erzeugt werden. Dies kann beispielsweise Vorteile aufweisen, wenn eine Drohne zum Abfliegen und Erfassen des Objekts nur eine geringere Rechenleistung zur Verfügung hat, welche nicht ausreicht um die Bilder auszuwerten, aber dafür dazu ausgebildet ist eine große Menge Daten zu erfassen und zu speichern. Ferner kann somit eine ganzheitliche Abtastung des Objekts erstellt werden, welche beispielsweise aus einer Vielzahl von Bildern mit der ersten Auflösung besteht, wobei zu einer Vielzahl oder sogar jedem Bild der Bilder mit der ersten Auflösung eine Vielzahl von Teilbildern mit der zweiten Auflösung bereitsteht, sodass ein Datensatz mit mehrstufiger Genauigkeit zur Objektbeschreibung bereitsteht. Dies kann beispielsweise bei besonders sicherheitskritischen Applikationen Vorteile aufweisen, bei denen ein lückenloser Nachweis über den Zustand des Objekts notwendig ist. Ferner kann durch einen solchen Datensatz eine intuitive Möglichkeit zur Auswertung, zum Beispiel für einen Menschen, geschaffen werden. Zur Überprüfung auf Beschädigungen kann der Mensch beispielsweise aus einer Übersicht des Objekts in Form eines 3-D Modells, bestehend aus den Bildern der ersten Auflösung, Teile des Objekts durch, für eine Vielzahl oder sogar allen Bildern der ersten Auflösung, hinterlegte Teilbilder mit der zweiten Auflösung, schnell wichtige Bereiche des Objekts genauer betrachten.

Analog zu den vorherigen Erläuterungen können jedoch auch die Mehrzahl von Bilder mit der ersten Auflösung, als auch die Mehrzahl von Teilbildern mit der zweiten Auflösung bspw. automatisiert ausgewertet werden, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren, sodass bspw. dem Menschen, Teilbilder derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, bereitgestellt und bspw. hervorgehoben werden können. In einfachen Worten können Bilder mit der ersten Auflösung zusammen mit hochaufgelösten Rasterbildern mit der zweiten Auflösung erzeugt werden, die Bilder klassifiziert werden und anhand der Klassifizierung Teilbilder, also beispielsweise Rasterbild von den Bildern, die fehlerhafte Bereiche darstellen bereitgestellt werden. Dabei sei darauf hingewiesen, dass die Auswertung der Mehrzahl von Bilder und/oder Teilbildern automatisiert oder teilautomatisiert oder manuell erfolgen kann.

In anderen Worten kann beim ersten Abfliegen zusätzlich zu den für die Auswertung, z.B. eine Auswertung am Boden mittels eines Laptops, notwendigen ersten Bildern, zu jedem Bild bspw. automatisch auch ein höher aufgelöstes Rasterbild, also bspw. eine Mehrzahl von Teilbildern jeweils mit der zweiten Auflösung, erzeugt werden. Bei Verwendung eines unbemannten Luftfahrzeugs, bspw. einer Drohne, welche die Aufnahmeeinheit umfasst, kann dazu die Drohne an einem Wegpunkt ihrer Flugtrajektorie stoppen, das erste Bild erzeugen und danach bspw. sofort aus derselben Position das hochaufgelöste Rasterbild erzeugen. Zur Erhöhung der Auflösung kann dabei bspw. ein Zoomobjektiv eingesetzt werden. Ferner kann die Aufnahmeeinheit zur Erhöhung der Auflösung auch eine Mehrzahl von Kameras aufweisen, bspw. zwei oder drei Kameras. Darüber hinaus kann die Aufnahmeeinheit, zur Erhöhung der Auflösung eine Mehrzahl von Linsen oder Kameralinsen (Multilens. Kamera, Muli-Linsen-Kamera) aufweisen. Nach Klassifizierung nach Bildern, die Merkmale enthalten, können dann direkt aus den Rasterbildern die hochaufgelösten Bilder mit den Merkmalen dargestellt werden. D.h. es muss kein zweiter Flug stattfinden, da alle notwendigen höchstaufgelösten Bilder bereits vorliegen und nur noch die Auswahl getroffen werden muss. Darüber hinaus kann ein bspw. automatisiertes Auswerten der Bilder, beispielsweise der Bilder mit der ersten Auflösung, oder der Bilder mit der zweiten Auflösung während oder nach dem Abfliegen des Objekts durchgeführt werden. Je nach Applikation oder vorhandener Hardware kann somit beispielsweise im Flug, direkt nach dem Erfassen eines Bildes mit der ersten Auflösung, durch eine Auswertung des Bildes beziehungsweise Klassifikation des Bildes entschieden werden, ob weitere Bilder mit der zweiten, höheren Auflösung des zugehörigen Bereichs des Objekts erfasst werden. Ferner kann, wie zuvor erklärt, auch für zumindest einen Teil des Objekts sowohl ein oder mehrere Bilder mit der ersten Auflösung und zugehörig zu einem oder mehreren Bildern mit der ersten Auflösung eine Vielzahl von Bildern mit der zweiten, höheren Auflösung erzeugt werden und die Auswertung bzw. Klassifikation im Flug, also beim Abfliegen, oder nach dem Abfliegen auf Grundlage einer beliebigen Kombination der Bilder erfolgen.

Die Auswertung, bzw. Klassifikation kann auch nach dem Abfliegen des Objekts, also nach dem Abfliegen des Objekts, zur Erzeugung der Bilder mit der ersten Auflösung und vor einem erneuten Abfliegen des Objekts zur Erzeugung von Bildern mit der zweiten Auflösung auf einem externen Rechner, also beispielsweise einem Rechner, z.B. Laptop, der nicht Teil der Aufnahmeeinheit oder eines unbemannten Luftfahrzeugs, wie beispielsweise einer Drohne, ist, durchgeführt werden.

Somit ermöglichen Verfahren gemäß der vorliegenden Erfindung eine genaue Abtastung eines Objekts mit geringem Zeit-, und Ressourcenaufwand.

Bei weiteren Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung wird der Schritt (b) nach dem Abfliegen des Objekts durchgeführt und der Schritt (c) umfasst ein Anfliegen derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten. Durch das bspw. automatisierte Auswerten der Mehrzahl der Bilder nach dem Abfliegen des Objekts kann auf Grundlage der Bilder mit der ersten Auflösung aus Schritt (a) eine Vorverarbeitung stattfinden, auf Grundlage derer Schritt (c) durchgeführt werden kann, sodass beispielsweise nur diejenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, erneut mit der zweiten Auflösung erfasst werden. Damit kann eine signifikante Zeit- und Datenersparnis erzielt werden.

Durch das bspw. automatisierte Auswerten der Mehrzahl von Bildern nach dem Abfliegen des Objekts, kann die Auswertung darüber hinaus auf einem externen Rechner erfolgen, sodass ein beispielsweise unbemanntes Luftfahrzeug zum Abfliegen des Objekts nur geringe Hardwareanforderungen erfüllen muss. Ferner kann insbesondere bei großen Objekten ein Wiederherstellen der Flugfähigkeit des Luftfahrzeugs nach dem Abfliegen notwendig sein, was zeitsparend gleichzeitig mit der Auswertung durchgeführt werden kann. Der Schritt (c) kann ferner nach dem Schritt (b) und beispielsweise nach der zuvor erläuterten Zwischenlandung durchgeführt werden. In einfachen Worten kann die Auswertung der Bilder nach dem Flug erfolgen und anschließend ein erneutes Abfliegen des Objekts, um Bilder von den fehlerhaften Bereichen mit der höheren Auflösung zu erzeugen.

Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung erzeugt die Aufnahmeeinheit im Schritt (a) und im Schritt (c) jeweils ein Bild mit der gleichen Brennweite. Ferner wird das Objekt im Schritt (a) derart angeflogen, dass die Aufnahmeeinheit beim Erzeugen eines Bildes einen ersten Abstand zu dem Objekt aufweist, und dass das Objekt im Schritt (c) derart angeflogen wird, dass die Aufnahmeeinheit beim Erzeugen eines Bildes einen zweiten Abstand zu dem Objekt aufweist, der geringer ist als der erste Abstand.

Dadurch kann eine einfache und kostengünstige Aufnahmeeinheit, beispielsweise mit einer einzigen Brennweite, verwendet werden. Die Erhöhung der Auflösung wird dementsprechend durch eine Verringerung des Abstands von der Aufnahmeeinheit zum Objekt im Schritt (c) erzielt.

Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung wird das Objekt im Schritt (a) und im Schritt (c) derart angeflogen, dass die Aufnahmeeinheit beim Erzeugen eines Bildes den gleichen oder ähnlichen Abstand zu dem Objekt aufweist. Ferner erzeugt die Aufnahmeeinheit im Schritt (a) ein Bild mit einer ersten Brennweite und im Schritt (c) ein Bild mit einer zweiten Brennweite, wobei die zweite Brennweite größer ist als die erste Brennweite. Die Erhöhung der Auflösung kann dementsprechend durch eine Änderung der Brennweite eines Objektivs der Aufnahmeeinheit erfolgen, z.B. durch eine Änderung einer Zoomeinstellung oder dem Austausch des Objektivs. Die Aufnahmeeinheit kann beispielsweise bei einer Zwischenlandung umgerüstet werden, um Aufnahmen in Schritt (c) mit der zweiten Brennweite zu erfassen. Ferner kann die Aufnahmeeinheit jedoch auch mit Kameras unterschiedlicher Brennweite ausgerüstet sein, sodass die Schritte (a) und (c) auch während eines einzelnen Fluges durchgeführt werden können. Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung verwendet die Aufnahmeeinheit im Schritt (a) zumindest eines aus einer ersten Kamera mit der ersten Brennweite, eines ersten Objektiv mit der ersten Brennweite und/oder einer ersten Kameralinse mit der ersten Brennweite oder ein Zoomobjektiv mit einer ersten Zoomeinstellung gemäß der ersten Brennweite. Darüber hinaus umfasst der Schritt (c) ein Ersetzen der ersten Kamera der Aufnahmeeinheit durch eine zweite Kamera mit der zweiten Brennweite und/oder ein Ersetzen des ersten Objektivs der Aufnahmeeinheit durch ein zweites Objektiv mit der zweiten Brennweite und/oder ein Ersetzen der ersten Kameralinse der Aufnahmeeinheit mit einer zweiten Kameralinse mit der zweiten Brennweite oder ein Einstellen des Zoomobjektivs der Aufnahmeeinheit auf eine zweite Zoomeinstellung gemäß der zweiten Brennweite. Sowohl die Änderung der Kamera, des Objektivs und/oder der Kameralinse, als auch die Änderung der Zoomeinstellung kann dabei im Zuge einer Zwischenlandung oder auch während dem Abfliegen des Objekts, z.B. automatisiert, durchgeführt werden. Durch die Veränderung von zumindest eines aus Kamera, Objektiv, Kameralinse und/oder Zoomeinstellung kann eine Erhöhung der Auflösung ohne Änderung des Erfassungsabstands, also des Abstands der Aufnahmeeinheit vom dem Objekt, durchgeführt werden, sodass beispielsweise bei einem automatisierten oder autonomen Abfliegen des Objekts keine Veränderungen von Wegpunkten, welche die Trajektorie des Abfliegens festlegen, stattfinden muss.

Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung umfasst das erneute optische Erfassen des Bereichs im Schritt (c) das Erzeugen einer Mehrzahl von Teilbildern des Bereichs jeweils mit der zweiten Auflösung. Dabei kann der Schritt (c) beispielsweise insbesondere das zuvor beschriebene Anfliegen derjenigen Bereiche des Objekts umfassen, deren zugeordnete Bilder das Merkmal enthalten. In einfachen Worten kann somit eine Rasteraufnahme mit höherer Auflösung des entsprechenden Bereichs erzeugt werden. Somit können Beschädigungen zuverlässig und genau erkannt werden.

Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung ist jedem im Schritt (a) erzeugten Bild eine Positions- und/oder Lageinformation der Aufnahmeeinheit zugeordnet. Ferner werden im Schritt (c) die abzufliegenden Bereiche des Objekts unter Verwendung der Positions- und/oder Lageinformation der Bilder, die das Merkmal enthalten, bestimmt. Einfach ausgedrückt können Wegpunkte (Waypoints) für das erneute Abfliegen bzw. Anfliegen basierend auf den PositionsVLageinformationen der Aufnahmeeinheit erzeugt werden. Somit kann bei einem erneuten Anfliegen des Objekts eine Trajektorie erzeugt werden, welche beispielsweise nur noch Wegpunkte enthält, die zur Erfassung von Bereichen, welche mögliche Beschädigungen enthalten, geeignet sind. Dementsprechend kann erneutes An-bzw. Abfliegen des Objekts, zur Erzeugung von Bildern mit der zweiten Auflösung, mit geringem Zeitaufwand durchgeführt werden.

Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung wird das Objekt mit einem unbemannten Luftfahrzeug (UAV unmanned, uninhabited oder unpiloted aerial vehicle), zum Beispiel einer Drohne, abgeflogen, das die Aufnahmeeinheit umfasst. Ferner umfasst der Schritt (b) das Übertragen der im Schritt (a) erzeugten Bilder von dem unbemannten Luftfahrzeug auf einen Rechner, zum Beispiel einen Laptop-Computer, und das Auswerten der Bilder durch den Rechner. Das Auswerten der Bilder umfasst dabei ein automatisiertes Auswerten der Bilder, bspw. kann ein Teil der Auswertung automatisiert durchgeführt werden oder auch die gesamte Auswertung der Bilder. Bei einer ausreichend schnellen Datenübertragung zwischen Rechner und Luftfahrzeug kann das erneute optische Erfassen des Schrittes (c) während des Abfliegens aus Schritt (a) erfolgen, sodass eine Auswahl derjenigen Bereiche des Objekts, die mit der zweiten Auflösung erfasst werden, auf Grundlage der Bilder mit der ersten Auflösung während des Abfliegens stattfinden kann. Durch eine Auslagerung der Auswertung auf einen externen Rechner, bspw. einen Remote-Computer kann ein Luftfahrzeug mit geringeren Hardwareanforderungen verwendet werden. Darüber hinaus kann das Übertragen und Auswerten der Bilder durch den Rechner jedoch auch während einer Landung, zum Beispiel zur Vorbereitung auf das erneute Anfliegen des Objekts zur Erzeugung der Bilder mit der zweiten Auflösung durchgeführt werden.

Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung fliegt das unbemannte Luftfahrzeug das Objekt im Schritt (a) autonom ab. Ferner umfasst der Schritt (b) das Erzeugen von Wegpunkten unter Verwendung der Positions- und/oder Lageinformation der Bilder, die das Merkmal enthalten, und das Übertragen der Wegpunkte bspw. von dem zuvor beschriebenen Rechner, an das unbemannte Luftfahrzeug. Außerdem fliegt das unbemannte Luftfahrzeug im Schritt (c) die Bereiche des Objekts unter Verwendung der Wegpunkte autonom an. Dadurch kann eine vollautonome Erfassung des Objekts bzw. des Merkmals des Objekts durchgeführt werden. Durch die Wegpunkte kann eine zeiteffiziente Trajektorie geplant werden, durch die in Schritt (c) die entsprechenden Bereiche des Objekts mit der zweiten Auflösung erfasst werden können. Die Wegpunkte können bspw. auf Grundlage eines CAD-Modells des Objekts erstellt werden. Dabei kann das Modell durch die Erfassung des Objekts verbessert werden, und auf Grundlage dessen die Wegpunkte angepasst werden. Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung wird das Objekt mit einem unbemannten Luftfahrzeug, z.B. einer Drohne, autonom abgeflogen, das die Aufnahmeeinheit umfasst. Darüber hinaus umfasst das unbemannte Luftfahrzeug einen Rechner, wobei der Schritt (b) das Auswerten der Bilder und das Erzeugen von Wegpunkten unter Verwendung der Positions- und/oder Lageinformation der Bilder, die das Merkmal enthalten, durch den Rechner des unbemannten Luftfahrzeugs umfasst. Das Auswerten der Bilder umfasst dabei ein automatisiertes Auswerten der Bilder, die Auswertung kann also beispielsweise vollständig automatisiert oder teilautomatisiert erfolgen. Außerdem fliegt das unbemannte Luftfahrzeug im Schritt (c) die Bereiche des Objekts unter Verwendung der Wegpunkte autonom an. Durch das Bereitstellen der Rechenleistung zur Auswertung der Bilder und zur Erzeugung der Wegpunkte durch das unbemannte Luftfahrzeug kann die Erfassung des Objekts, bzw. des Merkmals des Objekts durch ein einziges und damit bspw. zeiteffizientes Abfliegen durchgeführt werden. Das Erzeugen der Wegpunkte kann dabei auch ein Adaptieren von bestehenden Wegpunkten umfassen, sodass das unbemannte Luftfahrzeug während dem Aufnehmen der Bilder auf Grundlage der Auswertung der Bilder die eigene Flugtrajektorie anpasst.

Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung werden die Schritte (a) bis (c) während des Abfliegens des Objekts derart durchgeführt, dass im Schritt (a) ein Bild eines Bereichs erzeugt wird und im Schritt (b) das im Schritt (a) erzeugte Bild vor der Erzeugung eines Bildes für einen weiteren Bereich klassifiziert wird. Darüber hinaus werden die Schritte (a) bis (c) während des Abfliegens des Objekts derart durchgeführt, dass wenn im Schritt (b) das Bild als das Merkmal enthaltend klassifiziert wird, im Schritt (c) der Bereich vor der Erzeugung des weiteren Bildes optisch erneut erfasst wird, bevor ein Bild für den weiteren Bereich erzeugt wird, und, dass wenn im Schritt (b) das Bild als das Merkmal nicht enthaltend klassifiziert wird, ein Bild für den weiteren Bereich erzeugt wird. Somit kann bei einem einzigen Abfliegen des Objekts das Merkmal bzw. das Objekt erfasst werden. Durch die Klassifikation der im Schritt (a) erzeugten Bilder kann das Aufnehmen von Bildern mit der zweiten, höheren Auflösung, welche das Merkmal, also beispielsweise eine Beschädigung des Objekts, nicht enthaltend vermieden werden, sodass lediglich relevante Informationen erfasst werden. In anderen Worten kann die Auswertung der Bilder während des Fluges durchgeführt werden und Bilder mit der höheren Auflösung bspw. nur von fehlerhaften Bereichen erzeugt werden. Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung erzeugt die Aufnahmeeinheit im Schritt (a) und im Schritt (c) jeweils ein Bild mit der gleichen Brennweite. Darüber hinaus wird das Objekt im Schritt (a) derart angeflogen, dass die Aufnahmeeinheit beim Erzeugen eines Bildes einen ersten Abstand zu dem Objekt aufweist. Ferner wird im Schritt (c) der Abstand der Aufnahmeeinheit zu dem Objekt auf einen zweiten Abstand reduziert, der geringer ist als der erste Abstand. In einfachen Worten wird die höhere Auflösung durch einen kleineren Abstand zum Objekt erzielt. Die Verringerung des Abstands kann beispielsweise einfach und schnell durch eine Anpassung der Flugtrajektorie realisiert werden.

Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung wird das Objekt im Schritt (a) derart angeflogen, dass die Aufnahmeeinheit beim Erzeugen eines Bildes einen ersten Abstand zu dem Objekt aufweist, und die Aufnahmeeinheit ein Bild mit einer ersten Brennweite erzeugt. Ferner ist im Schritt (c) der Abstand der Aufnahmeeinheit zu dem Objekt gleich oder ähnlich dem ersten Abstand, und die Aufnahmeeinheit erzeugt ein Bild mit einer zweiten Brennweite, die größer ist als die erste Brennweite. Somit kann beispielsweise bei einer autonomen Erfassung des Objekts der vorbestimmte Wegpunkt beibehalten werden, sodass keine zusätzliche Adaption der Flugtrajektorie notwendig ist. Dabei kann beispielsweise lediglich die Zeitdauer erhöht werden, während derer sich das unbemannte Luftfahrzeug an dem entsprechenden Wegpunkt befindet, um Bilder mit einer zweiten Auflösung zu erzeugen. Der Abstand der Aufnahmeeinheit zu dem Objekt in Schritt (c) kann dabei im Vergleich zum ersten Abstand ähnlich oder sogar gleich sein, sodass eine Auflösungsverbesserung aufgrund einer Änderung der Brennweite im Vergleich zu einer Auflösungsverbesserung aufgrund einer Abstandsänderung überwiegt. Die beiden Abstände können um wenige Prozent, z.B. um weniger als 5% oder weniger als 10 % oder weniger als 20%, voneinander abweichen. Es sei jedoch darauf hingewiesen, dass der vorbestimmte Wegpunkt bzw. die Flugtrajektorie gemäß Ausführungsbeispielen auch variiert oder angepasst werden kann.

Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung umfasst die Aufnahmeeinheit zumindest eines aus einer Mehrzahl von Objektiven, einem Zoomobjektiv, einer Mehrzahl von Kameras und einer Mehrzahl von Kameralinsen . Ferner verwendet die Aufnahmeeinheit im Schritt (a) eine erste Kamera, ein erstes Objektiv, und/oder eine erste Kameralinse, mit der ersten Brennweite oder stellt das Zoomobjektiv auf eine erste Zoomeinstellung gemäß der ersten Brennweite ein. Darüber hinaus verwendet die Aufnahmeeinheit im Schritt (c) eine zweite Kamera, ein zweites Objektiv und/oder eine zweite Kameralinse mit der zweiten Brennweite oder stellt das Zoomobjektiv auf eine zweite Zoomeinstellung gemäß der zweiten Brennweite ein. Diese Anpassungen können automatisiert während des Flugs durchgeführt werden, sodass beispielsweise mit einem einzigen Abfliegen des Objekts das Merkmal des Objekts erfasst werden kann. Die Zoomeinstellung und/oder die Auswahl der Kamera, des Objektivs und/oder der Kameralinse können dabei beispielsweise mit den Wegpunkten und/oder einem zeitlichen Ablauf des Flugs verknüpft werden.

Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung umfasst das erneute optische Erfassen des Bereichs im Schritt (c) das Erzeugen einer Mehrzahl von Teilbildern des Bereichs jeweils mit der zweiten Auflösung. Die Mehrzahl von Teilbildern bestimmen kann dementsprechend in einfachen Worten eine Rasteraufnahme mit höherer Auflösung bilden, sodass beispielsweise zugehörig zu einem Bild mit der ersten Auflösung eine Mehrzahl von Detailbildern erzeugt werden kann.

Bei Ausführungsbeispielen gemäß dem ersten Aspekt der vorliegenden Erfindung wird das das Objekt mit einem unbemannten Luftfahrzeug, z.B. einer Drohne, autonom abgeflogen, das die Aufnahmeeinheit umfasst. Ferner umfasst das unbemannte Luftfahrzeug einen Rechner, wobei der Schritt (b) das Auswerten der Bilder durch den Rechner des unbemannten Luftfahrzeugs umfasst. Das Auswerten der Bilder umfasst dabei ein automatisiertes Auswerten der Bilder, die Auswertung kann also beispielsweise vollständig automatisiert oder teilautomatisiert erfolgen. Durch die Bereitstellung der Rechenleistung durch das Luftfahrzeug kann beispielsweise mit einem einzigen Abfliegen des Objekts das Merkmal des Objekts erfasst werden, sodass das Verfahren besonders zeiteffizient durchgeführt werden kann. Darüber hinaus kann das Luftfahrzeug durch die Rechenleistung die eigene Trajektorie, beispielsweise in Form der Wegpunkte, adaptiv, auf Grundlage der Auswertungsergebnisse planen. Somit kann eine vollautonome Erfassung des Merkmals des Objekts durchgeführt werden.

Ausführungsbeispiele gemäß dem ersten Aspekt der vorliegenden Erfindung weisen den folgenden Schritt (d) auf, wobei der Schritt (d) ein Übertragen der im Schritt (c) erzeugten Bilder an eine Auswertungseinheit, z.B. zur Klassifizierung oder Katalogisierung der erfassten Merkmale, umfasst. Die Bilder mit der höheren Auflösung, welche im Schritt (c) erzeugt werden, können zur Auswertung der Merkmale des Objekts, also beispielsweise von Beschädigungen des Objekts, wie zu Beispiel Rissen, an eine Auswertungseinheit, wie beispielsweise einem externen Rechner, übertragen werden. Diese Information kann dann beispielsweise in ein bestehendes Modell des Objekts eingepflegt werden. Ferner können von der Auswertungseinheit auch weitere Instruktionen an das unbemannte Luftfahrzeug zurückgesendet werden, zum Beispiel bei der Erkennung eines bestimmten Typs von Beschädigung, ein erneutes Anfliegen und Erfassen der Beschädigung, beispielsweise mit anderen Messmethoden. Im Falle einer Windkraftanlage könnte beispielsweise auf Grundlage einer Bildauswertung eine elektrische Vermessung der Blitzschutzvorrichtung der Windkraftanlage durchgeführt werden.

Bei Ausführungsbeispielen gemäß dem zweiten Aspekt der vorliegenden Erfindung wird das Objekt im Schritt (a) derart angeflogen, dass die Aufnahmeeinheit beim Erzeugen eines Bildes und der Teilbilder einen festgelegten Abstand zu dem Objekt aufweist. Ferner erzeugt die Aufnahmeeinheit im Schritt (a) das Bild mit einer ersten Brennweite und die Teilbilder mit einer zweiten Brennweite, die größer ist als die erste Brennweite. In anderen Worten erfolgt die Erhöhung der Auflösung durch eine Änderung der Brennweite.

Bei Ausführungsbeispielen gemäß dem zweiten Aspekt der vorliegenden Erfindung umfasst die Aufnahmeeinheit ein Zoomobjektiv, das beim Erzeugen des Bildes eine erste Zoomeinstellung gemäß der ersten Brennweite verwendet, und das beim Erzeugen der Teilbilder eine zweite Zoomeinstellung gemäß der zweiten Brennweite verwendet. Die Änderung der Zoomeinstellung kann während des Fluges durchgeführt werden, sodass sowohl die Bilder mit der ersten, als auch mit der zweiten Auflösung von den gleichen Wegpunkten der Flugtrajektorie aus gemacht werden können. Diese Art der Erzeugung der Teilbilder kann dementsprechend besonders zeiteffizient durchgeführt werden.

Bei Ausführungsbeispielen gemäß dem zweiten Aspekt der vorliegenden Erfindung wird das Objekt mit einem unbemannten Luftfahrzeug, z.B. einer Drohne, autonom abgeflogen, das die Aufnahmeeinheit umfasst. Darüber hinaus umfasst der Schritt (b) das Übertragen der im Schritt (a) erzeugten Bilder und Teilbilder von dem unbemannten Luftfahrzeug auf einen Rechner, z.B. einen Laptop-Computer, und das Auswerten der Bilder durch den Rechner. Das Auswerten der Bilder umfasst dabei ein automatisiertes Auswerten der Bilder, die Auswertung der Bilder kann beispielsweise vollständig automatisiert oder teilautomatisiert erfolgen. Ferner umfasst der Schritt (c) das Bereitstellen der Teilbilder des dem Bereich zugeordneten Bildes durch den Rechner. Die Auswertung kann dabei beispielsweise mit Methoden des maschinellen Lernens durchgeführt werden. In einfachen Worten werden somit durch das erfindungsgemäße Verfahren klassifizierte Bilder sowie Detailbilder in Form der Teilbilder erzeugt und durch den Rechner bereitgestellt. Dadurch kann eine beispielsweise intuitive Aus- bzw. Bewertung des Merkmals, also beispielsweise einer Beschädigung, durchgeführt werden.

Bei Ausführungsbeispielen gemäß dem zweiten Aspekt der vorliegenden Erfindung wird das Objekt mit einem unbemannten Luftfahrzeug, z.B. einer Drohne, autonom abgeflogen, das die Aufnahmeeinheit umfasst. Darüber hinaus umfasst das unbemannte Luftfahrzeug einen Rechner, wobei der Schritt (b) das Auswerten der Bilder und der Teilbilder durch den Rechner des unbemannten Luftfahrzeugs umfasst. Das Auswerten der Bilder (B1 -B4) und der Teilbilder (B1 1 -B44) umfasst dabei ein automatisiertes Auswerten der Bilder (B1 -B4) und der Teilbilder (B1 1 -B44). Die Bilder und Teilbilder können also bspw. teilautomatisiert oder vollständig automatisiert ausgewertet werden. Ferner überträgt das unbemannte Luftfahrzeug im Schritt (c) die Teilbilder an eine Auswertungseinheit, z.B. zur Klassifizierung oder Katalogisierung der erfassten Merkmale. Durch das Auswerten der Bilder und der Teilbilder durch das unbemannte Luftfahrzeug kann mit verringertem Zeitaufwand während des Abfliegens des Objekts bereits das Merkmal des Objekts erfasst werden. Die klassifizierten oder katalogisierten Merkmale können dann von der Auswertungseinheit bspw. direkt einem Menschen zur Bewertung bereitgestellt werden, der bspw. wiederum noch während des Fluges des Luftfahrzeugs weitere Erfassungen, z.B. mit nicht-optischen Messmethoden (z.B. Blitzschutzmessung und/oder Feuchtigkeitsmessung), von relevanten Bereichen einleiten kann.

Bei Ausführungsbeispielen gemäß dem ersten und/oder zweiten Aspekt der vorliegenden Erfindung umfasst das zu erfassende Merkmal ein Fehler des Objekts oder ein vorbestimmtes Element des Objekts. Bei dem Fehler kann es sich beispielsweise um einen Riss, ein Loch, Rostbefall, Lackschäden oder andere optische erkennbare Oberflächenveränderungen handeln. Ferner kann es sich bei dem Merkmal auch um ein vorbestimmtes Element des Objekts handeln, wie beispielsweise eine charakteristische Geometrie des Objekts, beispielsweise im Falle eines Windrades die Flügelspitzen oder die Rotorflanschen oder aber um ein bestimmtes Bauteil wie eine Niete oder Schraube. Bei manchen Applikationen kann es vorteilhaft sein, entsprechende vorbestimmte Elemente möglichst genau zu erfassen, beispielsweise um ein möglichst präzises 3-D Modell des Objekts zu erstellen, oder Beschädigung und Normabweichungen auszuschließen.

Bei Ausführungsbeispielen gemäß dem ersten und/oder zweiten Aspekt der vorliegenden Erfindung umfasst Schritt (b) eine Kl oder maschinelles Lernen. Derartige Verfahren können mit hoher Geschwindigkeit in geringem Ressourcenaufwand Bilder auswerten bzw. kategorisieren, zum Beispiel im Hinblick auf das Vorhandensein eines Merkmals eines Objekts. Darüber hinaus kann ein erfindungsgemäßes Verfahren mit einem bekannten Referenzobjekt bzw. einem bekannten Referenzmerkmal zur Erstellung von Trainingsdaten für entsprechende Verfahren herangezogen werden. Die Kl oder das maschinelle Lernen kann dabei allein oder zur Unterstützung eines Menschen verwendet werden. Derartige Verfahren ermöglichen eine große Zeitersparnis, insbesondere im Hinblick auf eine große Zahl auszuwerten der Bilder bei großen Objekten, wie beispielsweise einer Bohrinsel oder einem Windrad.

Bei Ausführungsbeispielen gemäß dem ersten und/oder zweiten Aspekt der vorliegenden Erfindung umfasst das Objekt eine Energieerzeugungsanlage, z.B. eine Windkraftanlage oder eine Solaranlage, oder eine Industrieanlage, z.B. eine Bohrinsel, eine Fabrikanlage, eine Raffinerie, oder ein Gebäude, z.B. ein Hochhaus, oder eine Infrastruktureinrichtung, z.B. eine Brücke. Ferner kann es sich bei dem Objekt auch beispielsweise um ein Kran handeln. Insbesondere kann ein erfindungsgemäßes Verfahren beispielsweise im Hinblick auf eine Industrieanlage im laufenden Betrieb durchgeführt werden, ohne dass ein Mensch gefährdet wird oder der Betrieb eingestellt werden muss.

Bei Ausführungsbeispielen gemäß dem ersten Aspekt und/oder zweiten Aspekt der vorliegenden Erfindung ist das unbemannte Luftfahrzeug, z.B. eine Drohne, ausgebildet, um die Mehrzahl von Bildern an einen externen Rechner, z.B. einen Laptop-Computer, zu übertragen, der die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, klassifiziert. Ferner ist das unbemannte Luftfahrzeug, ausgebildet, um von dem externen Rechner Informationen zu empfangen, die die mit der zweiten Auflösung optisch zu erfassenden Bereiche des Objekts anzeigen. Auf Grundlage der Informationen des externen Rechners kann das unbemannte Luftfahrzeug dementsprechend Bilder der jeweiligen Bereiche mit der zweiten Auflösung erzeugen. Die Kommunikation, sowie die Verwendung der Informationen kann dabei während des Flugs stattfinden, zum Beispiel während dem Abfliegen und dem Erzeugen der Bilder mit der ersten Auflösung des Objekts, oder während einer Zwischenlandung, bspw. zwischen dem Abfliegen des Objekts zur Erzeugung der Bilder mit der ersten Auflösung und einem erneuten Anfliegen des Objekts zur Erzeugung von Bildern von ausgewählten Bereichen des Objekts mit der zweiten Auflösung. Die Zwischenlandung kann ferner zur Wiederherstellung der Flugfähigkeit des unbemannten Luftfahrzeugs genutzt werden, bspw. zum Wechseln der Batterien einer Drohne. Der Rechner kann darüber hinaus auch die Trajektorienplanung des unbemannten Luftfahrzeugs, zum Beispiel für einen autonomen Flug bereitstellen und die zuvor erläuterte Auswerteeinheit bilden.

Bei Ausführungsbeispielen gemäß dem ersten und/oder zweiten Aspekt der vorliegenden Erfindung weist das unbemanntes Luftfahrzeug, z.B. eine Drohne, einen Rechner auf, der ausgebildet ist, die Mehrzahl von Bildern auszuwerten, um die erzeugten Bilder in die Bilder, die das Merkmal nicht enthalten, und in die Bilder, die das Merkmal enthalten, zu klassifizieren. Dadurch kann die Drohne unabhängig von einer ausreichend schnellen Kommunikationsverbindung zu einem externen Rechner sein. Ferner kann durch eine Auswertung der Mehrzahl der Bilder während des Fluges eine Zeitersparnis erzielt werden.

Fiourenkurzbeschreibuno

Ausführungsbeispiele gemäß der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Figuren näher erläutert. Hinsichtlich der dargestellten schematischen Figuren wird darauf hingewiesen, dass die dargestellten Funktionsblöcke sowohl als Elemente oder Merkmale der erfindungsgemäßen Vorrichtung als auch als entsprechende Verfahrensschritte des erfindungsgemäßen Verfahrens zu verstehen sind, und auch entsprechende Verfahrensschritte des erfindungsgemäßen Verfahrens davon abgeleitet werden können. Es zeigen:

Fig. 1 eine schematische Darstellung eines Objekts und einer Aufnahmeeinheit mit einer Flugtrajektorie gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig.2 eine schematische Darstellung eines Ausschnitts von Fig. 1 mit veränderter Flugtrajektorie gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 3 eine schematische Darstellung einer Bildklassifikation gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;

Fig. 4 eine schematische Seitenansicht einer Windkraftanlage mit einer Beschädigung, die mit Hilfe von Ausführungsbeispielen gemäß der vorliegenden Erfindung erfasst wird; Fig. 5 ein Ablaufdiagramm eines Verfahrens zur Erfassung eines Merkmals eines Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und

Fig. 6 ein Ablaufdiagramm eines weiteren Verfahrens zur Erfassung eines Merkmals eines Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.

Detaillierte Beschreibung der Ausführungsbeispiele gemäß den Figuren

Bevor nachfolgend Ausführungsbeispiele der vorliegenden Erfindung im Detail anhand der Zeichnungen näher erläutert werden, wird darauf hingewiesen, dass identische, funktionsgleiche oder gleichwirkende Elemente, Objekte und/oder Strukturen in den unterschiedlichen Figuren mit den gleichen oder ähnlichen Bezugszeichen versehen sind, so dass die in unterschiedlichen Ausführungsbeispielen dargestellte Beschreibung dieser Elemente untereinander austauschbar ist bzw. aufeinander angewendet werden kann.

Fig. 1 zeigt ein Objekt 110, ein unbemanntes Luftfahrzeug 120 mit einer Aufnahmeeinheit 130, sowie einen Rechner 140. Das Luftfahrzeug 120 ist dabei lediglich als optional anzusehen, als mögliche Umsetzung einer beweglichen Aufnahmeeinheit, beispielsweise in Form einer Drohne mit einer Kamera.

Ausgehend von einem Startpunkt S fliegt das Luftfahrzeug 120 das Objekt ab, um ein oder mehrere Merkmal 1 10a zu erfassen. Die Flugtrajektorie ist mit den Wegpunkten WP1 bis WP4 gekennzeichnet. Die Flugtrajektorie kann beispielsweise aus einer vorhergehenden Trajektorienplanung stammen. Dabei kann beispielsweise anhand eines 3-D Modells des Objekts 1 10 eine Wegpunktgenerierung, zum Beispiel durch Rechner 140, durchgeführt werden, welche dem Luftfahrzeug 120 über eine Verbindung 140a bereitgestellt wird. Dabei sei darauf hingewiesen, dass der Rechner 140 auch Teil des Luftfahrzeugs 120 sein kann, sodass das Luftfahrzeug beispielsweise autonom die eigene Trajektorie plant. Ferner kann die Trajektorie jedoch auch von einem menschlichen Piloten manuell vorgegeben werden, zum Beispiel in Ermangelung eines 3-D Modells des Objekts 110.

Beim Abfliegen des Objekts 110 erfasst die Aufnahmeeinheit 130 die Vorderseite 110b des Objekts 1 10 oder allgemeiner ausgedrückt einen Teil des Objekts. Dabei erzeugt die Aufnahmeeinheit 130 eine Mehrzahl von Bildern B1 -B4 mit einer ersten Auflösung, wobei jedes Bild zumindest teilweise einen unterschiedlichen Bereich des Objekts 110 bzw. der Vorderseite 110b des Objekts darstellt. Dementsprechend können sich die Bilder B1 -B4 ,wie in Fig. 1 gezeigt, teilweise überlappen, oder anders ausgedrückt eine Information über einen teilweise gleichen Bildausschnitt bzw. über einen teilweise gleichen Bereich des Objekts aufweisen. Ferner können sich die Bilder jedoch auch nicht überlappen. Als Beispiel in Fig. 1 ist jeder der Wegpunkte WP1 -WP4 mit einem der Bilder B1 -B4 assoziiert. Einfach ausgedrückt kann eine Vielzahl von Wegpunkten festgelegt werden von derer aus das Objekt erfasst, zum Beispiel fotografiert wird.

Zur Erfassung des Merkmals 1 10a stehen erfindungsgemäß eine Vielzahl von Verfahren und Verfahrensschritten zur Verfügung, deren Merkmale, sofern nicht anders angegeben, untereinander austauschbar, und miteinander in beliebiger Kombination verwendbar sind. Einige erfindungsgemäße Möglichkeiten sollen im Folgenden unter Zuhilfenahme der Figuren 2 und 3 erläutert werden. Dies stellt jedoch keine einschränkende Liste von Verfahrensschritten dar, sondern soll lediglich zum besseren Verständnis von erfindungsgemäßen Konzepten und deren Ausprägungen dienen.

Fig. 2 zeigt die Bilder B1 -B4 mit der ersten Auflösung. Die Bilder B1 -B4 werden in Bilder 210, die das Merkmal 110a nicht enthalten, umfassend Bilder B1 , B3, B4 und in Bilder 220, die das Merkmal 1 10a enthalten, umfassend Bild B2, klassifiziert 140c. Die Klassifikation ist in Fig. 2 als Beispiel mit Rechner 140 umgesetzt, kann von einer beliebigen Klassifikationseinheit durchgeführt werden. Die Klassifikation kann insbesondere mit Methoden des maschinellen Lernens umgesetzt werden. Die Klassifikation kann bspw. mit künstlicher Intelligenz (Kl bzw. artifizielle Intelligenz (AI)) durchgeführt werden.

Die Ergebnisse der Klassifikation können dabei wiederum, wie in Fig. 1 gezeigt, während des Fluges an das Luftfahrzeug 120 bzw. die Aufnahmeeinheit 130 kommuniziert 140b werden, oder können nach dem Abfliegen des Objekts 110 und der anschließenden Landung am Startpunkt S kommuniziert 140a werden. Es sei nochmals darauf hingewiesen, dass der Rechner 140 oder auch eine entsprechende Klassifikationseinheit Teil des Luftfahrzeugs 120 sein kann, sodass eine entsprechende Kommunikation 140a, 140b als optional anzusehen ist. Ferner ist die Bidirektionalität der in Fig. 1 gezeigten Kommunikation 140a, 140b ebenfalls optional, eine beliebige Kombination von Information kann von dem Luftfahrzeug zum Rechner oder umgekehrt übertragen werden. Je nach vorhandener Hardware kann so eine Vielzahl von möglichen Aufgabenverteilungen (bspw. im Hinblick auf eine Bildklassifikation, Berechnung von Wegpunkten, Klassifikation des Merkmals) zwischen Luftfahrzeug 120 und Rechner 140 realisiert werden und einen Kommunikation 140b, 140b dementsprechend ausgebildet sein.

Auf Grundlage der Klassifikation kann die Aufnahmeeinheit 130 den Bereich des Objekts 110, welcher das Merkmal enthält, durch das, dem Bereich zugeordnete, Bild B2, auf welchen das Merkmal 110a erkannt wurde, erneut, mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, optisch Erfassen.

Wird die Klassifikation während des Abfliegens des Objekts 110 durchgeführt so kann das Luftfahrzeug, nach dem Erzeugen des Bildes B2 und nach der Erkennung des Merkmals auf dem Bild B2, auf dem Wegpunkt WP2 bleiben und den entsprechenden Bereich des Objekts erneut erfassen. Das Luftfahrzeug 120 muss jedoch nicht auf dem Wegpunkt WP2 bleiben, sondern kann beispielsweise lediglich einen gleichen oder ähnlichen Abstand zu dem Objekt 1 10 aufrechterhalten. Zur Erhöhung der Auflösung beim erneuten Erfassen kann die Aufnahmeeinheit 130 die Brennweite erhöhen, zum Beispiel durch Anpassung einer Zoomeinstellung oder durch Ändern eines Objektivs. Dadurch kann ein Bild B21 mit höherer Auflösung, welches beispielsweise ein Teilbild des Bildes B2 ist, erzeugt werden. Dazu kann neben der Auswertung bezüglich einer Klassifikation der Bilder B1 -B4, welche das Merkmal 110a enthalten, auch die Position des Merkmals, durch Verwendung von Positions- und Lagedaten des Luftfahrzeugs 120 ausgewertet werden um die Aufnahmeeinheit 130 auf das Merkmal 1 10a auszurichten, zur Erzeugung des Bildes B21. Dabei sei darauf hingewiesen, dass das Bild B21 nicht zwingend einen Teilbereich des Bildes B2 umfassen muss. Der mit Bild B21 erfasste Bereich des Objekts kann bspw. nur in Abhängigkeit von der Position des Merkmals 110a gewählt werden, sodass der Bildausschnitt von Bild B21 unabhängig von Bereichen der Bilder B1 -B4 gewählt werden kann.

Ist beispielsweise die Position des Merkmals 110a nicht bekannt, so kann auch eine Menge von Teilbildern B21 -B24 mit der zweiten Auflösung erzeugt werden. Ferner kann auch unabhängig von einer Klassifikation und Erkennung des Merkmals 110a auf den Bildern B1 -B4 eine Vielzahl von Bereichen des Objekts, oder beispielsweise jeder Bereich des Objekts, durch eine Mehrzahl von Teilbildern des Bereichs jeweils mit der zweiten Auflösung erfasst werden (Bspw. für Bild B1 die Teilbilder B11 -B14, für Bild B2 die Teilbilder B21 -B24 usw.). Entsprechende Teilbilder können beispielsweise über die Kommunikation 140b an eine Auswerteeinheit, zum Beispiel in Form des Rechners 140, übertragen werden, bspw. zur Klassifizierung oder Katalogisierung des erfassten Merkmals 1 10a.

Alternativ kann die Klassifikation der Bilder B1 -B4 auch nach dem Abfliegen der Wegpunkte WP1 -WP4 und anschließendem Landen auf dem Startpunkt S erfolgen. Über die Kommunikation 140a kann dem Luftfahrzeug 120 anschließend auf Grundlage der Klassifikation und zugehöriger Position- und/oder Lageinformation über das Merkmal 110a eine zweite Flugtrajektorie 150 vorgegeben werden. Zum einfacheren Verständnis zeigt Fig. 1 Trajektorie 150 als Flug vom Startpunkt S zu Wegpunkt WP2 und zurück zum Startpunkt S. Am Wegpunkt WP2 erfolgt das zuvor erläuterte erneute Erfassen des Bereichs des Objekts. Dabei sei nochmals darauf hingewiesen, dass ein Bereich des Objekts, welcher das Merkmal 1 10a enthält mit einem einzelnen Bild B21 oder mit einem Raster von Teilbildern des Bildes B2, beispielsweise umfassend Teilbilder B21 -B24, mit der zweiten Auflösung aufgenommen werden kann. Die Erhöhung der Auflösung kann dabei wiederum durch eine Veränderung einer Zoomeinstellung oder durch eine Änderung des Objektivs der Aufnahmeeinheit 130 erzielt werden. Diese Anpassungen können beispielsweise manuell während der Landung, nach dem erstmaligen Abfliegen des Objekts 1 10 und vor dem Anfliegen des Objekts 1 10 über die Flugtrajektorie 150 durchgeführt werden. Der Flug selbst kann dabei wiederum autonom oder manuell erfolgen.

Zur Erhöhung der Auflösung beim erneuten Erfassen des Objekts, kann das Luftfahrzeug 120 bzw. die Aufnahmeeinheit 130 auch einen Abstand zu dem Objekt d verringern. Die sollen im Folgenden anhand Fig. 3 erläutert werden. Fig. 3 zeigt einen Ausschnitt von Fig. 1 mit dem Objekt 110, dem Luftfahrzeug 120, der Aufnahmeeinheit 130 und dem Rechner 140. Wegpunkt WP2 weist einen ersten Abstand di zum Objekt 1 10 auf. Zum erneuten Erfassen kann das Luftfahrzeug 120 sich dem Objekt auf Wegpunkt WP 2a nähern, sodass der Abstand auf den Abstand ds verringert wird. Dadurch kann das Objekts 1 10 bzw. der Bereich des Objekts, welcher das Merkmal 1 10 a aufweist, mit einer höheren Auflösung aufgenommen werden, beispielsweise ohne eine Veränderung einer Zoomeinstellung oder eines Auswechseln eines Objektivs.

Die Anpassung der Trajektorie des Luftfahrzeugs 120 kann dabei, wie optional in Fig. 3 gezeigt während des Fluges stattfinden. Durch eine Kommunikation 140b mit dem Rechner 140 kann nach der Klassifikation des Bildes B2 die Trajektorie während des Fluges verändert werden. Dabei kann die Aufnahmeeinheit bzw. das Luftfahrzeug das Bild B2 an den Rechner 140 kommunizieren und anschließend neue Wegpunkte WP2a zurückerhalten. Alternativ kann das Luftfahrzeug, wie zuvor erwähnt, selbst den Rechner 140 umfassen und die Klassifikation und Trajektorienanpassung selbst durchführen. Dabei sind auch beliebige Kombination möglich, sodass das Luftfahrzeug bzw. die Aufnahmeeinheit beispielsweise die Klassifikation eigenständig durchführen, das Klassifikationsergebnis an einen externen Rechner kommunizieren und Wegpunkte zurückerhalten kann. Eine entsprechende Trajektorienanpassung mit Abstandsverringerung kann erfindungsgemäß auch während einer Zwischenlandung über die Kommunikation 140a aus Fig. 1 erfolgen. Ferner kann die Flugtrajektorie auch a priori aus Wegpunkten mit unterschiedlichen Abständen zum Objekt 100 bestehen, sodass bspw. unabhängig von einer Klassifikation der Bilder bzw. einer Erkennung des Merkmals 1 10a ein Raster aus Teilbildern (B11 -B14, B21 -B24, etc.) für eine Vielzahl von Bereiche des Objekts mit der zweiten Auflösung erstellt wird, durch Verringerung des Abstands.

Weitere Ausführungsbeispiele umfassen eine Kl unterstützte Inspektion von Windrädern mit Drohnen und sollen im Folgenden anhand Fig. 4 erläutert werden. Fig. 4 zeigt eine Windkraftanlage 400 mit einem T urm 410, einer Gondel 420, einer Rotornabe 430, Rotoren bzw. Flügel 440, Rotorflügel- bzw. Flügelspitzen 450 und Rotorblattflansche 460. Einer der Rotoren 440 weist eine Beschädigung 110a auf. Diese Beschädigung 110a bzw. der Fehler kann beispielsweise ein Riss sein. Im Hinblick auf einen Fehlererkennung kann es sich bei der Beschädigung 110a um das Merkmal der Windkraftanlage, welches erfasst werden soll, handeln. Im Hinblick auf eine Erstellung eines Modells der Windkraftanlage 400, z.B. durch einen Kalibrierungsflug einer Drohne, kann es sich bei dem Flügelspitzen 450 und/oder den Rotorblattflanschen 460 um Merkmale der Windkraftanlage 400 handeln, welche erfasst werden sollen. Aus deren Erfassung kann bspw. über eine bekannte Position des Luftfahrzeugs zum Zeitpunkt der Erfassung und die Abbildungsgeometrie ein 3-D-Modell der Windkraftanlage erstellt werden. Aus diesem 3-D-Modell können wiederum Wegpunkte für autonome Inspektionsflüge generiert werden. Darüber hinaus sind erfasste Bilder 210 gezeigt, die das Merkmal nicht enthalten und erfasste Bilder 220, die das Merkmal enthalten, in Form von Bild 220a, für den Fall, dass es sich bei dem Merkmal um die Beschädigung 1 10a handelt und alternativ oder zusätzlich Bilder 220b, für den Fall, dass es sich bei dem Merkmal um die Flügelspitzen 450 handelt.

Für den Fall, dass es sich bei dem Merkmal um die Beschädigung 1 10a handelt, ist als Beispiel zur Verdeutlichung das Teilbild 470 eingetragen. Gemäß Ausführungsbeispielen können Bereiche, die mit Bildern 220a, welche das Merkmal enthalten, erneut mit einer höheren Auflösung erfasst werden, wobei jedoch nicht der gesamte zuvor abgetastete Bereich des Objekts erneut abgetastet werden muss, sondern auch lediglich nur ein Teilbereich des ursprünglichen Bildausschnittes bzw. des Bereichs des Objekts erfasst werden kann. Damit soll im Vergleich zu Fig. 1 darauf hingewiesen werden, dass ganz allgemein bei Ausführungsbeispielen nicht zwingend ein Bild Bx vollständig in Teilbilder Bxx, durch eine erneute Erfassung mit erhöhter Auflösung aufgeteilt werden muss. Ferner muss ein entsprechendes Teilbild 470 auch nicht vollständig innerhalb des Bildes mit der ersten Auflösung liegen, aus dessen Auswertung die Position des Merkmals erkannt wurde. Eine einfach ausgedrückt „Rastererfassung“ ist im Vergleich dazu für eine Erkennung der Flügelspitzen 450 für die Bilder 220b angedeutet.

Das Grundkonzept der Fehlererkennung bzw. Mustererkennung gemäß Ausführungsbeispielen erfolgt durch das Erkennen und den anschließenden Ausschluss der fehlerfreien Bereiche mithilfe von Kl. In anderen Worten erfolgt eine Fehlererkennung, also bspw. eine Erkennung der Beschädigung 110 a durch eine Erkennung von fehlerfreien Bereichen (Bilder 210), welche in diesem Zusammenhang als Muster bezeichnet werden, wobei mit dieser Mustererkennung z.B. auf den Fehler 1 10a zurückgeschlossen werden kann. Anschließend werden die von der Kl als nicht fehlerfrei, also als fehlerhaft und deswegen nicht ausgeschlossene Bereiche der Windkraftanlage 400 bzw. Muster, erneut angeflogen, zur Generierung von hochaufgelösten Fehlerbildern. Zum erneuten Anfliegen kann dabei eine automatische Generierung von Wegpunkten Verwendung finden. Bezugnehmend auf Fig. 2 werden also Bereiche des Objekts bzw. der Windkraftanlage 400, welche mit den Bildern 210 assoziiert sind ausgeschlossen, und Bereiche welche mit Bildern 220 assoziiert sind erneut angeflogen. Bei den hochaufgelösten Fehlerbildern kann es sich bezugnehmend auf Fig. 1 beispielsweise um das Bild mit der zweiten Auflösung B21 oder auch um die Vielzahl von Teilbildern B21 -B24 handeln. Wie bereits zuvor erläutert, kann die Generierung von hochaufgelösten Fehlerbildern durch den Einsatz von Zoomobjektiven und/oder durch ein näheres Anfliegen an die als nicht fehlerfrei erkannten Bereiche erfolgen. Ferner ist auch ein Austausch des Objektivs der Aufnahmeeinheit möglich.

Im Hinblick auf die Windkraftanlage 400 kann die Kl unterstützte Bild/Fehlererkennung bzw. Mustererkennung bspw. bei folgenden Aufgaben bzw. Missionen zum Einsatz kommen.

1. Kalibrierungsflug

2. Turminspektion 3. Flügelinspektion

Gemäß Ausführungsbeispielen kann die Kl Unterstützung in mehreren Stufen zum Einsatz kommen. Als Beispiel sollen im Folgenden drei Stufen erläutert werden, wobei Merkmale der einzelnen Stufen untereinander austauschbar und beliebig kombinierbar sind, sofern nicht anders angegeben. Sie sollen lediglich den Gedanken bezüglich der Verwendung von Kl im Hinblick auf die Merkmalserfassung erläutern und sind daher als nicht einschränkend anzusehen.

Stufe 1 :

Nach der Landung der Drohne und Übertragung der Bilddaten erfolgt eine anschließende Weiterverarbeitung der Bilddaten durch die Kl, welche auf einem Remote Computer (Laptop) rechnet, bzw. auf diesem läuft. Die Kl generiert Wegpunkte (Waypoints) für eine Inspektion bzw. einen Inspektionsflug, beispielsweise nach einem Kalibrierungsflug, oder Wegpunkte für einen Fehlerflug, also den Anflug an die Windkraftanlage 400, zur Erfassung des Fehlers 110a oder eines anderen Merkmals (bspw. Rotorspitzen 540) mit erhöhter Auflösung, nach einem Inspektionsflug.

Die Drohne führt den Inspektionsflug autonom durch und überträgt die Bilder nach der Landung, zum Beispiel beim Batteriewechsel, auf den Remote Computer. Die Bild/Fehlererkennung bzw. Mustererkennung erfolgt dann auf dem Remote Computer. Die Ergebnisse, zum Beispiel Wegpunkte für einen nachfolgenden Inspektionsflug, beispielsweise auf Basis eines generisch generierten CAD Modells der Windkraftanlage nach dem Kalibrierungsflug, oder Wegpunkte für den nachfolgenden Fehlerflug, also z.B. dem Anflug der erkannten Fehler 1 10a bspw. mit kurzem Abstand und Fotografieren der Fehler 100a mit hoher Auflösung, werden nach Berechnung an die Drohne zurückübertragen.

Stufe 2 Lokale Intelligenz:

Die Kl läuft bzw. rechnet auf einer zusätzlichen Recheneinheit in Echtzeit (Realtime) auf der Drohne und steuert den Inspektionsflug nach der Kalibrierung oder den Fehleranflug während des Inspektionsflugs. Bei der zusätzlichen Recheneinheit kann es sich beispielsweise um ein Add on GPU (graphics processing unit) Board (zusätzliche Grafikprozessor Platine) oder CPU (central processing unit, zentrale Verarbeitungseinheit) oder um spezielle Kl Boards handeln. Ferner kann auch der zuvor beschriebene Computer bzw. Rechner Teil der Drohne sein und somit die Hardware zum Betrieb der Kl bereitstellen. Die Drohne wird mit eigener lokaler Intelligenz ausgestattet, zum Beispiel durch die zusätzliche Recheneinheit, und führt die Berechnungen onboard, bspw. lokal auf der eigenen Drohnenhardware, in Echtzeit (Realtime) aus. Darüber hinaus kann die Drohne Aktionen, beispielsweise die Berechnung der Wegpunkte (Waypoints) für den nachfolgenden Inspektionsflug, direkt während des Kalibrierungsfluges ausführen und ferner dann bspw. direkt anschließend den Inspektionsflug durchführen. Fehler werden in Echtzeit erkannt und es erfolgt ein sofortiges, direktes Anfliegen oder reinzoomen an den erkannten Fehler und Fotografieren des Fehlers mit entsprechend hoher Auflösung. Danach wird der Inspektionsflug bis zum nächsten Fehler weitergeführt.

Unter Verwendung einer 300er DJI Drohne mit P1 Vollformat Kamera und 50mm Objektiv bzw. alternativ einem Zoomobjektiv, kann der Inspektionsflug beispielsweise mit einem Abstand zum Flügel 440 von 8 m und ein erneutes Anfliegen an den erkannten Fehler mit einem Abstand von 3 m durchgeführt werden.

Nach dem abgeschlossenen Inspektionsflug überträgt die Drohne die Daten, beispielsweise alle Bilddaten aus dem Inspektionsflug, welche zum Beispiel eine niedrige bzw. die erste Auflösung aufweisen (bspw. entsprechend Bildern B1 -B4 aus Fig. 1 ), und alle erstellten Fehler- bzw. Teilbilder, welche zum Beispiel eine hohe bzw. die zweite Auflösung aufweisen (bspw. eines oder mehrere der Teilbilder B11 , ... , B44 aus Fig. 1), an eine Cloud oder einen externen Rechner. Aus den Fehlerbildern können dann die Fehler 110a von einem Operator kategorisieren werden und die Fehlerprotokolle können interaktiv erstellt werden.

Stufe 3 Auswertung:

Erkannte und hochaufgelöste Fehlerbilder werden von der Kl kategorisiert. Die in der Cloud abgelegten Fehlerbilder können mithilfe der Kl automatisch kategorisiert und die Fehlerprotokolle automatisch erstellt werden. Entsprechend den verschiedenen Stufen der Kl Unterstützung, kann die Kl, wie im Folgenden erläutert bei den drei zuvor genannten Aufgaben im Einsatz kommen.

1. Kalibrierungsflug: Bei Ausführungsbeispielen ist das Grundprinzip der Kl Unterstützung die optische Erkennung und Erfassung der Flügelspitzen 450 durch Kl und die Berechnung der Positionen der Flügelspitzen 450, sowie die optische Erkennung und Erfassung der Flügelflansche 460 durch Kl und Berechnung der Positionen, Abstände und Winkel der Flügelflansche 460. Alternativ oder zusätzlich können auch die Pitchwinkel (Neigungswinkel) der Flügel erfasst und/oder berechnet werden. Mit diesen Werten kann dann eine finale Berechnung, bzw. Modifikation, eines generischen Modells, bspw. CAD- Modells, der Windkraftanlage 400, umfassend die Positionierung und Ausrichtung der Anlage, sowie die Durchbiegung (Bending) der Flügel 440 erfolgen. Aus diesen Daten können dann die Wegpunkte für die Inspektionsflüge errechnet werden. Dies kann mit Zwischenlandung (remote - Stufe 1 ) oder in Echtzeit, ohne Zwischenlandung (lokale Intelligenz - Stufe 2) erfolgen.

2. Turminspektion: Bei der Turminspektion kann der Einsatz der Kl besonders vorteilhaft sein, aufgrund der großen Menge von Bildern. Basierend auf der zuvor genannten Hardware (300er DJI Drohne mit P1 Vollformat Kamera und 50mm Objektiv bzw. alternativ einem Zoomobjektiv) können beispielsweise 400 Bilder, aus einer Erfassung mit 9 m Abstand zwischen Aufnahmeeinheit und Windkraftanlage, mit einer Auflösung von 1 ,25 Pixel/mm, bei einer Turmhöhe von 145 m erzeugt werden. Auf der anderen Seite sind die möglichen Variationen von Beschädigungen 110a, oder anders ausgedrückt Fehlerklassen, überschaubar und die Fehler meistens großflächig, sodass die Kl relativ schnell angelangt werden kann.

3. Flügelinspektion: Erfindungsgemäße Verfahren zur Flügelinspektion sind ähnlich den Verfahren zur Turminspektion, beispielsweise jedoch bei einer bedeutend geringeren Anzahl von Bildern. Zur Erzielung einer beispielsweise notwendigen oder vorteilhaften Auflösung von ca. 1 ,6 Pixel/mm für eine erste Begutachtung, bzw. zum Einsatz von Kl, können beispielsweise bei einer Flügellänge von ca. 70 m beim Abstand der Drohne bzw. der Aufnahmeeinheit von 7 m zum Flügel pro Seite ca. 25 Bilder erzeugt werden oder bspw. notwendig sein. Zur Erzielung einer verbesserten Auflösung, bspw. der zuvor erläuterten zweiten Auflösung, beispielsweise einer von einem Gutachter geforderten Auflösung von über 3,5 Pixel/mm können oder sollten erkannte Fehler mit einem Abstand von ca. 3 m zum Flügel erneut oder sofort angeflogen werden. Zur Erzielung der Auflösungsverbesserung kann jedoch auch wie zuvor beschrieben ein Änderung einer Zoomeinstellung oder ein Veränderung des verwendeten Objektivs durchgeführt werden.

Anhand der folgenden Tabelle werden Aspekte von Ausführungsbeispielen gemäß der Erfindung noch einmal kurz zusammengefasst und deren Vorteile anhand von Zahlenbeispielen verdeutlicht. Die Zahlenwerte beruhen auf der zuvor beschriebenen 300er DJI Drohne mit P1 Vollformat Kamera und 50 mm Objektiv. Der Bildsensor weist eine Breite von 35,9 mm mit 8197 Pixeln und eine Höhe von 24 mm mit 5460 Pixeln auf.

In der Tabelle sind die zuvor beschriebenen möglichen Aufgaben, bzw. Missionen von erfindungsgemäßen Verfahren im Hinblick auf eine Windkraftanlage, in Form einer Turminspektion, einer Flügelinspektion und einer Kalibrierung (Kalibrierungsflug) aufgetragen. Ferner ist auch ein Beispiel für einen zuvor beschriebenen Fehlerflug eingetragen. Für jede dieser Aufgaben ist in der vierten Spalte ein Abstand des Luftfahrzeugs bzw. der Drohne von der Windkraftanlage, in der fünften Spalte die von einem jeweiligen Bildausschnitt abgedeckte Bildbreite bezüglich der Oberfläche der Windkraftanlage in mm, in der sechsten Spalte die von einem jeweiligen Bildausschnitt abgedeckte Bildhöhe bezüglich der Oberfläche der Windkraftanlage in mm und in der siebten Spalte die jeweilige Auflösung in Pixel/mm aufgetragen. Die Inspektion einer Windkraftanlage kann beispielsweise mit der Kalibrierung, bzw. dem Kalibrierungsflug beginnen. Dazu fliegt ein Pilot mit dem Luftfahrzeug, beispielsweise der Drohne die Windkraftanlage in einem Abstand von 25 m ab. Dabei wird die Windkraftanlage optisch erfasst, wobei ein Bild einem Bildbereich in der Realität mit einer Breite von 18 m und einer Höhe von 12 m entspricht. Dementsprechend haben Bilder aus dieser optischen Erfassung eine Auflösung von 0,46 Pixel/mm. Auf Grundlage einer bekannten Positionsund Lageinformation des Luftfahrzeugs, welche mit den gemachten Bildern verknüpft wird, kann über einer Erkennung von charakteristischen Merkmalen der Windkraftanlage, wie beispielsweise den Flügelspitzen, ein CAD Modell der Windkraftanlage erstellt oder ein generisches Modell modifiziert werden. Durch den hohen Abstand und die geringe Auflösung kann dieser Schritt mit geringem Zeitaufwand durchgeführt werden. Die Erkennung der Merkmale kann dabei insbesondere unter Verwendung und Verfahren des maschinellen Lernens durchgeführt werden. Es sei darauf hingewiesen, dass der Abstand aber auch bspw. in einem Bereich oder Intervall liegen kann, sodass der Abstand bspw. höchstens 25 m oder höchstens 20 m beträgt, oder in einem Bereich von 20 m bis 25 liegt. Ferner kann der Abstand auch bspw. 20 m betragen.

Auf Grundlage des CAD Modells können anschließend Wegpunkte für die Inspektionsflüge, also beispielsweise für eine Turminspektion und/oder eine Flügelinspektion erzeugt werden. Auch diese Wegpunkte können wiederum unter Verwendung einer Kl erzeugt werden. Sowohl die Auswertung, als auch die Wegpunkterzeugung kann dabei nach einer Landung nach dem Kalibrierungsflug oder auch schon während dem Kalibrierungsflug durch das Luftfahrzeug selbst durchgeführt werden. Um Fehler mit ausreichender Genauigkeit erkennen zu können, wird bei den beispielsweise anschließend autonom durchgeführten Inspektionsflügen der Abstand des Luftfahrzeugs zu der Windkraftanlage verringert. Für die Flügelinspektion kann so beispielsweise ein Abstand von 7 m eingestellt werden, sodass ein erzeugtes Bild einer Breite in der Realität von ca. 5 m und einer Höhe von ca. 3,3 m entspricht, was zu einer Auflösung von 1 ,63 Pixel/mm führt. Bei 25 Bildern pro Flügelseite, mit 3 Seiten und einer Überlappung (Overlap) von 20 cm resultieren bei einer beispielhaften Länge der Flügel von 70m 75 Bilder. Analog resultieren bei der Turminspektion 304 Bilder bei einer Auflösung von 1 ,28 Pixel/mm.

Zur Auswertung der Bilder der Inspektionsflüge kann wiederum Kl zum Einsatz kommen. Wie bereits zuvor erwähnt, kann diese während des Fluges selbst bereits die Bilder kategorisieren, und in Bilder einteilen, welche Beschädigungen zeigen und in Bilder, welche keine Beschädigungen zeigen. Alternativ kann dies auch nach einer Landung auf einem externen Rechner erfolgen. Der große Vorteil von Verfahren des Maschinen Learning wird anhand der großen Anzahl an Bildern klar, was bei einer Auswertung durch einen Menschen einen hohen Zeitaufwand mit sich bringen würde. Durch die erfindungsgemäße Idee, Bereiche der Windkraftanlage, welche Beschädigungen aufweisen noch einmal gesondert zu erfassen, kann auf eine direkte, zeitaufwändige und datenintensive Erzeugung von Bildern mit hoher Auflösung bei der Turm- und/oder Flügelinspektion bspw. für die gesamte Oberfläche von Turm und/oder Flügeln verzichtet werden. Durch die Positions- und Lageinformation der Drohne, welche mit den entsprechenden Bildern, auf denen Beschädigung erkannt wurden verknüpft sein können, können entsprechende Stellen erneut angeflogen werden bei einem Fehlerflug. Alternativ kann das Erfassen mit der zweiten bzw. höheren Auflösung auch im Zuge der Turm-bzw. Flügelinspektion stattfinden. Der Abstand des Luftfahrzeugs dem Objekt kann auf 3 m verringert werden, oder ein entsprechendes Objektiv angebracht (z.B. bei einer Zwischenlandung) bzw. eine Zoomeinstellung (z.B. im Flug) dementsprechend angepasst. Dadurch kann eine Auflösung von 3,87 Pixel/mm erzielt werden.

Mit einer derart hohen Auflösung können auch kleinste Beschädigung erkannt und kategorisiert werden. Somit sind auch beispielsweise harte gesetzliche Vorgaben bezüglich der Sicherheit von Anlagen umsetzbar. Durch die Reduktion der Anzahl der

Detailaufnahmen im Zuge der erneuten optischen Erfassung mit der erhöhten, bzw. zweiten Auflösung ist ein erfindungsgemäßes Verfahren mit geringem Zeit- und

Ressourcenaufwand verknüpft, aufgrund der Vorauswahl der zu betrachtenden Bereiche der Windkraftanlage. Darüber hinaus ist ein entsprechendes Verfahren durch den Einsatz einer Vielzahl autonom fliegende Drohnen sehr gut skalierbar. Eine weitere Möglichkeit der Skalierung besteht in der Genauigkeit, wobei sowohl die Inspektionsflüge als auch die Fehlerflüge mit noch weiter verringerten Abständen und besseren Bildsensoren verbessert werden können. Ferner können auch mit Zoomobjektiven mehr Bilder, mit höherer Auflösung erzeugt werden.

In den folgenden Figuren 5 und 6 sollen erfindungsgemäße Verfahren noch einmal kurz zusammengefasst werden.

Fig. 5 zeigt ein Ablaufdiagramm eines Verfahrens zur Erfassung eines Merkmals eines Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Fig. 5 zeigt die Verfahrensschritte 510-530 in einer Reihenfolge, welche lediglich als Beispiel dienen soll. Die Verfahrensschritte können dementsprechend auch in veränderter Reihenfolge angewendet werden. Schritt 510 umfasst ein Abfliegen des Objekts und optisches Erfassen zumindest eines Teils des Objekts durch zumindest eine Aufnahmeeinheit 130 mit einer ersten Auflösung, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt. Schritt 520 umfasst ein bspw. automatisiertes Auswerten der Mehrzahl von Bildern, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren. Schritt 530 umfasst ein erneutes optisches Erfassen derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten, mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung.

Fig. 6 zeigt ein Ablaufdiagramm eines weiteren Verfahrens zur Erfassung eines Merkmals eines Objekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Fig. 6 zeigt die Verfahrensschritte 610-630 in einer Reihenfolge, welche lediglich als Beispiel dienen soll. Die Verfahrensschritte können dementsprechend auch in veränderter Reihenfolge angewendet werden. Schritt 610 umfasst ein Abfliegen des Objekts und optisches Erfassen zumindest eines Teils des Objekts durch zumindest eine Aufnahmeeinheit, um eine Mehrzahl von Bildern zu erzeugen, wobei jedes Bild einen zumindest teilweise unterschiedlichen Bereich des Objekts darstellt, und wobei für einen Bereich ein Bild mit einer ersten Auflösung und eine Mehrzahl von Teilbildern jeweils mit einer zweiten Auflösung, die höher ist als die eine erste Auflösung, erzeugt werden. Schritt 620 umfasst ein bspw. automatisiertes Auswerten der Mehrzahl von Bildern, um die erzeugten Bilder in Bilder, die das Merkmal nicht enthalten, und in Bilder, die das Merkmal enthalten, zu klassifizieren. Schritt 630 umfasst ein Bereitstellen der Teilbilder derjenigen Bereiche des Objekts, deren zugeordnete Bilder das Merkmal enthalten.

Ferner sei darauf hingewiesen, dass das optische Erfassen gemäß Ausführungsbeispielen auch eine Erfassung im Infrarotbereich, also bspw. mittels Infrarotkameras, umfassen kann.

Alle hierin aufgeführten Aufzählungen der Materialien, Umwelteinflüsse, elektrischen Eigenschaften und optischen Eigenschaften sind hierbei als beispielhaft und nicht als abschließend anzusehen.

Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.

Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart Zusammenwirken können oder Zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.

Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.

Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.

Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.

Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist.

Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.

Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren auf-gezeichnet ist. Der Datenträger, das digitale Speichermedium oder das computerlesbare Medium sind typischerweise gegenständlich und/oder nichtvergänglich bzw. nicht-vorübergehend.

Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.

Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.

Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.

Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vor-richtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.

Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA und/oder spezielle oder speziell entwickelte AI Chips) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor Zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.

Die hierin beschriebenen Vorrichtungen können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden.

Die hierin beschriebenen Vorrichtungen, oder jedwede Komponenten der hierin beschriebenen Vorrichtungen können zumindest teilweise in Hardware und/oder in Software (Computerprogramm) implementiert sein.

Die hierin beschriebenen Verfahren können beispielsweise unter Verwendung eines Hardware-Apparats, oder unter Verwendung eines Computers, oder unter Verwendung einer Kombination eines Hardware-Apparats und eines Computers implementiert werden.

Die hierin beschriebenen Verfahren, oder jedwede Komponenten der hierin beschriebenen Verfahren können zumindest teilweise durch Hardware und/oder durch Software ausgeführt werden.

Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.