Flugmobil zum Scannen eines Objekts und System zur Schadens ^¬ analyse des Objekts

Eine Inspektion von schwer zugänglichen technischen Objekten wie z.B. Flugzeug- oder Schiffsrümpfen oder Rotorblättern von Windkraftanlagen erweist sich häufig als sehr aufwändig. Im Falle von Schiffsrümpfen bedarf es bei größeren Schäden eines längeren Aufenthaltes in einem Dock, weil eine Schadensanaly ^¬ se häufig eine genaue Kenntnis einer Schadensgeometrie vo ^¬ raussetzt. Im Falle von Windkraftanlagen werden zur visuellen Inspektion von Rotorblättern neuerdings kamerabasierte Drohnensysteme verwendet. Eine solche visuelle Inspektion ist je- doch häufig nicht ausreichend genau, um Schäden mit der gebo ^¬ tenen Sicherheit zu erkennen oder auszuschließen. Im Zweifel sind die Rotorblätter in der Regel mit großem Aufwand zu de ^¬ montieren, um am Boden eine genaue Vermessung der Schadensgeometrie durchzuführen. Eine solche Demontage ist häufig sehr kostenintensiv und hat zudem einen temporären Ausfall der Windkraftanlage zur Folge.

Es ist Aufgabe der vorliegenden Erfindung, Anordnungen anzugeben, mit denen sich ein Zustand oder Schaden insbesondere großer Objekte genauer erfassen lässt.

Gelöst wird diese Aufgabe durch ein Flugmobil mit den Merkma ^¬ len des Patentanspruchs 1 sowie durch ein System mit den Merkmalen des Patentanspruchs 7.

Gemäß einem ersten Aspekt der Erfindung ist ein Flugmobil zum Scannen eines Objekts vorgesehen. Das Flugmobil umfasst eine Helikopter-Drohne, an der über ein aktiv drehbares Gelenk ein 3D-Scanner montiert ist. Der 3D-Scanner weist mindestens eine hochauflösende Kamera zum Aufnehmen einer Vielzahl von überlappenden Bildern des Objekts aus verschiedenen Aufnahmeposi- tionen und Aufnahmerichtungen auf, so dass durch Vergleich der Bilder eine Position und Orientierung des 3D-Scanners re- lativ zum Objekt ermittelbar ist. Weiterhin verfügt das erfindungsgemäße Flugmobil über eine Koordinationseinrichtung zum koordinierten Steuern des 3D-Scanners, des Gelenks und der Helikopter-Drohne.

Gemäß einem weiteren Aspekt der Erfindung ist ein System zur Schadensanalyse eines Objekts vorgesehen. Dieses System ver ^¬ fügt über ein erfindungsgemäßes Flugmobil sowie über ein Bildverarbeitungsmodul zum Generieren einer Datendarstellung eines Oberflächenverlaufs des Objekts anhand der aufgenomme ^¬ nen Bilder. Weiterhin umfasst das System eine Bewertungseinrichtung zum Prüfen des Oberflächenverlaufs und zum Ausgeben einer Schadensangabe abhängig von der Prüfung. Die Prüfung kann beispielsweise durch Vergleich des Oberflächenverlaufs mit einem vorgegebenen Sollverlauf erfolgen.

Die Nutzung einer mit einem 3D-Scanner versehenen Helikopter- Drohne ist insofern vorteilhaft, als letztere in der Regel zum Schwebeflug fähig ist und auch rückwärts oder seitwärts fliegen kann. Dies erlaubt ein genaues und vollständiges

Scannen auch großer Objekte, wie zB. von Rotoren von Windkraftanlagen ohne aufwendige Demontage. Durch die Verwendung eines 3D-Scanners können Oberflächen großer Objekte sehr genau vermessen werden und genaue, zur Schadensanalyse geeigne- te Geometriemodelle erstellt werden.

Vorteilhafte Ausführungsformen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben. Nach einer vorteilhaften Ausführungsform kann der 3D-Scanner ein mobiles 3D-Scansystem mit mehreren räumlich versetzten Kameras sein. Insbesondere kann 3D-Scantechnologie für hand ^¬ geführte 3D-Scanner, z.B. mit Weiß-/Blau-/Blitzlichttechnik eingesetzt werden. Aktuell erhältliche mobile 3D-Scansysteme können auch bei moderaten Bewegungsschwankungen eine Scan- Genauigkeit von Bruchteilen von Millimetern erreichen, z.B. ca. 1/30 mm. Derartige mobile 3D-Scansysteme erlauben genaue Scans auch beim Transport durch eine Helikopter-Drohne, die naturgemäß gewissen Bewegungsschwankungen durch Windböen unterworfen ist.

Vorzugsweise kann der 3D-Scanner einen Projektor zum Proji- 5 zieren von strukturiertem Licht auf das Objekt aufweisen. Die mindestens eine Kamera kann entsprechend dazu ausgelegt sein, auf das Objekt projizierte Lichtstrukturen aufzulösen. Die Erfassung von auf das Objekt projizierten Lichtstrukturen verbessert in der Regel eine Erfassung eines dreidimensiona ^¬ le) len Oberflächenverlaufs erheblich.

Nach einer vorteilhaften Weiterbildung der Erfindung kann das Flugmobil eine Markierungseinrichtung zum optischen Markieren von spezifischen Stellen einer Oberfläche des Objekts aufwei- 15 sen. Eine solche Markierung kann z.B. durch Aufsprühen von

Farbe auf das Objekt erfolgen. Derartige Markierungen können insbesondere an Stellen mit geringer eigener visueller Strukturierung eine Erfassung eines dreidimensionalen Oberflächenverlaufs erheblich verbessern.

20

Darüber hinaus kann die Koordinationseinrichtung dazu eingerichtet sein, abhängig von den aufgenommenen Bildern eine Position und/oder Orientierung des Flugmobils relativ zum Objekt zu ermitteln und abhängig davon Fluganweisungen an die

25 Helikopter-Drohne, Drehanweisungen an das Gelenk, Scan- Anweisungen an den 3D-Scanner, Aufnahmeanweisungen an die mindestens eine Kamera und/oder Markierungsanweisungen an die Markierungseinrichtung zu übermitteln. Auf diese Weise kann eine Position, Orientierung und/oder ein bevorzugter Abstand

30 des Flugmobils und/oder des 3D-Scanners relativ zum Objekt durch geeignete Fluganweisungen autonom oder teilautonom geregelt und/oder stabilisiert werden. Zudem kann die Ausrichtung des 3D-Scanners durch geeignete Drehanweisungen an das Gelenk autonom oder teilautonom geregelt und/oder stabili-

35 siert werden. Hierdurch können insbesondere Positionsschwankungen des Flugmobils in koordinierter, autonomer oder teilautonomer Weise ausgeglichen werden. Weiterhin können noch nicht gescannte Teile des Objekts autonom oder teilautonom erkannt, angeflogen und gescannt werden. Dies erleichtert insbesondere ein Scannen von bewegten Objekten.

Ferner kann das Flugmobil über eine von der Helikopter-Drohne und dem 3D-Scanner gemeinsam zu nutzende Batterie verfügen. Die gemeinsame Nutzung der Batterie ist gegenüber einer Nut ^¬ zung separater Batterien insofern vorteilhaft, als vermieden werden kann, dass eine erste Batterie leer ist und die Missi ^¬ on damit beendet wäre, wenn eine andere Batterie noch Ener- giereserven hätte.

Nach einer vorteilhaften Ausführungsform des erfindungsgemäßen Systems zur Schadensanalyse kann das Bildverarbeitungsmo ^¬ dul dazu eingerichtet sein, in verschiedenen überlappenden Bildern gemeinsame Bildmuster im Überlappungsbereich zu erfassen, die verschiedenen Bilder bezüglich des gemeinsamen Bildmusters einander zuzuordnen und anhand der einander zugeordneten Bilder einen bildübergreifenden Oberflächenverlauf zu ermitteln. Als Bildmuster kann insbesondere eine geometri- sehe Struktur und/oder Textur der Objektoberfläche und/oder eine auf das Objekt projizierte Lichtstruktur erfasst werden. Ein solches bildmustertreues Zuordnen und Zusammensetzen verschiedener Bilder zu einem bildübergreifenden Oberflächenverlauf wird häufig auch als „Stitching" bezeichnet.

Nach einer vorteilhaften Weiterbildung der Erfindung kann das erfindungsgemäße System eine Simulationseinrichtung aufweisen zum Simulieren eines statischen und/oder dynamischen Verhaltens des Objekts anhand des Oberflächenverlaufs. Die Bewer- tungseinrichtung kann dann dazu eingerichtet sein, das simulierte Verhalten mit einem vorgegebenen Sollverhalten des Objekts zu vergleichen und die Schadensangabe abhängig vom Ver ^¬ gleichsergebnis auszugeben. Die Simulation kann hierbei z.B. mittels eines numerischen Finite-Elemente-Verfahrens durchge- führt werden. Insbesondere kann die Simulationseinrichtung dazu eingerichtet sein, anhand des Oberflächenverlaufs ein Volumenmodell des Objekts zu generieren und das Verhalten an ^¬ hand des Volumenmodells zu simulieren. Mittels der Simulation kann der Oberflächenverlauf automatisch hinsichtlich seiner Auswirkungen auf eine Funktion des Objekts geprüft werden. Dies erleichtert eine automatische Schadensbewertung erheb ^¬ lich.

Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der Zeichnung näher erläutert. Dabei zeigen jeweils in sche- matischer Darstellung:

Figur 1A eine Vorderansicht eines erfindungsgemäßen

Flugmobils ,

Figur 1B eine Untersicht des erfindungsgemäßen Flugmobils und

Figur 2 ein Blockdiagramm eines erfindungsgemäßen Systems zur Schadensanalyse eines Objekts.

Die Figuren 1A und 1B zeigen jeweils ein erfindungsgemäßes Flugmobil FM zum Scannen eines Objekts in schematischer Darstellung. Während Figur 1A eine Vorderansicht des Flugmobils FM zeigt, ist in Figur 1B eine Untersicht desselben

Flugmobils FM dargestellt.

Das Flugmobil FM umfasst eine interaktiv fernsteuerbare Heli ^¬ kopter-Drohne, an der über ein aktiv drehbares Gelenk G ein 3D-Scanner SC montiert ist. Die Helikopter-Drohne verfügt beispielhaft über vier Auftriebseinheiten AE mit jeweils einem Elektromotor, durch den ein senkrecht wirkender Propeller angetrieben wird. Alternativ kann auch eine Helikopter-Drohne mit einer anderen Anzahl von Auftriebseinheiten, z.B. eine sog. Octocopter-Drohne mit 8 Auftriebseinheiten verwendet werden. Die Helikopter-Drohne verfügt weiterhin über vier Standbeine SB.

Als 3D-Scanner SC wird ein mobiles, hochgenaues 3D-Scansystem z.B. mit Weiß-/Blau-/Blitzlichttechnik verwendet. Derartige mobile 3D-Scansysteme sind erst seit kurzem verfügbar und werden häufig in handgeführten 3D-Scannern eingesetzt. Die mobilen 3D-Scansysteme können auch bei moderaten Bewegungs ^¬ schwankungen Scan-Genauigkeiten von ca. l/30mm erreichen, was innerhalb der Zeichnungstoleranzen vieler hochgenau gefertig- ter Bauteile liegt. Zudem können mobile 3D-Scanner weniger als ein Kilogramm wiegen und in ihrer größten Abmessung unter 30cm bleiben. Eine solche kompakte Bauform ermöglicht über ^¬ haupt erst einen Transport per Helikopter-Drohne. Der Scanab ^¬ stand derartiger 3D-Scanner kann ca. einen Meter erreichen, so dass es in der Regel nicht schwierig ist, Kollisionen des Flugmobils FM mit einem zu scannenden Objekt zu vermeiden. Ein räumlicher Versatz der Helikopter-Drohne durch Windböen kann mit zeitgemäßer mobiler 3D-Scantechnik korrigiert werden, da sowohl Geometrie- und Texturinformation des gescann- ten Objekts als auch eine Projektion strukturierten Lichtes verwendet werden können, um Scan-Abschnitte zusammenzufügen. Ein mobiler 3D-Scanner kann eine genaue Geometriebeschreibung einer Oberfläche des gescannten Objekts in Form einer Trian- gulierung, zum Beispiel im sogenannten stl-Format ausgeben.

Das Gelenk G hat eine horizontale und eine vertikale Drehach ^¬ se, die jeweils per Elektromotor drehbar ist. Hierdurch kann der 3D-Scanner SC sowohl um die horizontale Drohnenachse als auch um die vertikale Drohnenachse gedreht werden, so dass durch geeignete Ansteuerung des Gelenks G das Objekt auch von oben gescannt werden kann.

Der 3D-Scanner SC umfasst mehrere hochauflösende (nur in Fi ^¬ gur 1A dargestellte) Kameras C. Im vorliegenden Ausführungs- beispiel verfügt der 3D-Scanner SC über drei räumlich versetzte, hochauflösende Kameras C mit unterschiedlicher Blick ^¬ richtung zum Aufnehmen einer Vielzahl von überlappenden Bildern des zu scannenden Objekts aus verschiedenen Aufnahmepo- sitionen und Aufnahmerichtungen . Die Kameras C weisen eine derart hohe Auflösung auf, dass eine Scangenauigkeit von

Bruchteilen eines Millimeters, z.B. l/30mm erreicht werden kann, und dass eine Position und eine Orientierung des 3D- Scanners SC relativ zur Oberfläche des zu scannenden Objekts durch Erkennung und Vergleich von in verschiedenen Bildern enthaltenen Bildmustern möglich ist.

Darüber hinaus weist der 3D-Scanner SC einen (nur in Figur 1A dargestellten) Projektor P auf zum Projizieren von strukturiertem Licht auf das zu scannende Objekt. Der Projektor P ist im vorliegenden Ausführungsbeispiel ringförmig um eine mittlere der drei Kameras C angeordnet. Weiterhin verfügt das Flugmobil FM über eine Steuerung CTL zum Steuern des Flugmobils FM. Die Steuerung CTL ist zum Schutz vor Niederschlag und anderen Witterungseinflüssen mit einem Gehäuse umgeben. Figur 2 zeigt ein Blockdiagramm eines erfindungsgemäßen Systems zur Schadensanalyse eines Objekts OBJ. Das System um ^¬ fasst ein erfindungsgemäßes Flugmobil FM, eine Fernsteuerung RC sowie eine Analyseeinrichtung AN. Das Flugmobil FM ist wie im Zusammenhang mit den Figuren 1A und 1B beschrieben imple- mentiert und dient zum Scannen und zur Schadensanalyse des Objekts OBJ. Das zu analysierende Objekt OBJ kann zum Bei ^¬ spiel ein Rotorblatt einer Windkraftanalage sein.

Das Flugmobil FM umfasst eine Helikopter-Drohne HD mit einer wiederaufladbaren Batterie BAT, durch die der Antrieb der Helikopter-Drohne mit Energie versorgt wird. An der Helikopter- Drohne HD ist, wie oben bereits ausgeführt, über ein Gelenk G ein 3D-Scanner SC montiert. Der 3D-Scanner SC und das Gelenk G sind wie im Zusammenhang mit den Figuren 1A und 1B be- schrieben implementiert.

Darüber hinaus verfügt das Flugmobil FM über eine Markie ^¬ rungseinrichtung M, einen Speicher MEM, eine drahtlose Sende- Empfangs-Einrichtung TX/RX sowie über eine Steuerung CTL. Auch der 3D-Scanner SC sowie die Steuerung CTL werden durch die Batterie BAT mit Energie versorgt. Die gemeinsame Nutzung der Batterie BAT ist gegenüber einer Nutzung separater Batterien insofern vorteilhaft, als vermieden werden kann, dass eine erste Batterie leer ist und die Mission damit beendet ist, wenn eine andere Batterie noch Energiereserven hätte. Dies gilt insbesondere, da die Helikopter-Drohne HD und der 3D-Scanner SC häufig unabhängig voneinander jeweils einen stark schwankenden Energiebedarf haben.

Wie in Figur 2 durch einen punktierten Doppelpfeil angedeutet, projiziert der 3D-Scanner SC strukturiertes Licht auf das zu analysierende Objekt OBJ und nimmt währenddessen durch die Kameras C eine Vielzahl von überlappenden hochaufgelösten Bildern IMG des Objekts OBJ aus verschiedenen Aufnahmepositi- onen und Aufnahmerichtungen auf. Insbesondere werden die Bilder IMG räumlich und zeitlich versetzt aufgenommen. Die aufgenommenen Bilder IMG werden durch den 3D-Scanner SC zunächst im Speicher MEM gespeichert, um eine zur Funkkommunikation mit der Fernsteuerung RC oder ggf. mit der Analyseeinrichtung AN erforderliche Bandbreite zu verringern.

Die Markierungseinrichtung M dient zum optischen Markieren von spezifischen Stellen einer Oberfläche des Objekts OBJ. So können zum Beispiel an spezifisch vorgegebenen und/oder exponierten Stellen einer Oberfläche des Objekts OBJ und/oder an Stellen mit geringer visueller Strukturierung Markierungen, zum Beispiel durch Aufsprühen von Farbe aufgebracht werden.

Die Sende-Empfangs-Einrichtung TX/RX dient zum Fernsteuern des Flugmobils FM sowie zum Übertragen von aufgenommenen Bildern. Vorzugsweise werden die vom 3D-Scanner SC aufgenommenen hochaufgelösten Bilder IMG in reduzierter Auflösung oder niedriger aufgelöste Bilder einer zu diesem Zweck vorgesehenen Kamera übertragen, um die erforderliche Funkübertragungs ^¬ bandbreite zu verringern. Die Auflösung der zu übertragenden Bilder wird vorzugsweise so gewählt, dass das Flugmobil FM anhand der übertragenen Bilder durch einen Operateur des Flugmobils FM noch sicher fernsteuerbar ist. Die Fernsteuerung RC dient entsprechend zum interaktiven Fernsteuern des Flugmobils FM durch den Operateur und zum Empfang sowie zur Anzeige der übertragenen Bilder. Die Steuerung CTL umfasst eine Koordinationseinrichtung CO zum koordinierten Steuern des 3D-Scanners SC, des Gelenks G, der Helikopter-Drohne HD sowie der Markierungseinrichtung M. Die Koordinierung erfolgt insbesondere anhand der aufgenomme ^¬ nen Bilder IMG, die zu diesem Zweck vom 3D-Scanner SC zur Koordinationseinrichtung CO übermittelt werden. Abhängig von den aufgenommenen Bildern IMG ermittelt die Koordinationseinrichtung CO Position und Orientierung des Flugmobils FM relativ zum Objekt OBJ. Abhängig davon werden dann durch die Koordinationseinrichtung CO Fluganweisungen FA an die Heli- kopter-Drohne HD, spezifische Drehanweisungen für die Dreh ^¬ achsen des Gelenks G an das Gelenk G, Scan-Anweisungen SA an den 3D-Scanner SC und/oder Markierungsanweisungen MA an die Markierungseinrichtung M in koordinierter Weise übermittelt. Die Scan-Anweisungen SA können hierbei Aufnahmeanweisungen an eine jeweilige Kamera C umfassen.

Die Analyseeinrichtung AN wertet die aufgenommenen hochaufgelösten Bilder IMG aus, um eine Schadensanalyse durchzuführen. Die Analyseeinrichtung AN kann als separates System implemen- tiert sein oder ganz oder teilweise in das Flugmobil FM oder die Fernsteuerung RC integriert sein. Die Analyseeinrichtung AN umfasst einen oder mehrere Prozessoren PROC zum Ausführen aller Analyseschritte. Zum Ausführen der Schadensanalyse werden die aufgenommenen hochaufgelösten Bilder IMG aus dem Speicher MEM ausgelesen und zu einem Bildverarbeitungsmodul IP der Analyseeinrichtung AN übermittelt. Durch das Bildverarbeitungsmodul IP wird eine Datendarstellung eines Oberflächenverlaufs OBV des gescannten Objekts OBJ anhand der aufgenommenen Bilder IMG generiert. Die Datendarstellung beschreibt vorzugsweise einen Verlauf einer zweidimensionalen Oberfläche des Objekts OBJ im dreidi ^¬ mensionalen Raum, zum Beispiel in Form einer Triangulierung . Eine solche Triangulierung kann insbesondere im sogenannten stl-Format dargestellt werden.

Zur Generierung des Oberflächenverlaufs OBV versucht das Bildverarbeitungsmodul IP in verschiedenen der überlappenden Bilder IMG gemeinsame Bildmuster im Überlappungsbereich mittels eines Mustererkennungsverfahrens zu erkennen und zu er ^¬ fassen. Als Bildmuster können hierbei insbesondere geometrische Strukturen und/oder Texturen der Objektoberfläche und/oder eine auf das Objekt OBJ projizierte Lichtstruktur oder darauf aufgebrachte Markierungen erfasst werden. Sofern ein gemeinsames Bildmuster in verschiedenen Bildern erkannt wird, können diese bezüglich des gemeinsamen Bildmusters ei ^¬ nander zugeordnet werden, so dass die Bildmuster dieser Bil- der abbildungstreu aufeinander abgebildet werden. Anhand der einander zugeordneten Bilder kann dann ein bildübergreifender Oberflächenverlauf ermittelt werden. Ein solches abbildungs ^¬ treues bzw. bildmustertreues Zuordnen und Zusammensetzen verschiedener Bilder zu einem bildübergreifenden Oberflächenver- lauf wird häufig auch als „Stitching" bezeichnet.

Anhand der einander zugeordneten Bilder können auch Position und Orientierung des 3D-Scanners SC relativ zum Objekt OBJ ermittelt werden.

Das Bildverarbeitungsmodul IP kann unabhängig von anderen Komponenten der Analyseeinrichtung AN separat im Flugmobil FM oder im 3D-Scanner SC integriert werden. Dies erlaubt eine Vorverarbeitung der hochaufgelösten Bilder IMG im Flugmobil FM bzw. im 3D-Scanner SC.

Das Bildverarbeitungsmodul IP übermittelt die generierte Da ^¬ tendarstellung des Oberflächenverlaufs OBV zu einer Simulati ^¬ onseinrichtung SIM zum Simulieren eines statischen oder dyna- mischen Verhaltens V des Objekts OBJ anhand des Oberflächen ^¬ verlaufs OBV. Dabei wird durch die Simulationseinrichtung SIM anhand des Oberflächenverlaufs OBV zunächst ein Volumenmodell VM des Objekts OBJ generiert und schließend das Verhalten V anhand des Volumenmodells VM simuliert. Mittels der Simulati ^¬ on können Struktur und strömungsmechanische Auswirkungen eines Schadens und damit eine Schwere des Schadens automatisch bewertet werden.

Das simulierte Verhalten V wird in Form einer geeigneten Datendarstellung vom Simulationsmodul SIM zu einer Bewertungs ^¬ einrichtung EV der Analyseeinrichtung AN übermittelt. Weiterhin wird ein vorgegebenes Sollverhalten SV des Objekt OBJ durch die Bewertungseinrichtung EV eingelesen. Letztere vergleicht dann das simulierte Verhalten V mit dem vorgegebenen Sollverhalten SV und gibt abhängig vom Vergleichsergebnis ei ^¬ ne Schadensangabe DAM aus. Hierbei kann ein Abstandsmaß für eine Abweichung zwischen Sollverhalten SV und simuliertem Verhalten V vorgegeben sein, das mit einem Schwellwert verglichen wird. Bei Überschreitung des Schwellwertes kann dann ein bestehender oder drohender Schaden durch eine entsprechende Schadensangabe DAM angezeigt werden. Darauf basierend kann entschieden werden, ob ein betroffenes Bauteil auszutau- sehen ist oder nicht.

Durch die Simulation und den Vergleich des simulierten Verhaltens V mit dem Sollverhalten SV wird der Oberflächenverlauf OBV hinsichtlich seiner Auswirkungen auf eine Funktion des Objekts OBJ geprüft. Alternativ oder zusätzlich kann der Oberflächenverlauf OBV auch direkt mit einem vorgegebenen Sollverlauf verglichen werden, um abhängig davon die Schadensangabe DAM auszugeben. Mittels der Erfindung lassen sich auch schwer zugängliche

Bauteile von z.B. Windkraftanlagen, Schiffen oder Flugzeugen ohne aufwändige Demontage an Ort und Stelle inspizieren. Auf ^¬ grund der Simulation der Auswirkungen sichtbarer Schäden kann in vielen Fällen sofort entschieden werden, ob ein Schaden akzeptabel ist oder nicht.