Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR THE AUTOMATED DETECTION OF INDIVIDUAL PARTS OF A COMPLEX DIFFERENTIAL STRUCTURE
Document Type and Number:
WIPO Patent Application WO/2012/152734
Kind Code:
A1
Abstract:
The invention relates to a method for the automated detection of individual parts of a complex differential structure. The method comprises the following steps: a) detecting the structure by means of common measurement methods, b) creating an actual point cloud of the detected structure, c) calculating one or more target point clouds from a target structure of the individual parts, d) fitting the target point cloud into the actual point cloud, and e) evaluating the fitting process in order to detect the position deviation and missing or superfluous individual parts.

Inventors:
GRIGOLEIT MICHAEL (DE)
THOMASCHEWSKI OLIVER (DE)
HEIDEN RENE (DE)
Application Number:
PCT/EP2012/058328
Publication Date:
November 15, 2012
Filing Date:
May 07, 2012
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
LUFTHANSA TECHNIK AG (DE)
GRIGOLEIT MICHAEL (DE)
THOMASCHEWSKI OLIVER (DE)
HEIDEN RENE (DE)
International Classes:
G01B11/24; G01B11/25
Domestic Patent References:
WO2010025910A12010-03-11
Foreign References:
DE19718494A11998-11-05
US6032377A2000-03-07
US20040240754A12004-12-02
Other References:
JEFFREY GOLDSMITH; JOHN SALMON: "Automatic Creation of Object Hierarchies for Ray Tracing", PROCEEDINGS OF IEEE SYMPOSIUM ON COMPUTER GRAPHICS AND APPLICATIONS, May 1987 (1987-05-01), pages 14 - 20, XP011363046, DOI: doi:10.1109/MCG.1987.276983
ROBOTICS AND AUTONOMOUS SYSTEMS, vol. 56, 2008, pages 915 - 926
Attorney, Agent or Firm:
GLAWE DELFS MOLL (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur automatisierten Detektion von Einzelteilen einer komplexen differenziellen Struktur, gekennzeichnet durch folgende Schritte: a) Erfassung der Struktur mit üblichen Messverfahren, b) Erstellen einer Ist-Punktwolke der erfassten Struktur, c) Errechnen einer oder mehrerer Soll-Punktwolken aus einer Sollstruktur der Einzelteile, d) Durchführen eines Einpassens der Soll- in die Ist- Punktwolke, e) Auswertung des Einpassvorganges zur Erfassung der Lageabweichung bzw. fehlender oder überzähliger Einzelteile.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die komplexe differenzielle Struktur der Innenraum eines Flugzeugrumpfes ist.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Einzelteile Halter für Kabel, Rohrleitungen oder sonstige Bauteile umfassen.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die größte Abmessung eines Einzelteiles 1 bis 50 cm, vorzugsweise 2 bis 30 cm beträgt.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das Erfassen der Struktur mittels La- serscannen erfolgt.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das Errechnen der Soll-Punktwolke aus CAD-Daten der Sollstruktur der Einzelteile erfolgt.

7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Errechnen der Soll-Punktwolke der¬ gestalt erfolgt, dass die Soll-Punktwolke nur die für ei¬ nen vorgegebenen 3D-Scanvorgang erfassbare Oberflächenstruktur umfasst.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das Errechnen der Soll-Punktwolke unter Berücksichtigung der Scannerperspektive erfolgt.

9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass die Ist-Punktwolke vor dem Einpassen mit der Soll-Punktwolke in eine Mehrzahl von Ist- Punktwolkebereichen zerlegt wird, wobei jeder Ist- Punktwolkebereich die Sollposition eines oder mehrerer An- bauteile umfasst.

10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass eine Liste der Einpassergebnisse er¬ stellt wird, in der fehlende, überzählige und/oder über¬ einstimmende Einzelteile mit ihrer Ist- und der Sollposi¬ tion aufgelistet werden.

2

Description:
Verfahren zur automatisierten Detektion von Einzelteilen einer komplexen differenziellen Struktur

Die Erfindung betrifft ein Verfahren zur automatisierten

Detektion von Einzelteilen einer komplexen differenziellen Struktur .

Dieses Verfahren kann insbesondere zur Qualitätskontrolle eingesetzt werden.

Bei der Vorbereitung des Innenausbaus von Flugzeugen muss eine Vielzahl von Anbauteilen wie beispielsweise Halter für Kabel, Rohrleitungen, Innenverkleidungen oder dergleichen an der Primärstruktur des Rumpfes angebracht werden. Dabei kann es sich insbesondere um Klemmschellen, Blechwinkel und

dergleichen handeln.

Bei der Vorbereitung des Innenausbaus eines modernen

Langstreckenflugzeuges müssen mehrere zehntausend Halter für Kabel, Rohrleitungen oder sonstige Bauteile an der

Primärstruktur angebracht werden. Nach dem Anbringen der

Anbauteile wird regelmäßig ein Oberflächenschutz auf die

Primärstruktur aufgebracht. Wird erst danach oder im Zuge des Innenausbaus das Fehlen oder die Fehlpositionierung von

Haltern oder anderer Anbauteile bemerkt, verursacht dies einen sehr großen Mehraufwand. Neben visuellen Kontrollen sind insbesondere Verfahren zur Qualitätssicherung auf Basis von Vermessungsdaten wie z.B. Laserscandaten bekannt. Hier wird ein Soll-Ist-Vergleich zwischen CAD Daten und der erfassten Geometrie durchgeführt. Das Ergebnis sind meist farblich kodierte Abweichungsplots . Dieses Vorgehen eignet sich sehr gut für monolithische

Bauteile wie Guss- oder Frästeile. Bei großen differenziellen Strukturen müsste jedes Teil einzeln betrachtet und

ausgewertet werden. Außerdem liefert das Ergebnis nur bedingt Informationen zur tatsächlichen Position, da meist nur eine Vektorlänge der Abweichung, nicht aber die Abweichungen in allen drei Translations- und Rotationsrichtungen bekannt sind. Insofern, sind die üblichen Verfahren für die Aufgabenstellung nur mäßig geeignet.

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren der eingangs genannten Art zu schaffen, das mit vertretbarem Aufwand eine Prüfung erlaubt, ob bestimmte Einzelteile einer komplexen differenziellen Struktur tatsächlich und maßhaltig montiert sind.

Die Erfindung löst diese Aufgabe durch die Merkmale der

Patentansprüche. Ein erfindungsgemäßes Verfahren weist

folgende Schritte auf: a) Erfassung der Struktur mit üblichen Messverfahren, b) Erstellen einer Ist-Punktwolke der erfassten Struktur, c) Errechnen einer oder mehrerer Soll-Punktwolken aus einer Sollstruktur der Einzelteile, d) Durchführen eines Einpassens der Soll- in die Ist- Punktwolke, e) Auswertung des Einpassvorganges zur Erfassung der Lageabweichung bzw. fehlender oder überzähliger Einzelteile .

Zunächst seien einige im Rahmen der Erfindung verwendete Begriffe erläutert. Eine komplexe differenzielle Struktur ist eine Struktur, welche aus einer Vielzahl von Einzelteilen montiert ist. Bevorzugt handelt es sich um einen

Flugzeugrumpf, der typischerweise Spanten, Stringer und eine Außenhaut aufweist. Montiert bedeutet, dass diese Anbauteile lösbar (beispielsweise verschraubt) oder unlösbar

(beispielsweise vernietet, verklebt oder verschweißt) mit der Primärstruktur verbunden werden. Einzelteile sind Teile, die Bestandteil der Gesamtstruktur sind, sie können sowohl als Bestandteil der tragenden Struktur, als auch Anbauteile wie Kabelhalter, Klemmen oder dergleichen zur Vorbereitung beispielsweise eines Innenausbaus dienen

Die Struktur wird zunächst mit einem geeigneten Messverfahren dreidimensional erfasst. Insbesondere eigenen sich Verfahren wie Laserscannen, Streifenprojektionsverfahren oder

Photogrametrie . All diese Verfahren liefern eine Punktwolke als Abbild der erfassten Struktur.

Aus den 3D-Messdaten wird eine Ist-Punktwolke der gescannten Struktur erstellt. Diese Ist-Punktwolke gibt von dem

verwendeten Messsystem erfasste Punkte der Struktur in einem dreidimensionalen Koordinatensystem wieder. Die Dichte der Punktwolke kann der verfügbaren Auflösung des verwendeten SD- Scansystems entsprechen. Alternativ ist es möglich, die Punktwolkedichte geringer zu wählen, um beispielsweise die für die Verarbeitung erforderliche Rechenleistung zu verringern.

Erfindungsgemäß wird die ganze, oder Ausschnitte der Ist- Punktwolke herangezogen, um die Punktwolke oder Punktwolken der Sollstrukturen einzupassen. Die Sollstruktur ist die aus den Plänen ersichtliche Geometrie der Einzelteile. Aus dieser Sollstruktur wird zunächst eine Soll-Punktwolke (ggf. mehrere Soll-Punktwolken) errechnet, die gewissermaßen ein

hypothetisches Scanergebnis für die Sollstruktur darstellen soll. Dichte und Auflösung dieser Soll-Punktwolke entsprechen daher vorzugsweise denjenigen der Ist-Punktwolke. Das

Errechnen der Soll-Punktwolke kann beispielsweise aus den CAD- Daten der Sollstruktur erfolgen.

Im nächsten Schritt wird ein Einpassen der Soll- in die Ist- Punktwolke zur Identifikation der Einzelteile in der Ist- Punktwolke durchgeführt. Dieser Einpassvorgang kann so

erfolgen, dass der Fehler im Sinne der geometrischen Distanz der Punkte aus Soll- und Ist-Punktwolke minimiert wird, in dem die Soll-Punktwolke in der Ist-Punktwolke verschoben wird. Dazu sollte die Soll-Punktwolke des Einzelteils in etwa lagerichtig positioniert sein. Ein solches Verfahren ist z.B. der ICP-Algorithmus , welcher aus der Literatur bekannt ist. Resultat des Einpassvorganges ist ein 6D-Verschiebungsvektor von der theoretischen Soll-Position des Einzelteiles hin zur erfassten Ist-Position. Damit kann also die Abweichung der Ist- zur Soll-Position vollständig beschrieben und ausgewertet werden. Diese Prozedur wird für jedes Einzelteil durchlaufen.

Neben einem Positionierungsfehler können weitere Fehler auftreten, so kann ein Einzelteil zwar geplant, aber nicht verbaut worden sein, oder es wurde verbaut, ohne dort geplant zu sein. Der zweite Fall eines überzähligen Einzelteils kann im

Nachgang visuell erkannt werden. Nachdem alle Einzelteile geprüft wurden, können die restlichen Punkte der Ist- Punktwolke, welche nicht zu einem identifizierten Bauteil gehören angezeigt werden. Sie stellen den überzähligen nicht geplanten Rest der Struktur da.

Im ersten Fall eines fehlenden aber geplanten Bauteiles stellt sich in der Praxis eine weitere Herausforderung. Große

Punktwolken wie die Ist-Punktwolke neigen dazu, dass kleine Punktwolken, wie die Soll-Punktwolke immer irgendwie

eingepasst werden können. Bei ungünstigen Konstellationen, z.B. flache Einzelteile in der Umgebung vieler flacher

Strukturen, kann dies ohne einen signifikanten Positionsfehler erfolgen. Um diesen Effekt abzufangen, kann eine weitere

Prüfung erfolgen.

Bei dieser zusätzlichen Prüfung findet ein Vergleich der positionierten Soll-Punktwolke mit der im Laserscan gefunden Ist-Punktwolke statt nach im Stand der Technik bekannten

Verfahren statt Boundingbox: Jeffrey Goldsmith, John Salmon : Automatic Creation of Object Hierarchies for Ray Tracing In : Proceedings of IEEE

Symposium on Computer Graphics and Applications, Mai 1987, S. 14-20, ISSN 0272-1716 beschreibt die Erstellung einer sogenannten Boundingbox

(Diskretisierung des Volumens, wie bei einer klassischen

Finite Element Methode) . Für den Vergleich diskretisiert man die in Soll- und Ist-Punktwolken gefundenen Boundinigboxen der Teile und ermittelt, welche Elemente Punkte enthalten.. Gibt es große Schnittmengen der mit Punkten gefüllten diskreten Volumina, ist die Wahrscheinlichkeit für eine Übereinstimmung der Punktwolken sehr hoch. Wird nur eine geringe Schnittmenge gefunden, so ist es wahrscheinlich, dass der oben beschriebene Effekt der Fehleinpassung einer kleinen Soll-Punktwolke in eine große Ist-Punktwolke stattgefunden hat. Resultat der gesamten Untersuchung ist also ein Vektor von der Soll- zur Ist-Position eines jeden untersuchten Einzelteiles, sowie eine Liste aller nicht verbauten und überzähligen

Bauteile aus den oben beschriebenen Prüfungsergebnissen.

Wenn alle relevanten Einzelteile in der Ist-Punktwolke geprüft sind, ist die Qualitätssicherung abgeschlossen. Die Struktur (beispielsweise der Flugzeugrumpf) kann dann zum weiteren Ausbau bzw. zur weiteren Bearbeitung freigegeben werden.

Die Erfindung ermöglicht ein einfaches und schnelles

Kontrollieren einer komplexen differentiellen Struktur auf Vollständigkeit und Maßhaltigkeit. Beispielsweise liegt der Zeitbedarf zum Scannen des Innenraums eines Flugzeugrumpfes in der Regel bei maximal einigen Stunden. Die weitere Bearbeitung kann bei vorhandenen CAD-Daten fast vollständig automatisiert und parallelisierbar erfolgen. Die Resultate können ebenfalls automatisiert nach übermäßigen Abweichungen gefiltert werden.

Nach heutigen Verfahrenweisen bei der Erstellung von

Flugzeugrümpfen muss hingegen die Vollständigkeit und

Maßhaltigkeit der Einzelteile manuell kontrolliert und

bewertet werden. Dazu vergleichen Mitarbeiter die Anbauteile und deren Position mit den CAD-Daten, was mehrere Wochen in Anspruch nehmen kann.

Die größte Abmessung eines typischen zu detektierenden

Anbauteils kann erfindungsgemäß zwischen 1 und 50 cm,

vorzugsweise zwischen 2 und 30 cm betragen. Der Begriff größte Abmessung bezeichnet die größte Erstreckung in eine

Raumrichtung .

Das dreidimensionale Erfassen der Struktur erfolgt

vorzugsweise mittels optischer Scanverfahren, besonders bevorzugt durch Laserscannen. Besonders bevorzugt ist ein Laserscanverfahren, wie es in WO 2010/025910 AI beschrieben ist. Die Offenbarung dieser Schrift wird durch Bezugnahme auch zum Gegenstand der vorliegenden Patentanmeldung gemacht.

Besonders bevorzugt ist somit ein Laserprofilscan, bei dem ein Scan in einer Ebene durchführender Laserscanner durch die Primärstruktur (den Innenraum des Flugzeugrumpfes) bevorzugt entlang dessen Längsachse gefahren wird.

Auch mehrere Scanvorgänge erfassen häufig nicht sämtliche Oberflächen der Struktur, sondern, abhängig vom der

Perspektive, lediglich einen Teil der Oberflächen, da andere Teile wie beispielsweise Hinterschnitte abgeschattet bleiben und nicht erfasst werden. Dies führt dazu, dass eine erfasste Frontfläche während des Einpassvorganges zwischen der Front und der Rückenfläche, welche im Scan nicht erfasst wurde, positioniert wird. Dies ist im Sinne des kleinsten Fehlers zwischen Soll- und Ist-Punktwolke richtig, führt aber zu einer falschen Positionierung.

Es ist daher erfindungsgemäß bevorzugt, wenn bei der

Errechnung der Soll-Punktwolke beispielsweise aus CAD-Daten dieser Tatsache Rechnung getragen wird und die Soll-Punktwolke ebenfalls lediglich diejenigen Punkte auf Oberflächen erfasst, die bei dem vorgesehenen Scanvorgang tatsächlich erfassbar bzw. ausleuchtbar sind. Da in der Regel die Parameter des durchzuführenden Scanvorgangs vor der Errechnung der Soll- Punktwolke bekannt sind bzw. diese Soll-Punktwolke erst nach tatsächlicher Durchführung eines Scanvorgangs (und damit bekannten Scanparametern) errechnet werden kann, ist eine solche rechnerische Beschränkung der Soll-Punktwolke auf tatsächlich ausleuchtbare Oberflächen problemlos möglich.

Erfindungsgemäß ist es möglich, dass die Ist-Punktwolke vor dem Vergleich mit der Soll-Punktwolke oder den Soll- Punktwolken in einer Mehrzahl von Ist-Punktwolkebereichen zerlegt wird, wobei jeder Ist-Punktwolkebereich die Sollposition eines oder mehrerer Anbauteile umfasst. In diesem Fall wird also kein Einpassen der Soll-Punktwolke in die komplette Ist-Punktwolke vorgenommen, sondern ein von der Rechenleistung her weniger anspruchsvoller Einpassvorgang lediglich derjenigen Bereiche, in denen tatsächlich

Einzelteile gemäß der Sollstruktur vorhanden sein sollen.

Erfindungsgemäß kann eine Liste der Einpassergebnisse erstellt werden, in der fehlende, überzählige und/oder übereinstimmende Einzelteile im Vergleich zur Sollstruktur aufgelistet werden.

Ein Ausführungsbeispiel der Erfindung wird nachfolgend anhand der Zeichnungen erläutert. Darin zeigen:

Fig. 1 und 2 Schematisch einen Anschnitt eines Flugzeugrumpfes mit einem darin angeordneten Laserscanner;

Fig. 3 Schematisch die Berücksichtigung der

Scannerperspektive beim Punktwolkevergleich.

Figur 1 zeigt in einem Anschnitt den Innenraum eines

Flugzeugrumpfes mit dem Kabinenboden 1 und der Außenhaut 2 des Rumpfes mit den Spanten 12. Zur Qualitätssicherung soll dieses Rumpfsegment mit allen Einzelteilen vermessen werden.

Auf dem Kabinenboden 1 sind für die Durchführung der

Vermessung zwei Führungsschienen 3, 4 angeordnet, die jeweils im Wesentlichen parallel zur Längsachse der Kabine verlaufen. Die beiden Führungsschienen 3, 4 sind auf unterschiedlichen Seiten der in Richtung der Längsachse laufenden Symmetrieebene angeordnet, die in der xz-Ebene durch die Flugzeugkabine läuft .

An einem bekannten Referenzort in der Flugzeugkabine wird eine Referenz wie z.B. ein Reflektor 5 eines optischen Ortungssystemes stationär angeordnet. Er dient als Referenz zur Feststellung des Ortes eines Laserscanners 6, der fahrbar auf einem selbstfahrenden Wagen 7 angeordnet ist. Das

Ortungssystem bestimmt die zurückgelegte Fahrtstrecke durch Messung des Abstandes des Wagens 7 zur stationären Referenz 5. Der Laserscanner 6 ist zur Durchführung sogenannter

Profilscans ausgebildet, bei denen der Messstrahl für den Messvorgang sukzessive um eine Achse senkrecht zur

Strahlrichtung rotiert und somit eine Messung in einer Ebene 8 durchgeführt wird. Insbesondere in der Figur 2 ist zu

erkennen, dass diese Scanebene 8 gegenüber der durch die y- Achse und z-Achse des Koordinatensystems des Innenraums aufgespannten Ebene 9 um einen Winkel geneigt ist. Die

Kenntnis der Fahrstreckenposition und der Winkel wird später zur Berechung der optimalen Soll-Punktwolke aus den CAD-Teilen verwendet .

Zur Durchführung einer Vermessung wird der Wagen 7 auf ein Ende der Führungsschiene 3 gesetzt. Es erfolgt dann eine

Abtastung des Innenraums in der Scanebene 8. Im Zuge des langsamen Verfahrens des Wagens 7 entlang der Schiene 3 wird diese Scannebene 8 durch den gesamten zu vermessenden

Innenraum gefahren, so dass dieser vermessen wird. Der Ort des Wagens 7 während des Messvorgangs wird mittels des Meßsystems mit der Referenz 5 bestimmt.

In einem zweiten Schritt wird der Wagen 7 auf die parallel verlaufende Führungsschiene 4 gesetzt und der Messvorgang wiederholt. Bei diesem zweiten Messvorgang wird die Scanebene 8 verkippt, so dass sie jetzt mit der yz-Ebene 9 den Winkel - einschließt. Bei diesem zweiten Scanvorgang wird der Innenraum somit mit einer unterschiedlichen Scanebene vermessen.

Das zweifache Vermessen des Innenraums mit unterschiedlichen Scanebenen erlaubt das vollständige oder weitgehend vollständige Ausleuchten und damit Vermessen komplexerer

Hinterschnitte oder vergleichbarer Strukturen. Details dieses Vorgehens sind in der bereits genannten WO 2010/025910 AI beschrieben, auf die hier Bezug genommen wird.

Aus den Scandaten wird die Ist-Punktwolke errechnet. Das

Einpassen der Soll- in die Ist-Punktwolken kann beispielsweise mittels einer Vorgehensweise erfolgen, die in „Robotics and Autonomous Systems" 56 (2008) 915 bis 926 (dort Abschnitt „Object Detection and Interpretation in 3D data") beschrieben ist. Die Offenbarung dieses Artikels wird durch Bezugnahme darauf auch zum Gegenstand der vorliegenden Anmeldung gemacht.

Figur 3 zeigt schematisch die Berücksichtigung der

Scannerperspektive bei dem Errechnen der Soll-Punktwolke bzw. Vergleich von Ist- und Soll-Punktwolke.

In Figur 3 links ist als Beispiel für einen dreidimensionalen Körper ein Quader dargestellt. Die eingezeichneten Punkte sind eine typische homogene Punktwolke, die einen solchen Quader mit einer bestimmten Auflösung beschreibt. Eine solche

Punktwolke lässt sich rechnerisch aus CAD-Daten des Quaders ermitteln (Soll-Punktwolke.

Die rechte Hälfte von Figur 3 zeigt diejenigen Punkte der Ist- Punktwolke 9, die sich bei einem tatsächlichen Scanvorgang mittels eines Laserscanners platziert am angenommenen Ort 10 detektieren lassen. Lediglich drei der sechs Seiten des

Quaders können in diesem Beispiel ausgeleuchtet werden; die tatsächlich aus der Vermessung errechnete Ist-Punktwolke beschreibt dementsprechend nur drei der sechs Seiten dieses Quaders .

Damit es bei einem Einpassen der Soll- in die Ist-Punktwolke nicht zu Fehlanpassungen kommt, wird bevorzugt die Soll- Punktwolke unter Berücksichtigung der Scannerperspektive errechnet. Dies bedeutet, dass die errechnete Soll-Punktwolke ausgehend von den CAD-Daten nicht alle Oberflächenstrukturen beschreibt, sondern lediglich diejenigen Oberflächen, die bei dem vorgesehenen Scanvorgang tatsächlich vom Laserscanner angeleuchtet werden können. Diese unter Berücksichtigung der Scannerperspektive erstellte „reduzierte" Soll-Punktwolke lässt sich ohne weiteres in die gemessene Ist-Punktwolke einpassen. Kommt es hier zu signifikanten Abweichungen, ist davon auszugehen, dass diese tatsächlich zurückgehen auf fehlende oder fehlerhaft montierte Einzelteile.