EFFENBERGER, Ira (Mozarstrasse 7, Waldenbuch, 71111, DE)
HÜTTEL, Markus (Stuttgarter Strasse 65, Filderstadt, 70794, DE)
DUNKER, Thomas (Lydiastrasse 5, Essen, 45131, DE)
STOTZ, Martin (Obere Zeiselbergstrasse 39, Schwäbisch Gmünd, 73525, DE)
EFFENBERGER, Ira (Mozarstrasse 7, Waldenbuch, 71111, DE)
HÜTTEL, Markus (Stuttgarter Strasse 65, Filderstadt, 70794, DE)
DUNKER, Thomas (Lydiastrasse 5, Essen, 45131, DE)
Patentansprüche
1. Verfahren zum Behandeln von mindestens einem in einem begrenzten Bereich in einer Anordnung vorliegenden Objekt, dessen Form durch ein oder mehrere in Beziehung zueinander stehende Elemen- te, welche jeweils zumindest ein regelgeometrisches Element aufweisen, beschreibbar ist,
dadurch gekennzeichnet, dass
zunächst ein Objekt ausgewählt wird, indem zumindest die folgenden sieben Schritte ausgeführt werden, wobei
im ersten Schritt dreidimensionale Daten der Ob- j ekte aufgenommen werden und zweidimensionale
Daten einer Eigenschaft der Oberfläche der Anordnung der Objekte gewonnen werden,
im zweiten Schritt in den zweidimensionalen Da- ten zusammenhängende Segmente mit einer ähnlichen Eigenschaft bestimmt werden,
im dritten Schritt diese Segmente in Abhängigkeit von zumindest einer vorbestimmten Eigen- schaft der Segmente zumindest einem Element zugeordnet werden,
im vierten Schritt aus den Segmenten, welche E- lementen zugeordnet wurden, ein oder mehrere Segmente nach vorbestimmten Kriterien ausgewählt werden,
im fünften Schritt die den ausgewählten Segmenten zugeordneten dreidimensionalen Daten be- stimmt werden,
im sechsten Schritt ausgehend von den so ermittelten dreidimensionalen Daten als Startbereich in die im ersten Schritt ermittelten dreidimen- sionalen Daten zumindest ein Element eingepasst wird,
im siebten Schritt aus der so ermittelten Lage des zumindest einen Elementes die Lage des aus- zuwählenden Objektes bestimmt wird,
und im Anschluss an die Auswahl des Objektes eine Behandlungsvorrichtung anhand der das ausgewählte Objekt beschreibenden Daten gesteuert wird.
2. Verfahren nach dem vorhergehenden Anspruch zum
Behandeln von mindestens einem in einem begrenzten Bereich in einer Anordnung vorliegenden Objekt, dessen Form durch ein oder mehrere in be- kannter Beziehung zueinander stehende Elemente, welche jeweils zumindest ein regelgeometrisches Element aufweisen, beschreibbar ist,
dadurch gekennzeichnet, dass
zur Auswahl des Objekts
im ersten Schritt dreidimensionale Daten, welche die Anordnung der Objekte abbilden, aufgenommen werden und eine zweidimensionale Projektion ei- ner Eigenschaft der Oberfläche der Anordnung der Objekte gewonnen wird,
im zweiten Schritt die zweidimensionale Projek- tion in zusammenhängende Segmente miteinander in
Zusammenhang stehender Werte der Eigenschaft zerlegt wird,
im dritten Schritt vorbestimmte Eigenschaften der Segmente bestimmt werden und anhand dieser
Eigenschaften ein oder mehrere der Segmente einem oder mehreren Elementen welche Bestandteil der Form des auszuwählenden Objektes sind, zugeordnet werden,
im vierten Schritt aus den Segmenten, welche E- lementen zugeordnet sind, ein oder mehrere Segmente nach vorbestimmten Kriterien ausgewählt werden,
im einem fünften Schritt den im vierten Schritt ausgewählten Segmenten jene im ersten Schritt aufgenommenen dreidimensionalen Daten zugeordnet werden, welche bei der Projektion in die ent- sprechenden Segmente fallen,
im sechsten Schritt aus den im ersten Schritt aufgenommenen dreidimensionalen Daten jene Daten ausgewählt werden, welche zusammen mit den im fünften Schritt den ausgewählten Segmenten zugeordneten Daten das dem entsprechenden Segment zugeordnete Element abbilden,
im siebten Schritt jene dreidimensionalen Daten ausgewählt werden, welche zusammen mit den das zumindest eine Element abbildenden Daten das auszuwählende Objekt beschreiben,
und im Anschluss an die Auswahl des Objektes eine Behandlungsvorrichtung anhand der das ausge- wählte Objekt beschreibenden Daten gesteuert wird.
3. Verfahren nach einem der vorhergehenden Ansprüche, dass das Element genau ein regelgeometrisches Element enthält oder daraus besteht oder ein regelgeometrisches Element ist oder zumindest zwei regelgeometrische Elemente enthält o- der daraus besteht.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach dem sechsten Schritt und vor dem siebten Schritt der dritte Schritt bis zum sechsten Schritt für ein oder mehrere weitere Elemente, durch welche die Form des auszuwählenden Objekts beschrieben wird, durchgeführt werden, vorzugsweise bis die Lage des auszuwählenden Objekts eindeutig festgelegt ist.
5. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass im dritten Schritt zumindest eines der einen oder mehreren weiteren Elemente zumindest einem Segment zugeordnet wird, welchem vorher kein Element zugeordnet wurde .
6. Verfahren nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im drit- ten Schritt die Eigenschaften für zumindest eines der weiteren Elemente neu bestimmt werden.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass nach dem sechsten Schritt zusätzlich dreidimensionale Daten ausgewählt werden, welche zumindest ein weiteres Element abbilden, welches die Form des auszuwählenden Objekt beschreibt, oder dass zumindest ein weiteres Element, welches die Form des auszuwählenden Objektes beschreibt, in die dreidimensionalen Daten einge- passt wird.
8. Verfahren nach einem der vorhergehenden Ansprü- che, dadurch gekennzeichnet, dass im sechsten
Schritt als Startbereich dreidimensionale Daten ausgewählt werden, die das auszuwählende Objekt abbilden, wenn es um einen Freiheitsgrad bewegt wird, der nicht durch ein vorher eingepasstes Element eingeschränkt ist.
9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die im ersten Schritt aufgenommenen dreidimensionalen und/oder zweidimensionalen Daten Bild-Daten sind.
10. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die dreidimensionalen Daten über ein Lichtschnittverfahren, über Streifenprojektion und/oder mit Hilfe eines Time-Of-Flight-Sensors gewonnen werden.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die zweidimensionalen Daten durch ein Kamerasystem gewonnen werden.
12. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die zweidimensionalen Daten aus den dreidimensionalen Daten berechnet werden.
13. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die zweidimensionalen Daten in ein regelmäßiges zweidimensionales Gitter geschrieben werden.
14. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die zweidimensionalen Daten in ein Hexa- gonalgitter oder ein Dreiecksgitter geschrieben werden.
15. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die zweidimensionalen Daten in ein Gitter geschrieben werden, das durch Zentralprojek- tion eines äquidistanten, orthogonalen Gitters auf eine dazu nicht parallele Ebene gewonnen wurde .
16. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im ersten Schritt die zweidimensionalen Daten skaliert werden .
17. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Eigenschaft im zweiten Schritt die Tiefeninformation, die Intensitätsinformation, der Grauwert, die
Farbe, der Abstand von einem Punkt, der Abstand von einer Achse und/oder der Abstand von einer Ebene ist.
18. Verfahren nach einem der vorhergehenden Ansprü- che, dadurch gekennzeichnet, dass im zweiten
Schritt zusammenhängende Bereiche anhand von aus der Eigenschaft berechneten Werten und/oder an- hand von Krümmungen der Oberfläche der Anordnung bestimmt werden.
19. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im zweiten Schritt zusammenhängende Segmente mit der Methode des Region-Growings bestimmt werden.
20. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im dritten Schritt Segmente anhand von Informationen über das auszuwählende Objekt Elementen, die das auszuwählenden Objekts beschreiben, zugeordnet werden.
21. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im dritten Schritt die zumindest eine Eigenschaft zur Zuordnung von Segmenten zu Elementen automatisch vorbestimmt wird.
22. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im dritten Schritt die zumindest eine Eigenschaft zur Zuordnung anhand eines CAD-Mode11s des auszuwählenden Objekts bestimmt wird.
23. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im dritten Schritt die Zuordnung mit Hilfe von Pattern-
Matching erfolgt .
24. Verfahren nach einem der vorhergehenden Ansprüche , dadurch gekennzeichnet, dass die Eigenschaften zur Zuordnung im dritten Schritt die Fläche, der Umfang, die Momente, die kleinste und/oder größte Breite, die Anordnung, Minima, Maxima, der Mittelwert, die Varianz, der Flä- chentyp, die lokale Krümmung und/oder die relative Lage zu bereits gefundenen Teilgeometrien ist.
25. Verfahren nach einem der vorhergehenden Ansprü- che, dadurch gekennzeichnet, dass im vierten
Schritt das vorbestimmte Kriterium die bessere Greifbarkeit ist.
26. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass im sechsten Schritt die Einpassung bzw. die Datenauswahl anhand einer Best-Fit-Einpassung erfolgt.
27. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass vor dem siebten Schritt überprüft wird, ob an das auszuwäh- lende Objekt Teile von Objekten angrenzen, die nicht zum auszuwählenden Objekt gehören und dass im siebten Schritt die Behandlungsvorrichtung unter Berücksichtigung des Ergebnisses dieser überprüfung gesteuert wird.
28. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Behandlungsvorrichtung das ausgewählte Objekt greift, manipuliert, bedruckt, verformt, vermisst, prüft und/oder seine Lage bestimmt.
29. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Behandlungsvorrichtung der Greifarm eines Roboters ist.
30. Verfahren nach einem der vorhergehenden Ansprü- che, dadurch gekennzeichnet, dass der Greifarm mit einer Ansaugvorrichtung ausgestattet ist.
31. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass der Greifarm das auszuwählende Objekt im Anschluss an die Auswahl greift und/oder ansaugt.
32. Vorrichtung, geeignet zum Behandeln von mindestens einem in einem begrenzten Bereich in einer Anordnung vorliegenden Objekt, dessen Form durch ein oder mehrere in Beziehung zueinander stehende Elemente, die jeweils zumindest ein regelgeo- metrisches Element aufweisen, beschreibbar ist,
gekennzeichnet durch
ein Auswahlmittel zum Auswählen eines Objektes, wobei das Auswahlmittel aufweist:
1) eine Aufnahmevorrichtung, geeignet zur Aufnahme dreidimensionaler Daten der Objekte und zur Gewinnung zweidimensionaler Daten einer Ei- genschaft der Oberfläche der Anordnung der Objekte,
2) eine Bestimmungsvorrichtung, geeignet zur Bestimmung zusammenhängender Segmente mit einer ähnlichen Eigenschaft in den zweidimensionalen
Daten,
3) eine Zuordnungsvorrichtung, geeignet zur Zuordnung von zumindest einem Element zu diesen Segmenten in Abhängigkeit von zumindest einer vorbestimmten Eigenschaft der Segmente,
4) eine Auswahlvorrichtung, geeignet um aus den Segmenten, welche Elementen zugeordnet wurden, ein oder mehrere Segmente nach vorbestimmten Kriterien auszuwählen,
5) eine zweite Bestimmungsvorrichtung, geeignet zur Bestimmung der den ausgewählten Segmenten zugeordneten dreidimensionalen Daten,
6) eine Einpassungsvorrichtung, geeignet um ausgehend von den so ermittelten dreidimensionalen Daten als Startbereich in die im ersten Schritt ermittelten dreidimensionalen Daten zumindest ein Element einzupassen,
7) eine dritte Bestimmungsvorrichtung, geeignet zur Bestimmung der Lage des auszuwählenden Ob- jektes aus der so ermittelten Lage des zumindest einen Elementes,
und einer aufgrund der das ausgewählte Objekt beschreibenden Daten steuerbaren Behandlungsvor- richtung.
33. Vorrichtung nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass sie zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 31 geeignet ist. |
Verfahren zur Lagebestimmung von Objekten im dreidimensionalen Raum
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung der Lage von durch regelgeometrische Körper beschreibbaren Objekten sowie eine Vorrichtung, welche anhand der durch das Verfahren bestimmten Daten die entsprechenden Objekte behandeln kann.
In vielen Bereichen der Technik, wie zum Beispiel der Automatisierungstechnik oder bei Servicerobotern welche Objekte aufnehmen oder greifen sollen, besteht die Aufgabe, die räumliche Lage von beliebig orientierten Objekten (Werkstücken, Bauteilen, ...) zu bestimmen. Die Lage der Objekte im Raum ist unbekannt und muss in Position und Orientierung bestimmt werden, um geeignete Greifpositionen zum Greifen zu liefern. In der Problemstellung ist immer die Forderung nach einer möglichst kurzen Zeitspanne für die Erken- nung enthalten.
Eine Erschwerung des Problems entsteht durch weitere Objekte in der Umgebung der zu greifenden Objekte. Ein in der Praxis häufiger Fall sind zum Beispiel in Kisten aufbewahrte Werkstücke, die als vollkommen ungeordnetes Schüttgut vorliegen. Hierbei ist jedes einzelne Objekt von einer Vielzahl anderer Objekte umgeben .
Das zugrunde liegende technische Problem der Erfindung gliedert sich in folgende Teilaspekte:
• Das interessierende Objekt muss vom Hintergrund absegmentiert werden, d.h. alle Punkte der Punktwolke, die nicht zum Objekt gehören, müssen von den Punkten, die zum Objekt gehören, getrennt werden. Im Beispiel von ungeordneten Teilen in Kisten muss unter den vielen (gleichen) Teilen erst ein überhaupt zum Greifen in Frage kommendes, d.h. voraussichtlich frei zugängliches, Objekt gefunden werden.
• Die exakte Lage des Objektes im Raum muss mit Ihren Parametern wie Position und Richtung bestimmt werden. Im Fall von zu greifenden Teilen kann daraus dann die Greifposition bestimmt werden.
Nach dem Stand der Technik erfolgt eine solche Bestimmung der Lage von Objekten zum Beispiel unter Verwendung photogrammetrischer Methoden, wie der „3D ROBOT VISION" von ISRA VISION SYSTEMS AG. Der Nachteil ist hier, dass auf den Objekten Merkmale vorhanden sein müssen, die es erlauben, photogrammetrisehe Verfahren anzuwenden.
Eine andere Vorgehensweise nach dem Stand der Technik
besteht darin, aus einem CAD-Modell eine große Zahl von Ansichten des zu manipulierenden Objektes zu Bestimmen und anhand dieser das Objekt auszuwählen. Hierzu sind jedoch 4000 bis 12000 Bilder notwendig, was das Verfahren Zeit- und Rechenintensiv macht.
Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren anzugeben, mit welchem Objekte, die zumindest teilweise durch regelgeometrische Elemente be- schreibbar sind, vor einem komplexen Hintergrund ohne detaillierte Kenntnis der Form oder auf dem Objekt angebrachter Markierungen möglichst schnell erkannt werden können.
Die Aufgabe wird gelöst durch das Verfahren nach Anspruch 1 sowie durch die Behandlungsvorrichtung nach Anspruch 31. Vorteilhafte Weiterbildungen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung werden durch die jeweiligen abhängigen Ansprüche gegeben.
Detaillierte Beschreibung der Erfindung
Die Erfindung bezieht sich auf Objekte, die durch re- gelgeometrische Elemente, wie z.B. Zylinder oder Kegel beschrieben werden können. Solche Objekte können zum Beispiel Rohre sein. Weiter bezieht sich die Erfindung auf Objekte, die aus regelgeometrischen Elementen aufgebaut sind oder regelgeometrische Elemente enthalten.
Der Ausdruck „regelgeometrisch" bedeutet hierbei, dass die entsprechende Form oder Geometrie durch geschlossenen Formeln und/oder parametrische Formeln und/oder implizite Formeln beschreibbar ist.
Das erfindungsgemäße Verfahren nutzt eine Kombination aus Bildverarbeitung und 3D-Datenverarbeitung. Die Grundlage für die Bildverarbeitung sind in einer rechteckigen Matrix angeordnete Pixelwerte, wobei ein einzelnes Pixel eine Tiefeninformation (das ist dann ein Tiefenbild) oder eine Intensitätsinformation (das ist dann ein Grauwert oder Farbbild) enthalten kann. Allgemeiner können die 3D- und Intensitätswerte auf einem beliebigen anderen als einem rechteckigen re- gelmäßigen 2D-Gitter angeordnet sein. Unter „regelmäßig" wird z.B. auch ein Gitter, das durch Zentralprojektion (Modell für Kameraabbildung) eines äquidis- tanten, orthogonalen Gitters auf eine dazu nicht parallele Ebene entsteht, verstanden, obwohl in dieser Ebene die Abstände zwischen den Gitterpunkten nicht mehr gleich sind. Regelmäßige Dreiecksgitter oder deren Duale — Hexagonalgitter — sind auch möglich. Das entscheidende ist eine regelmäßige Nachbarschafts- struktur. Diese Daten werden im Folgenden als Bild bezeichnet. Die Grundlage für die 3D-
Datenverarbeitung sind Punkte im Raum, denen jedem einzelnen 3D-Koordinaten (x,y,z) zugeordnet sind. Solche Daten werden von 2,5D- und 3D-Sensoren geliefert. Die Tiefenbilder sind nach der Voraussetzung in der Problemstellung immer vorhanden bzw. errechenbar. Manche Sensoren zur 2, 5D-/3D-Datenerfassung liefern zusätzlich noch Grauwertbilder, bei welchen dann jedem Grauwertpixel eine 3D-Koordinate zugeordnet ist, was die Auswertung verbessern kann.
Im Folgenden wird das erfindungsgemäße Verfahren beschrieben, das aus mehreren Schritten besteht. Die einzelnen Schritte sind nicht in allen Varianten des Verfahrens notwendig und es werden Varianten genannt, in denen einzelne Schritte unterschiedlich ausgeprägt sein können. Zuerst wird das allgemeine Verfahren be-
schrieben, das für Objekte, die regelgeometrische E- lemente enthalten, vorgesehen ist.
Das erfindungsgemäße Verfahren dient zum Erkennen und Behandeln von mindestens einem in einem begrenzten
Bereich in einer Anordnung vorliegenden Objekt, dessen Form durch ein oder mehrere in bekannter Beziehung zueinander stehende Elemente, welche jeweils zumindest ein regelgeometrisches Element aufweisen, be- schreibbar ist. Dabei wird im folgenden überall, wo der Begriff des regelgeometrischen Elementes verwendet wird, auch gemeint, dass das entsprechende regelgeometrische Element bzw. Element mehrere regelgeometrische Elemente aufweisen kann oder daraus beste- hen kann.
Ein Element oder regelgeometrisches Element kann auch zwei, drei, vier, fünf oder mehr regelgeometrische Elemente aufweisen oder daraus bestehen. Der begrenzte Bereich ist hierbei im Wesentlichen durch den Aktionsbereich der Behandlungsvorrichtung gegeben. Der Bereich kann aber auch zum Beispiel durch die Wände einer Verpackung oder Kiste, in welcher die Objekte untergebracht sind, begrenzt sein. Die Behandlung eines Objektes kann z.B. das Greifen, das Ansaugen, das Verändern aber auch das Vermessen und überprüfen des entsprechenden Objektes sein.
Erfindungsgemäß muss das zu manipulierende Objekt zunächst ausgewählt werden. Der Prozess des Auswählens beinhaltet hier einerseits die Bestimmung eines Objektes aus mehreren, das Auswählen beinhaltet aber auch die Bestimmung von Eigenschaften des Objektes, wie beispielsweise seiner Lage und/oder Eigenschaften seiner Form.
Um ein Objekt in diesem Sinne auswählen zu können,
muss zunächst eine Datengrundlage geschaffen werden. Hierzu werden mit Hilfe eines entsprechenden Sensors und eventueller Umrechnung die nötigen kombinierten Daten, d.h. 3D-Daten und ein Tiefenbild oder 3D-Daten und ein Grauwertbild gewonnen. Als Sensor zur Aufnahme der dreidimensionalen Daten eignen sich z.B. Lichtschnitt, Streifenprojektion oder Time of Flight (ToF) -Sensoren. Der Sensor nimmt Teile aus einer Ansicht auf und stellt die so erhaltenen Daten digital zur Verfügung. Das Tiefebild bzw. das Grauwertbild kann durch einen gesonderten Sensor bestimmt werden, es kann aber auch aus den wie oben beschriebenen dreidimensionalen Daten berechnet werden. Unter einem Tiefenbild wird hier eine Anordnung von Daten in ei- ner Matrix verstanden, in welcher jeder Pixel, d.h. jeder Datenpunkt, einen Abstand enthält. Dieser Abstand ist die Entfernung der Oberfläche der erfassten Anordnung von Objekten zu einer bestimmten Ebene, welche z.B. durch den Sensor definiert sein kann. Entsprechend enthält das Grauwertbild an den einzelnen Pixeln die Helligkeit oder den Grauwert der Oberfläche des Objektes an der entsprechenden Stelle. Wie oben beschrieben, muss diese Anordnung von Pixeln nicht notwendigerweise rechteckig sein, infrage kommt im allgemeinen jedes regelmäßige 2D-Gitter im obigen Sinne .
In einem zweiten Schritt wird nun das zweidimensionale Bild auf Basis der Grauwerte, der Farbe, des Ab- Standes und/oder den aus den dreidimensionalen Koordinaten abgeleiteten Werten, wie z.B. der Krümmung oder dem Abstand zu einer Ebene, einem Punkt oder einer Achse in einzelne Regionen zerlegt. Es werden also in diesem zweiten Schritt in den zweidimensionalen Daten zusammenhängende Segmente mit einer ähnlichen Eigenschaft bestimmt. Hierbei kommt es darauf an,
dass die Werte der betrachteten Eigenschaft innerhalb eines Segmentes miteinander in Zusammenhang stehen. Der Zusammenhang kann z.B. darin bestehen, dass die Werte gleich sind oder sich stetig ändern. Die BiI- düng von Segmenten kann z.B. mittels des Regiongro- wing-Verfahrens erreicht werden, bei dem Bildpunkte mit ähnlichen Eigenschaften zu Regionen zusammenge- fasst werden. ähnliche Pixelwerte bedeutet hier, dass sich die Werte benachbarter Pixel um nicht mehr als einen vorgegebenen Wert unterscheiden.
Im dritten Schritt werden die im zweiten Schritt bestimmten Segmente in Abhängigkeit von zumindest einer vorbestimmten Eigenschaft der Segmente zumindest ei- nem Element zugeordnet. Synonym zum Begriff „Segment" wird im Folgenden auch der Begriff „Region" verwendet. Von den entstandenen Regionen werden Eigenschaften berechnet, die sowohl aus der Kontur (dem Rand) der Region als auch aus der Region als flächiges EIe- ment bestimmt werden. Dies können Eigenschaften, wie Fläche, Umfang, Momente, kleinste und größte Breite, Anordnung etc. sein. Bei der Auswahl auf der Basis des Inhaltes der Region werden die Eigenschaften vor allem aus den 3D-Koordinaten aller Punkte einer Regi- on ermittelt, z.B. Minima, Maxima, Mittelwerte, Varianz, etc. einer Koordinate oder der lokalen Krümmungen. Nach diesen Eigenschaften werden Kriterien aufgestellt, nach denen die zu findenden Objekte grob so ausgewählt werden, dass diese Eigenschaften der aus- gewählten Regionen denen der gesuchten Objekte oder Teilen davon grob entsprechen. Kriterien können z.B. eine möglichst exponierte Lage, eine relative Lage zu bereits gefundenen Teilgeometrien oder ein bestimmter Flächentyp sein. Enthält also z.B. das gesuchte Ob- jekt einen Zylinder, so entsteht in dem Bild eine Region, die diesen Zylinder beschreibt. Diese Region
kann z.B. aufgrund ihrer Länge und Breite dem Zylinder zugeordnet werden.
Im vierten Schritt werden nun aus den Segmenten oder Regionen, welche regelgeometrischen Elementen zugeordnet sind, ein oder mehrere Segmente nach vorbestimmten Kriterien ausgewählt. Dies ist insbesondere notwendig, wenn bei der Auswahl der Segmente nach den Kriterien Ausgangsdaten für mehrere Objekte gefunden werden. Im vierten Schritt können die Objekte dann z.B. noch nach Gesichtspunkten für bessere Greifbarkeit sortiert werden. So ist bei mehreren Teilen in Kisten ein möglichst weit oben liegendes Objekt besser geeignet als ein weiter unten liegendes .
Im fünften Schritt werden nun die den ausgewählten Segmenten zugeordneten dreidimensionalen Daten bestimmt. Es werden also zu den nach dem vierten Schritt ausgewählten zweidimensionalen Daten, die zu- mindest einen Teil eines zu findenden Objektes enthalten, die entsprechenden 3D-Daten gesucht. Hierbei werden den ausgewählten Segmenten jene im ersten Schritt aufgenommenen dreidimensionalen Daten zugeordnet, welche bei der Projektion, welche zur Erlan- gung der zweidimensionalen Daten durchgeführt wurde, in die entsprechenden Segmente fallen. Es wird also entsprechend den Pixelindices des Bildes, d.h. den zweidimensionalen Daten, die Werte der anderen Koordinaten hinzugenommen. Das Ergebnis hiervon sind im Verhältnis zur gesamten Szene in Bezug auf die Anzahl der Punkte kleine Punktwolken, die mindestens einen Teil eines zu findenden Objektes enthalten.
Im sechsten Schritt wird nun ausgehend von so ermit- telten dreidimensionalen Daten als Startbereich in die im ersten Schritt ermittelten dreidimensionalen
Daten zumindest ein Element eingepasst. Das Einpassen besteht hierbei darin, an die aufgenommenen dreidimensionalen Daten die Geometrie des einzupassenden Elements in Form und Lage in einem gewissen Sinne möglichst gut anzupassen. Die Anpassung kann iterativ erfolgen, beispielsweise in einem Best-Fit-Verfahren oder nach dem Tschebyscheff-Verfahren. Es können aber auch andere, auch nicht iterative Verfahren Verwendung finden. Bestandteil des Einpassens ist auch, aus den aufgenommenen dreidimensionalen Daten jene Daten auszuwählen, welche zusammen mit den im fünften Schritt ausgewählten Segmenten zugeordneten Daten das dem entsprechenden Segment zugeordnete Element beschreiben. Dazu werden beim Einpassen jene Punkte, die nicht zum Objekt gehören, in eine separate Punkt- wölke absepariert. Es wird also in die Ergebnispunkt- wölke aus dem fünften Schritt als Startbereich das nach den Kriterien geeignete Element eingepasst. Durch die Einpassung wird die Form und/oder die Lage des Elementes bestimmt, wodurch zumindest die Lage und/oder Form des Objektes zumindest zum Teil bestimmt wird. Dabei ist von Vorteil, dass die gelieferten Startbereiche dank der vorangegangenen Schritte im Verhältnis zur gesamten Szene nur einen Bruch- teil der Anzahl der Punkte der Eingangsdaten enthält, was die Einpassung schneller macht.
Wichtig ist dabei, neben der Robustheit der Einpassung gegen Störungen und Rauschen, eine in die Best- einpassung integrierte Elimination von Punkten, die nicht zu dem Element gehören. Das geschieht durch eine Iteration von Einpassung einer Regelgeometrie, Entfernen von Punkten aus der Punktwolke und wieder Hinzufügen von Punkten. Dies ist wichtig, da in den Bilddaten die Auswahl nur grob erfolgt ist und unter Umständen sogar Teile fremder Objekte in der Auswahl
mit enthalten sein können. Ist die Einpassung erfolgreich, so ist das Ergebnis die Lage und Form der Regelgeometrie, eine zugehörige Punktmenge und eine Restpunktemenge. Bei Objekten, die durch genau ein Element beschrieben werden, ist damit die Lagebestimmung vollendet. Zum Beispiel reicht für die Lagebestimmung eines Rohres die Einpassung eines Zylinders. Für komplexere Objekte, die mehrere Elemente enthalten, ist normalerweise die Lage durch das Kennen der Lage eines einzelnen Elements noch nicht eindeutig festgelegt. In dem Fall werden solange iterativ weitere Objekte eingepasst, bis die Lage des Objektes bis auf Symmetrie eindeutig festgelegt ist.
Es wird nun im siebten Schritt aus der so ermittelten Lage des zumindest einen regelgeometrischen Elementes die Lage des auszuwählenden Objektes bestimmt. Hierzu werden jene dreidimensionalen Daten ausgewählt, welche zusammen mit den das zumindest eine regelgeomet- rische Element abbildenden Daten das auszuwählende
Objekt beschreiben.
Ist ein Objekt ausgewählt und durch das obige Verfahren ausreichend bestimmt, so kann nun eine Behand- lungsvorrichtung anhand der das ausgewählte Objekt beschreibenden Daten gesteuert werden. Die Behandlung kann beispielsweise in einem Greifen, Verformen, Bedrucken, Verändern, Ansaugen, Manipulieren, Vermessen und/oder überprüfen bestehen.
Im Fall von komplexen Objekten, die nicht durch genau ein regelgeometrisches Element beschrieben werden können, sind für die iterative Einpassung weiterer Elemente auch weitere Bereiche aus der Punktwolke der gesamten Szene notwendig, um dort die Einpassungen vornehmen zu können. Es müssen also ähnlich zum drit-
ten bis sechsten Schritt für die zweite bis zur maximal notwendigen Iteration Startbereiche zur Verfügung gestellt werden. Die Anzahl der nötigen Iterationen richtet sich dabei nach den Freiheitsgraden von Ob- jektrotationen und Translationen. Dabei wird folgendermaßen vorgegangen.
Da von dem zu findenden Objekt bekannt ist, wo weitere regelgeometrische Elemente vorhanden sind und wie diese zu dem bereits gefundenen in räumlicher Beziehung stehen, können in der gesamten Szene an den entsprechenden infrage kommenden Bereichen Daten ausgewählt werden. Die Auswahl der Daten kann entweder im Bild oder in den 3D-Daten erfolgen, wobei vermutlich die Auswahl im Bild in der praktischen Anwendung schneller sein wird. Für die Auswahl im Bild werden zwei Varianten vorgeschlagen.
Die erste Variante ist die Auswahl von einer an den vorhergehenden Startbereich angrenzenden Region aus dem zweiten Schritt, die die festgelegten Kriterien im dritten Schritt nicht erfüllt hat oder für die im dritten Schritt die Kriterien zur Auswahl neu definiert werden. Bei mehreren gefundenen Regionen kann anhand von a priori Informationen über das zu findende Objekt eine Auswahl getroffen werden.
Bei der zweiten Variante wird auf der Basis von a priori Informationen gezielt nach Bereichen gesucht. Dazu kann eventuell von dem gesuchten Objekt ein Tiefen- oder Grauwertbild erzeugt und verwendet werden. Anhand der bereits festgelegten regelgeometrischen Elemente und damit eingeschränkten Freiheitsgraden können die Regionen gesucht werden.
Daran müssen sich noch die Schritte zur Festlegung
der Startbereiche aus dem Gesamtverfahren anschließen.
Die direkte Auswahl der Startbereiche in den 3D-Daten ist ähnlich der zweiten Variante denkbar. Dazu können in diesem Fall Punkte, die beim Bewegen der Objekte um die verbliebenen Freiheitsgrade überstrichen werden, als Startbereiche für die nächste Iteration dienen.
Im Folgenden werden einige weitere Ausführungsformen des erfindungsgemäßen Verfahrens beschrieben.
In einer ersten bevorzugten Ausführungsform werden im zweiten Schritt nicht die Pixelwerte für die Segmentierung herangezogen, sondern vorher aus den Pixelwerten berechnete Größen. Im Fall von Tiefenbildern können dies z.B. die Krümmungen sein.
Damit kann auch die Auswahl der Startsegmente für die beschriebene iterative Einpassung weiterer regelgeometrischer Elemente abgewandelt werden. Jetzt wird von dem gesuchten Objekt die Krümmungsverteilung berechnet und im Krümmungsbild der Szene werden die entsprechenden Segmente bzw. Regionen gesucht.
In zweiten bevorzugten Ausführungsform des erfin- dungsgemäßen Verfahrens können im dritten Schritt die Kriterien automatisiert bestimmt werden aus einem einzeln digitalisierten Objekt, von dem automatisch die interessierenden Größen extrahiert werden. Anstatt das Objekt zu digitalisieren, kann, falls vorhanden, ein CAD-Modell im Rechner in ein entsprechend skaliertes Tiefen- oder Grauwertbild umgewandelt wer- den.
Das nach der Digitalisierung entstehende Bild gibt aufgrund der ungleichen örtlichen Auflösung der Matrix in den beiden Richtungen die Szene verzerrt wieder. Damit die Kriterien im dritten Schritt und ande- ren Schritten in beiden Richtungen der Matrix die gleiche Bedeutung haben, kann das Bild in einer dritten bevorzugten Ausführungsform des Verfahrens in einer Richtung gesubsampelt und/oder geresampelt werden. Es können aber auch die Kriterien je nach der Lage der Regionen im Bild entsprechend skaliert werden.
Bestimmte Objekte werden im Bild charakteristische Muster erzeugen. Diese können in einer vierten bevor- zugten Ausführungsform mit einer in der Bildverarbeitung gängigen Methode z.B. des Pattern Matching im Ergebnis vom zweiten Schritt gefunden werden. Das zu findende Muster wird dazu ähnlich wie oben beschrieben aus einem einzelnen digitalisierten Objekt und/oder einem CAD-Modell erzeugt. Der dritte Schritt des Verfahrens kann so in gewissen Fällen ersetzt werden. Damit können auf einmal mehrere Startbereiche für den sechsten Schritt erzeugt werden, was unter Umständen sogar eine Iteration zur vollständigen La- gebestimmung erübrigt.
Im Folgenden soll das erfindungsgemäße Verfahren anhand einiger Beispiele veranschaulicht werden.
Figur 1 zeigt ein Flussdiagramm des erfindungsgemäßen
Verfahrens .
Figur 2 zeigt eine Vorrichtung zur Implementierung des erfindungsgemäßen Verfahrens .
Figur 1 zeigt ein Flussdiagramm des erfindungsgemäßen
Verfahrens . Hierbei werden zunächst in einem ersten Schritt 1 3D-Daten auf einem regelmäßigen Gitter aufgenommen. Darüber hinaus wird im ersten Schritt 1 ein Tiefenbild gewonnen. Wie oben beschrieben, kann an- stelle des Tiefenbildes beispielsweise auch ein Grauwertbild oder ein Farbbild gewonnen werden. Das entsprechende zweidimensionale Bild kann aus dem dreidimensionalen Bild gewonnen werden oder durch einen gesonderten Sensor aufgenommen werden. In dem Tiefen- bild wird nun in einem zweiten Schritt 2 eine Segmentierung durch „Region-Growing" durchgeführt. Hierbei werden zusammenhängende Segmente mit ähnlichen Eigenschaften bestimmt . Es werden nun in einem dritten Schritt 3 Regionen bzw. Segmente nach Kriterien, wie Flächeninhalt, Länge oder Breite ausgewählt. Diese Regionen werden zumindest einem regelgeometrischen Element zugeordnet. Es folgt ein überprüfung 4, ob im dritten Schritt 3 überhaupt eine Region einem regel- geometrischen Element zugeordnet wurde. Ist dies nicht der Fall, so müssen in einem Schritt 5 die Kriterien zur Regionsauswahl geändert werden oder eine Fehlermeldung ausgegeben werden. Werden im Schritt 5 die Kriterien geändert, so muss der dritte Schritt 3 erneut ausgeführt werden. Dies geschieht so lange, bis die überprüfung 4 ergibt, dass im dritten Schritt 3 eine Region einem regelgeometrischen Element zugeordnet wurde .
Für den Fall, dass im dritten Schritt 3 mehrere Regi- onen unterschiedlichen regelgeometrischen Elementen zugeordnet wurden, kann nun im vierten Schritt 6 die Region ausgewählt werden, welche beispielsweise am Besten greifbar ist. Hierzu werden bestimmte Kriterien angewandt, welche die Greifbarkeit eines regel- geometrischen Elementes beschreiben. Auf den vierten Schritt folgend wird ein überprüfung 8 durchgeführt,
ob im vierten Schritt 6 ein regelgeometrisches Element als das am besten geeignete ausgewählt wurde. Ergibt diese Prüfung 8, dass im vierten Schritt 6 kein Element als das am besten zu greifende ausge- wählt wurde, so müssen in einem Schritt 7 die Kriterien für die Auswahl im vierten Schritt 6 geändert werden oder eine Fehlermeldung ausgegeben werden. Werden im Schritt 7 die Kriterien geändert, so erfolgt im vierten Schritt 6 die Regionsauswahl erneut . Die Kriterien werden im Schritt 7 so lange geändert, bis die überprüfung 8 ergibt, dass ein regelgeometrisches Element als das am Besten geeignete ausgewählt wurde. Es wird dann im sechsten Schritt 9 eine Best- einpassung der regelgeometrischen Elemente vorgenom- men. In einer Entscheidung 10 kann jetzt noch entschieden werden, ob weitere Regionen regelgeometrischen Elementen zugeordnet werden sollen oder nicht. Dies ist insbesondere interessant für Objekte, deren Form sich durch mehrere regelgeometrische Elemente beschreiben lässt. Für den Fall, dass weitere Segmente regelgeometrischen Elementen zugeordnet werden sollen, wird das Verfahren ab dem dritten Schritt 3 erneut durchgeführt. Ergibt die Entscheidung 10, dass keine weiteren Regionen untersucht werden sollen, so werden im sechsten Schritt 11 die regelgeometrischen Elemente in die dreidimensionalen Daten eingepasst, wobei aus den dreidimensionalen Daten solche Daten ausgewählt werden, welche die regelgeometrischen Elemente beschreiben.
Figur 2 zeigt eine Anordnung mit einem Roboter, welche geeignet ist, das erfindungsgemäße Verfahren auszuführen. Die Aufgabe ist hierbei, mittels eines Roboterarms 3 in Kisten 4 angeordnete Objekte zu grei- fen. Die Steuerung des Roboters sowie die Aufnahme und Verarbeitung der Daten erfolgt hier mittels eines
Rechners 2. Die dreidimensionalen Daten werden über ein Scannsystem 1 aufgenommen. Das Scannsystem 1 ist hierbei so ausgerichtet, dass es die Anordnung von Objekten in den Kisten 4 erfassen kann. Das Scann- System 1 kann so ausgebildet sein, dass es über den
Kisten 4 bewegbar ist. Der Roboterarm 3 ist an mehreren Gelenken bewegbar und kann in die Kisten 4 hineingreifen.
Es nimmt nun im ersten Schritt das Scannsystem 1 dreidimensionale Daten von der Anordnung der Objekte in den Kisten 4 auf . Diese Daten werden zunächst im Rechnersystem 2 gespeichert. Das Scannsystem 1 kann so ausgebildet sein, dass es zusätzlich zweidimensio- nale Daten, wie z.B. ein Tiefebild oder ein Grauwert- bild aufnimmt. Diese Daten werden dann ebenfalls im Rechner 2 gespeichert. Es ist aber auch möglich, dass der Rechner 2 aus den vom Scannsystem 1 ermittelten dreidimensionalen Daten zweidimensionale Daten er- rechnet. Das Rechensystem 2 kann nun die Einpassung der regelgeometrischen Elemente in die vom Scannsystem 1 übermittelten Daten vornehmen. Daraus ergeben sich Informationen wie z.B. die Lage und die Form der in den Kisten 4 angeordneten Objekte. Das Rech- nersystem 2 kann anhand dieser Informationen nun den Roboterarm 3 so steuern, dass er die in den Kisten 4 angeordneten Objekte greifen oder anders manipulieren kann.
Im Folgenden werden nun noch einige Ausführungsbeispiele für eine Umsetzung des erfindungsgemäßen Verfahrens beschrieben.
Im ersten Beispiel wird ein System beschrieben, wel- ches ungeordnete Teile, die nur aus einem regelgeometrischen Element bestehen, in ihrer Lage bestimmen
kann und welches für diese möglichst Kollisionsfreie Greifpunkte bestimmen kann. Solche Teile können z.B. Rohre sein. Es wird dabei folgendes Auswerteverfahren umgesetzt .
Durch ein Regiongrowing-Verfahren wird das Tiefenbild in Regionen segmentiert. Die Kriterien für die Auswahl der Regionen sind z.B. der Flächeninhalt, der einem vollständig erfassten Rohr entspricht plus/minus einer Toleranz. Werden mehrere geeignete Regionen gefunden, dann werden diese nach Greifbarkeit sortiert, also möglichst freiliegende, d.h. o- benliegende zuerst. In die den Pixelwerten entsprechenden 3D-Daten wird ein Zylinder eingepasst, wobei nicht zum Zylinder gehörende Punkte durch das Einpassverfahren segmentiert werden. Damit kann auch leicht eine Kollisionsprüfung durchgeführt werden, indem wieder ins Tiefenbild gegangen wird und der Ort und die Anzahl der nicht zum Zylinder gehörenden Punkte mit den zum Zylinder gehörenden Punkten verglichen wird. Wenn z.B. viele Punkte, die nicht zum Zylinder gehören, auf den errechneten Greifpunkt fallen, besteht Kollisionsgefahr.
Im nächsten Beispiel wird die Auswertung für komplexere Teile mit mehr als einem regelgeometrischen Element beschrieben. Das zu findende Objekt ist hier ein Zylinder mit einem an einem Ende ausgesetzten Teller. Das Auswerteverfahren ist folgendermaßen umgesetzt: Zunächst findet die Segmentierung durch Regiongrowing statt. Die Kriterien im dritten Schritt sind so festgelegt, dass Regionen, die zum großen Teil sichtbare Zylinder- und Teller-Regionen beschreiben, gefunden werden. Im Folgenden muss je nachdem, ob eine ZyIin- der- oder Teller-Region gefunden wurde, in die zu den Pixelwerten des Bildes gehörenden 3D-Daten ein Zylin-
der bzw. eine Ebene als regelgeometrisches Element eingepasst werden. Danach wird im Tiefenbild im Fall eines gefundenen Zylinders nach einem benachbarten Teller gesucht, der dann aufgrund von Perspektive kleiner sein kann als nach den Kriterien. Je nach Variante der Suche kann folgendes durchgeführt werden. Für die erste Variante der Suche werden in Achsenrichtung an beiden Enden des Zylinders im Abstand des Tellers 3D-Daten über den Umweg der Pixelkoordinaten Startbereiche bestimmt. Wenn auf beiden Seiten Startbereiche gefunden werden, werden in diese je eine Ebene eingepasst. Aufgrund der a priori Informationen über die zu findenden Objekte kann die richtige Ebene ausgewählt werden, nämlich die, welche die gleiche relative Lage zum Zylinder hat, wie am Modellobjekt. Wenn nur ein Startbereich gefunden wird, muss in diesen eine Ebene eingepasst werden und damit die Lage des Objektes festlegt werden. Für die zweite Variante wird entsprechend dem beschriebenen Verfahren der Startbereich erzeugt und dann wie in der ersten Variante vorgegangen. Bei der Variante der Suche in den 3D-Daten wird das Objekt (Zylinder mit Teller) um die Zylinderachse rotiert. Die Richtung des Objektes ist noch nicht festgelegt, deshalb wird der Modellzylin- der mit Tellern an beiden Enden versehen und um die
Zylinderachse rotiert. Die überstrichenen Punkte werden in wie in der ersten Variante bei der Suche im Tiefenbild weiterverarbeitet. Wenn das erste gefundene regelgeometrische Element ein Teller ist, wird in umgekehrter Reihenfolge sinngemäß der Zylinder als zweites Element eingepasst.
Des weiteren kann in der ersten bevorzugten Ausführungsform des Gesamtverfahrens anstatt mit Tiefenwer- ten mit den Krümmungen im Regiongrowing-Verfahren gearbeitet werden, wobei die weitere Verarbeitung wie
im obigen Beispiel beschrieben erfolgt.
Als Beispiel für die vierte bevorzugte Ausführungsform wird im Folgenden das Finden von Kurbelwellen beschrieben. Die Kurbelwellen liegen waagrecht in
Kisten. In einem Einlernschritt wird ein Exemplar der Kurbelwellen in mehreren fast waagrechten Lagen digitalisiert. Jeweils nach der Segmentierung wird das Pattern Matching-Verfahren mit den Ergebnissen der Segmentierung eingelernt.
Als Bereiche, die wiedergefunden werden sollen, werden die Regionen ausgewählt, die durch die Verbindungen der einzelnen zylindrischen Wellenteile entste- hen. In dem Erkennungsprozess wird nach der Segmentierung in den entstandenen Regionen nach dem Muster gesucht. Damit können die dazwischen liegenden Regionen, die Zylinder beschreiben, gefunden werden. Wenn in diese die Zylinder eingepasst werden, ist die Lage des Objektes festgelegt.
Ein Vorteil der Kombination aus Bildverarbeitung und 3D-Datenauswertung ist die Geschwindigkeitssteigerung, die gegenüber der reinen 3D-Datenauswertung er- reicht werden kann. über das beschriebene Verfahren der Einpassung eines ersten regelgeometrischen Elementes und nachfolgender, dadurch eingeschränkter Suche, besteht als Vorteil z.B. gegenüber ansichtsba- sierter Verfahren die Reduktion der zu überprüfenden Ansichten, was die Rechenzeit deutlich verkürzt. Der Hauptvorteil ist, dass die Lage von beliebigen Objekten bestimmt werden kann, wenn die Objekte nur regel- geometrische Elemente enthalten.
Bei Abwesenheit von mehreren punktförmigen Merkmalen (Schnittpunkte von Kanten, Bohrungen, Passmarken) in
einer Ansicht (z.B. sind beide Stirnseiten eines Zylinders nicht in einer Ansicht verfügbar) zur Lagebestimmung ist mit dem flächigen Ansatz der Besteinpassung eine genauere Lagebestimmung möglich, als z.B. auf Basis der Elliptizität der Ansicht einer Stirnfläche eines Zylinders.
Next Patent: APPARATUS FOR PRODUCING AND/OR PROCESSING PANELS