Hintergrund der Erfindung

Die Erfindung betrifft ein Verfahren zum Erstellen einer Referenzaufnahme des unbeladenen Zustands eines Werkstückträgers. Die Erfindung betrifft weiterhin eine Vorrichtung zur Durchführung eines solchen Verfahrens.

Es ist bekannt, Werkstücke von Werkstückträgern zu entnehmen und dabei ein Programm einzusetzen, das die Entnahme der Werkstücke überwacht.

Die WO 2020/127797 Al beschreibt eine Unterstützung eines Nutzers beim manuellen Absortieren gefertigter Teile von einem Werkstückträger in Form einer Palette. Dabei werden vorhandene Programmdaten und mit einer Kamera aufgenommene Bilddaten herangezogen, um eine verlässliche Erkennung und Verbuchung entnommener Teile zu erreichen.

Problematisch ist es dabei, zu erkennen, wann der Werkstückträger frei von Werkstücken, also vollständig absortiert, ist, da sich der Werkstückträger durch Kontaminationen und/oder Abnutzungen verändert. Aus der US 2016/0184945 Al ist es bekannt geworden, eine Kontamination zu detektieren, indem durch eine Kamera entweder eine Farbe detektiert wird, die außerhalb vorgegebener Farbbereiche liegt oder indem ein Abgleich mit einem Bild einer neuen Palette, d.h. der ursprünglichen Palette, erfolgt. Zusätzlich zur Kamera kann ein Gewichtssensor vorgesehen sein, um Kontaminationen anhand des (Zusatz-) Gewichts der Kontaminationen zu detektieren.

Dieses Verfahren ist jedoch verbesserungswürdig, da sich die Palette, wie zuvor erwähnt, durch Abnutzung bzw. Kontaminationen verändert. Es kann daher im Stand der Technik vorkommen, dass ein Werkstückträger als nicht vollständig absortiert erkannt wird, obwohl sich keine Werkstücke mehr auf dem Werkstückträger befinden, sondern Kontaminationen unterhalb des Werkstückträgers detektiert werden bzw. Abnutzungen des Werkstückträgers zu einem beladenen Eindruck des Werkstückträgers führen.

Aufgabe der Erfindung

Es ist daher Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung bereit zu stellen, die eine zuverlässige Erkennung eines werkstückfreien Werkstückträgers ermöglichen.

Beschreibung der Erfindung

Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren gemäß Patentanspruch 1 und eine Vorrichtung gemäß Patentanspruch 13. Die Unteransprüche geben bevorzugte Weiterbildungen wieder.

Die erfindungsgemäße Aufgabe wird somit gelöst durch ein Verfahren mit den Verfahrensschritten:

A) Aufnehmen eines Werkstückträgers mit einer Kamera;

B) Erkennen des Werkstückträgerzustands durch einen Algorithmus, wobei der Algorithmus die Aufnahme des Werkstückträgers auswertet;

C) Speichern der Aufnahme als Referenzaufnahme, wenn der Algorithmus den Werkstückträger als frei von Werkstücken identifiziert hat. Im Gegensatz zum Stand der Technik muss somit der aktuelle Zustand des Werkstückträgers nicht mit dem Zustand eines neuen, unbenutzten, Werkstückträgers verglichen werden, sondern mit dem Zustand des Werkstückträgers als er zuletzt unbeladen war. Hierdurch kann der Ladungszustand des Werkstückträgers signifikant zuverlässiger ermittelt werden.

Der Verfahrensschritt A) wird von der Kamera ausgeführt, die Verfahrensschritte B) und C) werden vorzugsweise von einem mit der Kamera verbundenen Rechner mit einem Speicher ausgeführt.

Die Aufnahme kann mit ultraviolettem und/oder infrarotem Licht erstellt werden. Die Aufnahme wird vorzugsweise mit Licht im sichtbaren Bereich erstellt.

Das Verfahren wird vorzugsweise erneut gestartet, wenn der Werkstückträger im Verfahrensschritt B) als beladen erkannt wird. Das Verfahren kann insbesondere kontinuierlich durchgeführt werden, sodass kontinuierlich eine Aufnahme des zuletzt unbeladenen Werkstückträgers als Referenzaufnahme gespeichert wird.

Der Algorithmus ist dazu ausgebildet, zu unterscheiden, ob es sich bei einem Objekt in der Aufnahme um einen Gegenstand handelt, der den Werkstückträger als nicht unbeladen charakterisiert oder ob es sich um einen zu ignorierenden Bildbereich handelt. Ein Bildbereich ist beispielsweise im Fall einer Kontamination, einer Änderung des Werkstückträgers oder im Fall eines Gegenstands unter dem Werkstückträger zu ignorieren. Der Algorithmus kann dabei dazu ausgebildet sein, ein erfasstes Objekt zu ignorieren bzw. zu verwerfen, wenn seine Größe und/oder seine Lage zuvor definierte Kriterien nicht erfüllt.

Vordefinierte Kriterien können dabei in Form der Breite des Objekts (ist das Objekt zu schmal für einen Gegenstand auf dem Werkstückträger?) oder in Form seiner Nähe zum Rand des Werkstückträgers (ist das Objekt für einen Gegenstand zu nah am Rand des Werkstückträgers?) vorliegen. Vorzugsweise wird die Größe und/oder die Lage des Objekts durch einen Maxi- mally-Stable-Extremal-Regions-(MSER)-Algorithmus erkannt. Der MSER-Algorith- mus ist vorzugsweise einer Open-Computer-Vision-(Open-CV)-Bibliothek entnommen. Hierdurch kann die Erkennung von Größe und/oder Lage des Objekts besonders prozessstabil erfolgen.

In besonders bevorzugter Ausgestaltung der Erfindung ist der Algorithmus dazu ausgebildet, zu erkennen, ob sich ein Objekt oberhalb oder unterhalb von Stegen des Werkstückträgers befindet. Befindet sich das Objekt oberhalb der Stege, wird es berücksichtigt, befindet es sich unterhalb, wird es ignoriert.

Der Algorithmus kann dabei dazu ausgebildet sein, zu erkennen, ob ein Objekt nur zwischen mehreren Stegen sichtbar ist. In diesem Fall muss es sich unterhalb der Stege befinden, sodass dieses Objekt den Werkstückträger nicht als beladen charakterisiert.

Zum Erkennen der Stege kann der Algorithmus folgende Verfahrensschritte durchführen: b) Erstellen eines Kantenbilds aus Gradienten in einer ersten Richtung (z.B. X- Richtung) und einer zweiten Richtung (z.B. Y-Richtung), die senkrecht zur ersten Richtung verläuft; c) Aufteilen der Aufnahme in Sektoren; d) Berechnen des durchschnittlichen Pixelwertes innerhalb eines in die erste Richtung verschobenen Rechtecks (Faltung) in den Sektoren; e) Festlegen von Stegsegmenten aus Maxima, die in der zweiten Richtung mehr als einen festgelegten Abstand zum nächsten Minimum haben; f) Festlegen von Stegen, wenn ein vordefinierter Anteil (z.B. mehr als 80%) der Stegelemente innerhalb einer Bereichsgrenze liegt.

Hierdurch wird eine prozesssichere Detektion der Stege des Werkstückträgers ermöglicht.

Vor dem Verfahrensschritt b) wird dabei vorzugsweise folgender Verfahrensschritt durchgeführt: a) Durchführen eines Histogrammausgleichs.

Hierdurch erfolgt eine gleichmäßigere Verteilung der Grauwerte, sodass der gesamte zur Verfügung stehende Wertebereich genutzt werden kann.

Nach dem Verfahrensschritt f) kann folgender Verfahrensschritt durchgeführt werden : g) Bestimmen einer Stegentnahme, wenn zwischen zwei Stegen ein Abstand besteht, der signifikant größer ist als der Abstand der übrigen Stege.

Hierdurch kann der Zustand des Werkstückträgers besonders präzise und nachvollziehbar charakterisiert werden. Darüber hinaus kann einem Nutzer die (leicht überprüfbare) Information ausgegeben werden, dass ein Steg des Werkstückträgers fehlt.

In weiter bevorzugter Ausgestaltung der Erfindung weist der Algorithmus ein neuronales Netz auf. Das neuronale Netz kann eine Vielzahl gewichteter Daten-Aggre- gationsroutinen umfassen.

Das neuronale Netz kann im Fall einer Vielzahl von Referenzaufnahme, die korrekt als unbeladen erkannte Werkstückträger zeigen, dazu trainiert sein, den unbeladenen Zustand des Werkstückträgers zuverlässig zu erkennen.

Das neuronale Netz kann dabei im vorliegenden Verfahren durch Referenzaufnahmen trainiert sein, die durch hier beschriebene Verfahrensschritte generiert wurden. Mit anderen Worten kann das neuronale Netz durch Referenzaufnahmen trainiert sein, die mit den zuvor beschriebenen Verfahrensschritten erzeugt und gespeichert wurden. Das neuronale Netz kann in diesem Fall einen oder mehrere hier beschriebene Verfahrensschritte des Algorithmus ersetzen.

Im erfindungsgemäßen Verfahren wird vorzugsweise ein Werkstückträger in Form eines Maschinenbetts einer Werkzeugmaschine, insbesondere einer Laserschneidmaschine, eingesetzt. Die erfindungsgemäße Aufgabe wird weiterhin gelöst durch eine Vorrichtung zum Durchführen eines hier beschriebenen Verfahrens, wobei die Vorrichtung einen Werkstückträger, eine Kamera, einen mit der Kamera verbundenen Rechner und einen Speicher aufweist, wobei der Algorithmus auf dem Rechner ausführbar und die Referenzaufnahme auf dem Speicher gespeichert ist.

Die Vorrichtung weist vorzugsweise eine Werkzeugmaschine auf, wobei ein Maschinenbett der Werkzeugmaschine („Palette") in Form des Werkstückträgers ausgebildet ist.

Besonders bevorzugt ist die Werkzeugmaschine in Form einer Laserschneidmaschine ausgebildet.

Weitere Vorteile der Erfindung ergeben sich aus der Beschreibung und der Zeichnung. Ebenso können die vorstehend genannten und die noch weiter ausgeführten Merkmale erfindungsgemäß jeweils einzeln für sich oder zu mehreren in beliebigen Kombinationen Verwendung finden. Die gezeigten und beschriebenen Ausführungsformen sind nicht als abschließende Aufzählung zu verstehen, sondern haben vielmehr beispielhaften Charakter für die Schilderung der Erfindung.

Detaillierte Beschreibung der Erfindung und Zeichnung

Fig. 1 zeigt eine perspektivische Ansicht einer erfindungsgemäßen Vorrichtung zur Durchführung des erfindungsgemäßen Verfahrens, wobei die Vorrichtung einen beladenen Werkstückträger aufweist.

Fig. 2 zeigt eine Draufsicht auf den Werkstückträger gemäß Fig. 1 in einem anderen Beladungszustand.

Fig. 3 zeigt schematisch die Durchführung des erfindungsgemäßen Verfahrens.

Fig. 4a zeigt eine Draufsicht auf einen Werkstückträger, dessen Stege erkannt werden sollen.

Fig. 4b zeigt eine Draufsicht auf eine Auswertung des Werkstückträgers aus Fig. 4a.

Fig. 4c zeigt eine Draufsicht auf den Werkstückträger aus Fig. 4a mit identifizierten Stegen. Fig. 1 zeigt eine Vorrichtung 10 mit einer Werkzeugmaschine 12. Die Werkzeugmaschine 12 ist in Form einer Laserschneidmaschine ausgebildet. Die Vorrichtung 10 weist eine Kamera 14 auf. Die Kamera 14 kann zur Aufnahme von Bewegbildern (Videos) und/oder Fotos ausgebildet sein. Die Kamera 14 erstellt Aufnahmen eines Werkstückträgers 16, insbesondere aus der Vogelperspektive.

Der Werkstückträger 16 ist in Form eines Maschinenbetts der Werkzeugmaschine 12 ausgebildet. Auf dem Werkstückträger 16 kann ein Werkstück 18 aufgelegt sein. In diesem Fall ist der Werkstückträger 16 beladen. Im vorliegenden Fall ist das Werkstück 18 Teil eines Blechs 20, das in der Werkzeugmaschine 12 bearbeitbar ist.

Die Vorrichtung 10 weist einen Rechner 22, insbesondere in Form eines IndustriePCs, auf. Der Rechner 22 weist einen Speicher 24 auf. Rechner 22 und/oder Speicher 24 können alternativ oder zusätzlich dazu extern, beispielsweise in einer Cloud, vorgesehen sein. Der Rechner 22 ist mit der Kamera 14 verbunden. Auf dem Rechner 22 ist ein Algorithmus 26 hinterlegt. Der Algorithmus 26 wird ausgeführt, um von der Kamera 14 aufgenommene Aufnahmen zu bewerten. Der Rechner 22 kann mit einer Anzeige 28, hier in Form eines Monitors, verbunden sein, um anzuzeigen, welche Werkstücke 18 bereits vom Werkstückträger 16 entnommen wurden.

Zur Überwachung des Fertigungsprozesses ist es wichtig, zu wissen, wann der Werkstückträger 16 unbeladen, also leer, ist. Dies zu erkennen, ist jedoch nicht trivial, da sich der Werkstückträger 16 und seine Umgebung mit der Zeit verändern. Beispielsweise kann der Werkstückträger 16 mit der Zeit abgenutzt und/oder mit Schlacke behaftet sein. Späne und dergleichen können sich unter dem Werkstückträger 16 ansammeln.

Fig. 2 zeigt dies beispielhaft. Aus Fig. 2 ist ein Werkstückträger 16 ersichtlich, auf dem ein Werkstück 18 liegt. Dieses Werkstück 18 führt zu einer Beladung des Werkstückträgers 16. In Fig. 2 ist jedoch auch ein Störobjekt 30 sichtbar. Dieses Störobjekt 30 (hier in Form eines unter dem Werkstückträger 16 liegenden Gegenstands) darf nicht dazu führen, dass der Werkstückträger 16 als beladen angesehen wird.

Fig. 3 zeigt schematisch das erfindungsgemäße Verfahren, das die Beurteilung des Ladungszustands des Werkstückträgers 16 (siehe Fig. 2) erleichtert. Dabei werden folgende Verfahrensschritte ausgeführt:

A) Erstellen einer Aufnahme des Werkstückträgers 16 (siehe Fig. 2) mit der Kamera 14 (siehe Fig. 1);

B) Anschließend (Pfeil 32) Entscheiden, ob der Werkstückträger 16 (siehe Fig.

2) leer ist (oder nicht) durch den Algorithmus 26 (siehe Fig. 1) anhand der Aufnahme;

C) Speichern der Aufnahme als Referenzaufnahme, wenn der Werkstückträger 16 (siehe Fig. 2) vom Algorithmus 26 (siehe Fig. 1) als leer angesehen wird (Pfeil 34) und Wiederholung des Verfahrens ab Verfahrensschritt A), wenn der Werkstückträger 16 (siehe Fig. 2) vom Algorithmus 26 (siehe Fig. 1) als nicht leer angesehen wird (Pfeil 36).

Das Verfahren kann kontinuierlich (Pfeil 38) durchgeführt werden, sodass stets ein aktuelles Referenzbild des leeren Werkstückträgers 16 (siehe Fig. 2) vorliegt, das herangezogen werden kann, um den aktuellen Beladungszustand des Werkstückträgers 16 (siehe Fig. 2) zu bestimmen.

Der Algorithmus 26 (siehe Fig. 1) ist daher dazu ausgebildet, zu unterscheiden, ob sich ein Werkstück 18 (siehe Fig. 2) auf dem Werkstückträger 16 befindet oder ob es sich bei einem Objekt um ein Störobjekt 30 (siehe Fig. 2) handelt. Hierzu kann der Algorithmus 26 (siehe Fig. 1) einen Maximally-Stable-Extremal-Regions- (MSER)-Algorithmus aufweisen, der insbesondere dazu ausgebildet ist, zu beurteilen, ob sich ein Objekt bezüglich eines vordefinierten Abstands zu nah am Rand des Werkstückträgers 16 (siehe Fig. 2) befindet, oder ob es bezüglich einer vordefinierten Größe zu schmal ist. Bei dem beispielhaften Störobjekt 30 in Fig. 2 sind beide Kriterien erfüllt, d.h. es befindet sich sowohl nahe am Rand des Werkstückträgers 16 und ist zu schmal für ein Werkstück 18. Der Algorithmus 26 (siehe Fig. 1) wird daher nur das Werkstück 18 als solches klassifizieren, nicht aber das Störobjekt 30. Sobald das Werkstück 18 entfernt ist, wird eine Aufnahme des Werkstückträgers 16 als neue Referenzaufnahme gespeichert.

Die Fign. 4a bis 4c veranschaulichen die Wirkungsweise eines weiteren Teils des Algorithmus 26 (siehe Fig. 1), nämlich der Erkennung von Stegen.

Fig. 4a zeigt einen Werkstückträger 16 mit mehreren (Auflage-) Stegen 40. Mit der Aufnahme wird ein Histogrammausgleich durchgeführt und anschließend ein Kantenbild aus Gradienten in einer ersten Richtung (hier die X-Richtung) und in einer zweiten Richtung (hier der Y-Richtung) erstellt.

Fig. 4b zeigt die Aufteilung der Aufnahme des Werkstückträgers 16 in n Sektoren. Für jeden Sektor wird der durchschnittliche Pixelwert innerhalb eines Rechtecks berechnet, welches in die erste Richtung verschoben wird.

Maxima, die mehr als einen festgelegten Abstand in der zweiten Richtung zum nächsten Minimum haben, werden als Stegsegment festgelegt. Wenn ein bestimmter Prozentsatz der Stegelemente in einer vorgegebenen Bereichsgrenze liegt, wird ein Steg detektiert.

Fig. 4c zeigt die Aufnahme des Werkstückträgers 16 mit den delektierten Stegen 40. Falls zwischen zwei Stegen 40 ein zu großer Abstand herrscht, wird eine Stegentnahme 42 detektiert.

Unter Vornahme einer Zusammenschau aller Figuren der Zeichnung betrifft die Erfindung zusammenfassend ein Verfahren zum Hinterlegen eines aktuellen Referenzbildes eines unbeladenen Werkstückträgers 16. Dabei werden in einem Verfahrensschritt A) zunächst eine Aufnahme des Werkstückträgers 16 erstellt, in einem Verfahrensschritt B) die Aufnahme von einem Algorithmus 26 beurteilt und in einem Verfahrensschritt C) die Aufnahme als Referenzaufnahme gespeichert, wenn der Algorithmus 26 den Werkstückträger 16 als leer klassifiziert. Zur Beurteilung des Werkstückträgers 16 kann der Algorithmus 26 einen Maximally- Stable-Extremal-Regions-Algorithmus, einen Algorithmus zur Erkennung von Stegen 40 des Werkstückträgers 16 und/oder ein neuronales Netz aufweisen. Die Erfindung betrifft weiterhin eine Vorrichtung 10 zur Durchführung eines solchen Ver- fahrens.

Bezugszeichenliste

10 Vorrichtung

12 Werkzeugmaschine

14 Kamera

16 Werkstückträger

18 Werkstück

20 Blech

22 Rechner

24 Speicher

26 Algorithmus

28 Anzeige

30 Störobjekt

32 Pfeil

34 Pfeil

36 Pfeil

38 Pfeil

40 Stege

42 Stegentnahme

A-C Verfahrensschritte