Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR INTELLIGENTLY SELECTING THE FIELD OF VIEW OF CAMERAS ON A MACHINE TOOL
Document Type and Number:
WIPO Patent Application WO/2024/061604
Kind Code:
A1
Abstract:
The invention relates to a method (34) for monitoring the manufacture of a component (14) using a machine tool (12), wherein a plurality of cameras (20a, b) cover different fields of view (22a, b). An algorithm (26) can create a ranking of the relevance of images from the cameras (20a, b) and display or emphasise only the most relevant image or images on a monitor (28). The algorithm (26) can assign a higher relevance to images that: a) depict a known machine tool part that is mentioned in a status or error message (30); b) have a high optical flow; and/or c) depict an identified machine tool part that is moving. In the event of c), images can be successively assigned higher relevance if an identified machine tool part moves from one field of view (22a, b) belonging to said image to the next. Images assigned lower relevance can be deleted or displayed - and/or saved - at a reduced size. The algorithm (26) can take the form of artificial intelligence. The invention also relates to a device (10) for carrying out such a method (34).

Inventors:
TESCHNER MARC (DE)
WEISS KORBINIAN (DE)
BOADA GUILLEM (DE)
PÖNITZ WILLI (DE)
Application Number:
PCT/EP2023/074188
Publication Date:
March 28, 2024
Filing Date:
September 04, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
TRUMPF WERKZEUGMASCHINEN SE CO KG (DE)
International Classes:
G05B19/406; G05B19/418
Foreign References:
DE102018126059A12020-04-23
DE112019005951T52021-08-19
DE102017121098A12019-03-14
Attorney, Agent or Firm:
TRUMPF PATENTABTEILUNG (DE)
Download PDF:
Claims:
Patentansprüche

1. Verfahren (34) zur Herstellung eines Bauteils (14) mit einer Werkzeugmaschine (12), mit den Verfahrensschritten:

A) Gleichzeitiges Erstellen mehrerer Aufnahmen von zumindest Teilen der Werkzeugmaschine (12) durch mehrere Kameras (20a, b) mit verschiedenen Sichtfeldern (22a, b) und Einspeisen der Aufnahmen in eine Auswerteeinheit (24) mit einem Algorithmus (26);

B) Computerbasierte Auswahl einer oder mehrerer relevanten Aufnahme(n) durch den Algorithmus (26) und Ausgabe dieser Aufnahme(n) an einen Monitor (28), wobei die Relevanz der erstellten Aufnahmen anhand eines oder mehrerer der folgenden Kriterien bestimmt wird: a) Die jeweilige Aufnahme zeigt einen Bereich der Werkzeugmaschine (12), der durch eine Statusausgabe und/oder eine Fehlerausgabe (30) einer Werkzeugmaschinensteuerung (18) benannt wird; b) die jeweilige Aufnahme zeigt einen vergleichsweise hohen optischen Fluss; c) die jeweilige Aufnahme zeigt einen in der Aufnahme identifizierten, sich bewegenden, Teil der Werkzeugmaschine (12).

2. Verfahren nach Anspruch 1, bei dem die Verfahrensschritte A) und B), insbesondere mehrfach, wiederholt werden.

3. Verfahren nach Anspruch 1 oder 2, bei dem zumindest eine der Kameras (20a, b) auf den Bereich der Werkzeugmaschine (20), der durch die Statusausgabe und/oder die Fehlerausgabe (30) der Werkzeugmaschinensteuerung (18) benannt wird, ausgerichtet wird, insbesondere durch Schwenken und/oder zoomen.

4. Verfahren nach Anspruch 2 oder 3, bei dem der Algorithmus (26) im Kriterium c) prognostiziert, in welches nächste Sichtfeld (22a, b) der identifizierte Teil der Werkzeugmaschine (12) bewegt wird, wobei die Aufnahme dieses nächsten Sichtfeldes (22a, b) mit einer hohen Relevanz bewertet wird, sobald der identifizierte Teil das gegenwärtige Sichtfeld (22a, b) verlassen hat.

5. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Verfahrensschritt B) mit gespeicherten Aufnahmen durchgeführt wird.

6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem eine Aufnahme mit geringer Relevanz gelöscht oder mit verringerter Auflösung übertragen und/oder gespeichert wird.

7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Algorithmus (26) in Form eines Machine-Learning-Algorithmus ausgebildet ist.

8. Verfahren nach einem der vorhergehenden Ansprüche, bei dem zu der/den auf dem Monitor (28) dargestellten Aufnahme(n) eine Statusausgabe und/oder eine Fehlerausgabe (30) der Werkzeugmaschinensteuerung (18) ausgegeben wird.

9. Verfahren nach einem der vorhergehenden Ansprüche, bei dem auf der/den auf dem Monitor (28) dargestellten Aufnahme(n) eine Interaktionsmöglichkeit zur Steuerung der Werkzeugmaschine (12) ausgegeben wird.

10. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Herstellung des Bauteils (14) eine Laserbearbeitung durch die Werkzeugmaschine (12) umfasst.

11. Verfahren nach Anspruch 10, bei dem die Herstellung des Bauteils (14) ein Laserschneiden des Bauteils (14) umfasst.

12. Vorrichtung (10) zur Durchführung eines Verfahrens (34) nach einem der vorhergehenden Ansprüche, wobei die Vorrichtung (10) die Werkzeugmaschine (12), die Kameras (20a, b), die Auswerteeinheit (24) mit dem Algorithmus (26) und den Monitor (28) aufweist, wobei der Algorithmus (26) dazu ausgebildet ist, die Relevanz der mit den Kameras (20a, b) erstellten Aufnahmen anhand eines oder mehrerer der Kriterien a) bis c) zu bestimmen und eine oder mehrere relevante Aufnahmen an den Monitor (28) auszugeben. Vorrichtung nach Anspruch 12 in Verbindung mit Anspruch 10, bei dem die Werkzeugmaschine (12) einen Laserkopf (16) aufweist. Vorrichtung nach Anspruch 12 oder 13, bei dem die Werkzeugmaschine (12) einen automatisierten Werkzeugwechsler aufweist.

Description:
Verfahren und Vorrichtung zur intelligenten Sichtfeldwahl von Kameras an einer Werkzeugmaschine

Hintergrund der Erfindung

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Herstellung eines Bauteils.

Aus der DE 10 2017 121 098 Al ist es bekannt geworden, ein zu fertigendes Bauteil durch eine Fertigung zu verfolgen. Hierzu sind in der Fertigung mehrere Kameras vorgesehen, wobei die wiedergebende Kamera gewechselt wird, je nachdem, in welchem Sichtfeld der Kamera sich das Bauteil befindet. Die Ortung des Bauteils kann dabei von einem UWB-Ortungssystem unterstützt sein.

Es ist weiterhin bekannt, die Fertigung eines Bauteils in einer Werkzeugmaschine durch die Beobachtung aus verschiedenen Sichtfeldern bzw. Perspektiven mehrerer Kameras zu beobachten. Ein Nutzer bzw. Beobachter der Fertigung kann sich dabei an einem anderen Ort befinden als die Werkzeugmaschine und als sogenannter remote controller agieren. Für einen unerfahrenen Nutzer ist es dabei jedoch schwierig, aus der Vielzahl von Kameraaufnahmen die relevante(n) zu finden. Insbesondere im Falle eines Fehlers der Werkzeugmaschine möchte der Nutzer schnell die relevante(n) Kameraaufnahme(n) sichten.

Aufgabe der Erfindung

Es ist daher Aufgabe der Erfindung, ein Verfahren und eine Vorrichtung bereitzustellen, die das Überwachen einer Werkzeugmaschine signifikant erleichtern.

Diese Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren gemäß Anspruch 1 und eine Vorrichtung gemäß Anspruch 12. Die abhängigen Ansprüche geben bevorzugte Weiterbildungen wieder.

Die Aufgabe wird somit gelöst durch ein Verfahren zur Herstellung eines Bauteils mit einer Werkzeugmaschine, wobei die folgenden Verfahrensschritte durchgeführt werden:

A) Es werden zumindest von Teilen der Werkzeugmaschine Aufnahmen durch mehrere Kameras erstellt, wobei die Aufnahmen in eine Auswerteeinheit gespeist werden, die einen Algorithmus zur Bewertung der Aufnahmen aufweist;

B) es erfolgt eine Auswahl einer oder mehrerer relevanter Aufnahmen durch den Algorithmus und die Ausgabe der relevanten Aufnahme(n) an einen Monitor. Die Relevanz der Aufnahmen wird dabei durch folgendes Kriterium bzw. folgende Kriterien bestimmt: a) Aufnahmen, die einen Werkzeugmaschinenteil zeigen, der in einer Statusausgabe (beispielsweise einem Sensorwert oder einer Achsposition) bzw. Fehlerausgabe einer Werkzeugmaschinensteuerung genannt wird, wird eine höhere Relevanz zugewiesen als Aufnahmen, die einen Werkzeugmaschinenteil zeigen, der nicht in einer Status- bzw. Fehlerausgabe genannt wird; b) Aufnahmen, die einen hohen optischen Fluss aufweisen, wird eine höhere Relevanz zugewiesen als Aufnahmen, die einen niedrigeren optischen Fluss aufweisen; und/oder c) Aufnahmen, in denen ein sich bewegender Werkzeugmaschinenteil identifiziert wird, wird eine höhere Relevanz zugewiesen als Aufnahmen, in denen kein sich bewegender Werkzeugmaschinenteil identifiziert wird.

Das erfindungsgemäße Verfahren ermöglicht es, einem Nutzer bzw. Beobachter der Werkzeugmaschine sich auf die „region of interest" der Werkzeugmaschine zu konzentrieren. Hierdurch können auch weniger erfahrene Nutzer die Fernwartung der Werkzeugmaschine übernehmen. Fehler können schneller und leichter analysiert bzw. gefunden werden.

Das Verfahren kann dazu eingerichtet sein, nur die relevanteste Aufnahme auf dem Monitor darzustellen. Alternativ dazu können nur wenige relevante Aufnahmen auf dem Monitor dargestellt werden. Weiter alternativ kann die relevanteste Aufnahme oder wenige relevante Aufnahmen auf dem Monitor hervorgehoben werden. Beispielsweise können weniger relevante Aufnahmen kleiner auf dem Monitor dargestellt werden.

Die Kameras sind vorzugsweise als Videokameras ausgebildet; die Aufnahmen liegen dann als Videoaufnahmen vor.

Die Verfahrensschritte A) und B) können, insbesondere mehrfach, wiederholt werden. Dies ermöglicht einem Nutzer die kontinuierliche Verfolgung der region of interest in der Werkzeugmaschine.

Bevorzugt wird zumindest eine der Kameras auf den Bereich der Werkzeugmaschine, der durch die Statusausgabe und/oder die Fehlerausgabe der Werkzeugmaschinensteuerung benannt wird, ausgerichtet. Die Ausrichtung kann insbesondere durch Schwenken und/oder zoomen der Kamera geschehen. Durch das Schwenken und/oder zoomen kann das Sichtfeld der Kamera besonders gut auf den interessanten Bereich ausgerichtet werden. Werden mehrere Kameras auf den Bereich ausgerichtet wird es ermöglicht den Bereich aus mehreren Blickwinkeln zu betrachten. Aus den mehreren Blickwinkeln, kann dann die relevanteste Aufnahme ausgewählt werden.

Besonders bevorzugt prognostiziert der Algorithmus bei Anwendung des Kriteriums c) das Sichtfeld der Kamera, in das sich ein identifiziertes Werkzeugmaschinenteil als nächstes bewegen wird und weist der zugehörigen Aufnahme (des nächsten Sichtfeldes) eine höhere Relevanz zu, sobald das identifizierte Werkzeugmaschinenteil das gegenwärtige Sichtfeld verlassen hat. Dies ermöglicht dem Nutzer die einfache Nachverfolgung eines Werkzeugmaschinenteils. Der Verfahrensschritt B) kann „live", d.h. weitestgehend verzögerungsfrei nach Verfahrensschritt A) erfolgen. Alternativ dazu kann Verfahrensschritt B) mit gespeicherten Aufnahmen durchgeführt werden, insbesondere zur Fehleranalyse der Werkzeugmaschine.

Um Ressourcen zu schonen, können Aufnahmen mit geringer Relevanz gelöscht oder mit verringerter Auflösung übertragen bzw. gespeichert werden.

In weiter bevorzugter Ausgestaltung der Erfindung ist der Algorithmus in Form eines Machine-Learning-Algorithmus ausgebildet. Der Machine-Learning-Algorith- mus ist vorzugsweise anhand gespeicherter Aufnahmen trainiert, die einer bestimmten Status- bzw. Fehlerausgabe zugeordnet wurden. Alternativ oder zusätzlich dazu kann der Machine-Learning-Algorithmus durch die Auswahl von Kameras eines erfahrenen Nutzers oder mehrerer erfahrener Nutzer trainiert sein.

Die Überwachung der Werkzeugmaschine wird weiter erleichtert, wenn zusätzlich zu der/den auf dem Monitor ausgegebenen Aufnahme(n) eine Status- bzw. Fehlerausgabe der Werkzeugmaschinensteuerung, insbesondere auf dem Monitor, erfolgt.

Weiterhin kann eine Interaktionsmöglichkeit mit der Werkzeugmaschine vorgesehen sein. Maschinendaten können in den Aufnahmen eingeblendet und Funktionen direkt in den Aufnahmen deaktiviert / aktiviert werden, wenn die Situation es erfordert. Beispiel : Eine Werkzeugmaschine bleibt mit einem Fehler „Transportkontrolle" stehen. Der Bediener bekommt direkt die relevante Live-Aufnahme(n) angezeigt und kann in der Aufnahme die Werkzeugmaschine wieder starten, sofern der Fehler ein Fehlalarm ist. Das ermöglicht eine deutlich schnellere Bedienung als extra in eine Steuerung zu wechseln und die Funktion herauszusuchen.

Das erfindungsgemäße Verfahren eignet sich besonders zum Einsatz an einer Werkzeugmaschine, die zur Laserbearbeitung, insbesondere zum Laserschneiden oder Laserschweißen, des Bauteils ausgebildet ist. Alternativ oder zusätzlich dazu kann das Verfahren an einer automatisierten Biegeanlage oder einem Lagersystem eingesetzt werden.

Die erfindungsgemäße Aufgabe wird weiterhin gelöst durch eine Vorrichtung zur Durchführung eines hier beschriebenen Verfahrens. Die Vorrichtung weist dabei die Werkzeugmaschine, die Kameras - insbesondere in Form von Videokameras - , die Auswerteeinheit mit dem Algorithmus und den Monitor auf. Zum Verfahren beschriebene Merkmale und Vorteile beziehen sich entsprechend auf die Vorrichtung und umgekehrt.

Die Werkzeugmaschine weist vorzugsweise einen Laserkopf zur Laserbearbeitung des Bauteils, insbesondere zum Laserschneiden und/oder Laserschweißen, auf.

Alternativ oder zusätzlich dazu kann die Werkzeugmaschine einen automatisierten Werkzeugwechsler, insbesondere für Stanz- oder Biegemaschine aufweisen.

Weitere Vorteile der Erfindung ergeben sich aus der Beschreibung und der Zeichnung. Ebenso können die vorstehend genannten und die noch weiter ausgeführten Merkmale erfindungsgemäß jeweils einzeln für sich oder zu mehreren in beliebigen Kombinationen Verwendung finden. Die gezeigten und beschriebenen Ausführungsformen sind nicht als abschließende Aufzählung zu verstehen, sondern haben vielmehr beispielhaften Charakter für die Schilderung der Erfindung.

Detaillierte Beschreibung der Erfindung und Zeichnung

Fig. 1 zeigt eine schematische Ansicht einer erfindungsgemäßen Vorrichtung und eines erfindungsgemäßen Verfahrens.

Fig. 1 zeigt eine Vorrichtung 10 mit einer Werkzeugmaschine 12 zur Herstellung eines Bauteils 14. Zur Herstellung des Bauteils 14 weist die Werkzeugmaschine 12 unter anderem einen Laserkopf 16, hier in Form eines Schneidkopfs, auf. Die Herstellung des Bauteils 14 wird von einer Werkzeugmaschinensteuerung 18 kontrolliert. Die Herstellung des Bauteils 14 wird von mehreren Kameras 20a, 20b, hier in Form von Videokameras, überwacht. Jede Kamera 20a, b überwacht dabei jedoch ein eigenes Sichtfeld 22a, 22b. Die Sichtfelder sind hier getrennt dargestellt, können sich jedoch auch überlappen. Die von den Kameras 20a, b erstellten Aufnahmen, hier in Form von Videos, werden in eine Auswerteeinheit 24 gespeist. Die Auswerteeinheit 24 kann Teil der Werkzeugmaschinensteuerung 18 sein. Die Auswerteeinheit 24 weist einen Algorithmus 26 auf, der die Aufnahmen bewertet.

Die Auswerteeinheit 24 ist dazu ausgebildet, mithilfe des Algorithmus 26 die relevantesten Aufnahmen, insbesondere die relevanteste Aufnahme, zu bestimmen und an einen Monitor 28 zu übermitteln. Die Bewertung des Produktionsvorgangs wird einem Nutzer durch die Auswahl der relevantesten Aufnahme(n) wesentlich erleichtert. Insbesondere im Falle eines Produktionsfehlers kann sich der Nutzer am Monitor 28 auf die relevanten Aufnahmen fokussieren und muss nicht selbst Aufnahmen von irrelevanten Teilen der Werkzeugmaschine 12 ausblenden.

Weiterhin ist die Auswerteeinheit 24 ist dazu ausgebildet, die Kameras 22a, 22b auf den Bereich der Werkzeugmaschine 20, der durch eine Statusausgabe oder eine Fehlerausgabe 30 der Werkzeugmaschinensteuerung 18 benannt wird, auszurichten. Dazu können die Kameras 22a, 22b von der Auswerteeinheit 24 geschwenkt werden oder ein Zoom der Kameras 22a, 22b eingestellt werden.

Der Algorithmus 26 kann in Form eines Machine-Learning-Algorithmus ausgebildet sein. Der Machine-Learning-Algorithmus kann insbesondere anhand getaggter gespeicherter Aufnahmen und/oder anhand eines Nutzerverhaltens bei der Auswahl von Aufnahmen trainiert sein.

Der Algorithmus 26 kann die Relevanz der Aufnahmen bewerten, indem er a) beurteilt, ob die Aufnahme einen Teil der Werkzeugmaschine 12 zeigt, zu dem eine Status- und/oder Fehlerausgabe 30 von der Werkzeugmaschinensteuerung 18 ausgegeben wird; b) den optischen Fluss der Aufnahmen bestimmt und Aufnahmen mit einem hohen optischen Fluss eine hohe Relevanz zuweist; und/oder c) einen sich bewegenden Teil der Werkzeugmaschine 12 in den Aufnahmen identifiziert.

Beispielsweise kann der Algorithmus 26 bei Anwendung des Kriteriums c) den Laserkopf 16 im Sichtfeld 22a identifizieren und anhand der Bewegung des Laserkopfes 16 in Richtung eines Pfeils 32 erkennen, dass er als nächstes im Sichtfeld 22b erscheinen wird. Sobald der Laserkopf 16 das Sichtfeld 22a verlassen hat, kann der Algorithmus 26 dann dem Sichtfeld 22b eine hohe Relevanz zuordnen, sodass der Nutzer am Monitor 28 die Bewegung des Laserkopfes 16 weiterverfolgen kann.

Die in Fig. 1 gezeigte Vorrichtung 10 bzw. ein in Fig. 1 gezeigtes Verfahren 34 ermöglichen die konzentrierte Verfolgung der relevantesten Aufnahmen. Irrelevante Aufnahmen können gelöscht oder in verminderter Auflösung übertragen werden, um Speicherplatz, Rechenkapazität und/oder Bandbreite zu sparen.

Unter Betrachtung der Zeichnung betrifft die Erfindung zusammenfassend ein Verfahren 34 zur Überwachung der Herstellung eines Bauteils 14 mit einer Werkzeugmaschine 12, wobei mehrere Kameras 20a, b verschiedene Sichtfelder 22a, b abdecken. Ein Algorithmus 26 kann ein Relevanzranking von Aufnahmen der Kameras 20a, b erstellen und nur das relevanteste oder die relevantesten auf einem Monitor 28 darstellen oder hervorheben. Der Algorithmus 26 kann die Aufnahmen mit einer höheren Relevanz versehen, die a) ein bekanntes Werkzeugmaschinenteil zeigen, das in einer Status- bzw. Fehlerausgabe genannt wird; b) einen hohen optischen Fluss aufweisen; und/oder c) ein identifiziertes Werkzeugmaschinenteil zeigen, das sich bewegt. Im Fall c) können Aufnahmen nacheinander mit höherer Relevanz versehen werden, wenn sich ein identifiziertes Werkzeugmaschinenteil von einem zu dieser Aufnahme gehörenden Sichtfeld 22a, b ins nächste bewegt. Mit geringerer Relevanz versehene Aufnahmen können gelöscht oder mit verringerter Größe dargestellt - und/oder gespeichert - werden. Der Algorithmus 26 kann in Form einer künstlichen Intelligenz ausgebildet sein. Die Erfindung betrifft weiterhin eine Vorrichtung 10 zur Durchführung eines solchen Verfahrens 34. Bezuqszeichenliste

10 Vorrichtung

12 Werkzeugmaschine 14 Bauteil

16 Laserkopf

18 Werkzeugmaschinensteuerung

20a, b Kamera

22a, b Sichtfeld 24 Auswerteeinheit

26 Algorithmus

28 Monitor

30 Status- und/oder Fehlerausgabe

32 Bewegungsrichtung des Laserkopfes 16 34 Verfahren