Verfahren zur Bestimmung eines Betriebszustandes einer Maschine.

Weiter betrifft die Erfindung ein System zur Bestimmung eines Betriebszustandes einer Maschine.

In Fertigungsbetrieben ist es oft wünschenswert, die Betriebszustände von Maschinen, insbesondere von Fertigungsmaschinen, überwachen zu können. Insbesondere besteht das Bedürfnis, aus der Ferne überwachen und aufzeichnen zu können, ob und ggf. welche Fertigungsoperationen mit einer Fertigungsmaschine durchgeführt wurden. Nach Auswertung dieser Informationen können der Einsatz der Produktionsmittel und Wertschöpfungsprozesse optimiert werden. Für diese Überwachungsaufgaben ist aus der DE102018205492A1 ein Zwischenmodul zum Ermitteln von Betriebsdaten einer Maschine bekannt.

Aus der WO 2018/069314 Al ist ein Verfahren zur Bestimmung eines Fertigungsfortschritts an einer Handarbeitsplatzeinheit bekannt. Dabei wird der Arbeitsbereich mit Kameras erfasst und Änderungen am Werkstück erfasst.

Der Erfindung liegt die Aufgabe zugrunde, ein eingangs genanntes System und ein eingangs genanntes Verfahren bereitzustellen, welche eine Bestimmung eines Betriebszustandes einer Maschine, insbesondere einer Maschine, die nicht dazu vorgesehen und eingerichtet ist ihren Betriebszustand selbsttätig zu erfassen und informationstechnisch weiterzugeben, zu ermöglichen.

Diese Aufgabe wird bei dem eingangs genannten Verfahren erfindungsgemäß dadurch gelöst, dass mit zumindest einer Kamera zumindest ein Bild von zumindest einem Teil der Maschine erstellt wird, wobei das Bild einer Recheneinheit übermittelt wird, wobei mittels der Recheneinheit der Betriebszustand der Maschine aus dem Bild bestimmt wird, wobei der Betriebszustand der Maschine einem Produktionsverwaltungsprogramm übermittelt wird.

Unter einer Kamera wird hier jedes System für bildgebendes Verfahren verstanden z.b. 2D/3D-Kamera, ToF-Kamera, Radar, Lidar, Laser-Scanner und sonstige Verfahren zur berührungslosen, optischen Erfassung einer Szene. Eine Kamera hat typischerweise einen beschränkten Blickwinkel, der aus Position und Blickrichtung bestimmt wird.

Durch die Bestimmung des Betriebszustandes aus einem Bild ist es möglich den Betriebszustand zu bestimmen ohne, dass auf die Maschine Einfluss genommen wird. Insbesondere ist keine Anpassung an der Maschine oder an Strom- oder Informationsleitungen der Maschine notwendig. Die Maschine kann dabei insbesondere eine Werkzeugmaschine, bspw. eine Laserschneidmaschine, eine Schweißmaschine, eine Biegemaschine oder eine Fräsmaschine sein.

Ein Produktionsverwaltungsprogramm wird auch als Manufacturing Execution System oder kurz MES bezeichnet. Durch die Übermittlung des Betriebszustandes der Maschine an das Produktionsverwaltungsprogramm kann die Maschine besser in die Produktionsleitung einbezogen werden. Weiterhin kann der Betriebszustand dokumentiert und angezeigt werden.

Bevorzugt werden zur Bestimmung des Betriebszustandes mehrere Bilder von einer oder mehrerer Kameras kombiniert. Dies ist vorteilhaft, wenn mehrere Betriebszustände nur aus unterschiedlichen Blickwinkeln unterschieden werden können oder wenn sich Betriebszustände nur aus einer zeitlichen Entwicklung erkennen lassen. Besonders bevorzugt wird eine Mehrzahl von Bildern als Bildfolge erstellt und der Zustand der Maschine aus einer Veränderung zwischen den Bildern erkannt, wenn sich Betriebszustände nur aus einer zeitlichen Veränderung erkennen lassen.

Dabei werden die Bilder der Bildfolge bevorzugt in einem vordefinierten zeitlichen Abstand erstellt. Durch den vordefinierten zeitlichen Abstand kann sichergestellt werden, dass der Abstand zwischen zwei Bildern nicht einer Arbeitsperiode der Maschine entspricht. Ansonsten könnte bei periodisch arbeitenden Maschinen, die bspw. eine gleichmäßige Dreh-, Pendel- oder Hubbewegung ausführen, ein Stillstand erkannt werden, obwohl eine Bewegung vorhanden ist.

Bevorzugt wird der Betriebszustand der Maschine mittels einer trainierten künstlichen Intelligenz bestimmt. Durch das Training einer künstlichen Intelligenz entfällt der Aufwand für jede Maschine und jeden Blickwinkel spezielle Algorithmen zur Bestimmung des Betriebszustandes zu entwickeln. Als künstliche Intelligenz kann insbesondere ein neuronales Netz eingesetzt werden.

Bevorzugt wird die künstliche Intelligenz mit überwachtem Lernen anhand von klassifizierten Bildern oder Bildfolgen vor der Bestimmung des Zustandes der Maschine trainiert. Überwachtes Lernen eignet sich besonders gut zum Trainieren einer künstlichen Intelligenz zur Bestimmung eines Betriebszustandes. Ein bevorzugtes Verfahren zum überwachten Lernen besteht aus der Nutzung bekannter Anregungsmuster der Maschine. Bei bekanntem Anregungsmuster, bpsw. einem Ruhebefehl oder einem Arbeitsbefehl, kann direkt auf den Betriebszustand der Maschine geschlossen werden. Ein oder mehrere Bilder der Maschine in diesem Betriebszustand werden dann zum überwachten Lernen der künstlichen Intelligenz genutzt. In einer Ausgestaltung wird je nach zu trainierendem Betriebszustand entschieden ob Einzelbilder oder Bilderfolgen zum Training genutzt werden. Bei Bilderfolgen wird bevorzugt je nach zu trainierendem Betriebszustand entschieden ob die Bilder der Bildfolge in einem vorbestimmten zeitlichen Abstand aufgenommen werden sollen. Zum Training der künstlichen Intelligenz werden bevorzugt Bilder aus einem Blickwinkel genutzt, die dem Blickwinkel der Kamera beim Einsatz der künstlichen Intelligenz entsprechen. Die Kamera kann dabei ortsfest oder ortsflexibel sein. Die Kamera kann bspw. auf bewegten Maschinenkörpern wie einem Kragarm oder einem Drehteller mitgeführt werden oder anderweitig die Position und/oder die Blickrichtung der Kamera geändert werden. Bei einer ortsflexiblen Kamera sind die Position und der Blickwinkel der Kamera relativ zur Maschine bevorzugt bekannt und die künstliche Intelligenz wird mit Bildern aus den gleichen Positionen und Blickwinkeln trainiert.

In einer Ausgestaltung werden in dem Bild relevante Bereiche definiert, wobei nur die relevanten Bildbereiche zur Bestimmung des Betriebszustandes genutzt werden. Durch die Definition von relevanten Bereichen können irrelevante Bildbereiche ausgeblendet werden. Diese irrelevanten Bereiche werden daher nicht zur Bestimmung des Betriebszustandes genutzt. Änderungen in irrelevanten Bereichen führen daher, insbesondere bei der Nutzung von künstlicher Intelligenz, nicht zu fehlerhaften Bestimmungen des Betriebszustandes.

Bevorzugt wird das Bild oder die Bilder der Bildfolge mittels künstlicher Intelligenz, insbesondere neuronalen Netzen, aufgeteilt, wobei nur ein Teil des Bildes oder der Bilder als relevanter Bildbereich zur Bestimmung des Betriebszustandes genutzt wird. Die künstliche Intelligenz, welche das Bild aufteilt, ist dabei bevorzugt von der künstlichen Intelligenz zur Bestimmung des Betriebszustandes getrennt. Es ist aber auch möglich eine einzige künstliche Intelligenz zur Aufteilung des Bildes und zur Bestimmung des Betriebszustandes einzusetzen. Die künstliche Intelligenz zur Aufteilung des Bildes wird darauf trainiert relevante Bereiche, insbesondere Maschinen, im Bild zu erkennen.

In einer alternativen Ausgestaltung werden in dem Bild ein oder mehrere relevante Bereiche manuell definiert. Dieses Vorgehen ist besonders einfach einzusetzen, wenn der Blickwinkel der Kamera auf die Maschine statisch ist. Diese Ausgestaltung ist bevorzugt, wenn wenige Kameras an festen Positionen eingesetzt werden sollen und der Aufwand zum Training einer künstlichen Intelligenz zur Aufteilung des Bildes vermieden werden soll. Bevorzugt wird das Bild oder die Bildfolge einem Nutzer angezeigt, wobei eine Anzeige des Zustandes der Maschine dem Bild oder der Bildfolge überlagert wird. Durch die Anzeige kann der Nutzer sehr schnell erkennen in welchem Betriebszustand sich die Maschine befindet. Besonders nützlich ist die Anzeige, wenn in dem Bild mehrere Maschinen mit ihrem jeweiligen Betriebszustand zu erkennen sind. Zusätzlich zum Betriebszustand kann der relevante Bereich des Bildes dem Bild überlagert werden. Die Anzeige des relevanten Bereiches ist besonders nützlich bei der Nutzung einer künstlichen Intelligenz zur Aufteilung des Bildes, da der Nutzer leicht erkennen kann ob die künstliche Intelligenz den relevanten Bereich korrekt erkannt hat und der Betriebszustand folglich aus dem korrekten Bildbereich bestimmt wurde.

In einer alternativen Ausgestaltung wird einem Nutzer ein Bild oder eine Bildfolge der Maschine, das bei der Bestimmung des Betriebszustandes ungenutzt bleibt, angezeigt, wobei eine Anzeige des Zustandes der Maschine dem Bild oder der Bildfolge überlagert wird. Dies ist besonders vorteilhaft, wenn zur Bestimmung des Betriebszustandes ein oder mehrere Bilder genutzt werden, die nur Details der Maschine zeigen und zur Anzeige ein Bild genutzt wird, das die ganze Maschine zeigt. Alternativ kann ein Bild zur Anzeige genutzt werden, das mehrere Maschinen zeigt, während zur Bestimmung des Betriebszustandes Bilder genutzt werden, die nur einen Teil der mehreren Maschinen, bspw. nur einzelne Maschinen, zeigen. Bevorzugt wird auch in dieser Ausgestaltung ein Livebild genutzt, sodass der Nutzer den Betriebszustand bei Bedarf visuell überprüfen kann.

Weiterhin betrifft die Erfindung ein System zur Bestimmung eines Betriebszustandes einer Maschine, umfassend zumindest eine Kamera, eine Recheneinheit und ein Produktionsverwaltungsprogramm, wobei das System dazu vorgesehen und eingerichtet ist ein erfindungsgemäßes Verfahren auszuführen.

Die nachfolgende Beschreibung bevorzugter Ausführungsformen dient im Zusammenhang mit den Zeichnungen der näheren Erläuterung der Erfindung. Es zeigen:

Fig. 1 eine schematische Skizze eines Verfahrens zum Anlernen einer künstlichen Intelligenz;

Fig. 2 ein System zur Bestimmung eines Betriebszustandes einer Maschine;

Fig. 3 ein Bild einer Werkzeugmaschine mit überlagerter Anzeige des Betriebszustandes;

Fig. 4 ein Bild mehrerer Werkzeugmaschinen mit überlagerten Anzeigen des jeweiligen Betriebszustandes; und

Fig. 5 ein Bild mehrerer Maschinen mit überlagerten Anzeigen des jeweiligen Betriebszustandes.

Gleiche oder funktional äquivalente Elemente sind in sämtlichen Ausführungsbeispielen mit denselben Bezugszeichen bezeichnet.

In Figur 1 ist eine schematische Skizze eines Verfahrens zum Anlernen einer künstlichen Intelligenz gezeigt. Die in diesem Verfahren angelernte künstliche Intelligenz soll anhand von Bildern 3 einer Werkzeugmaschine 1 den jeweiligen Betriebszustand der Werkzeugmaschine 1 erkennen. Bspw. solle die Betriebszustände „arbeitend", „Materialwechsel", „wartend" und „aus" unterschieden werden. Ein bekanntes Bearbeitungsprogramm 10 wird als Anregungsmuster der Maschine 1 genutzt. Da das Bearbeitungsprogramm 10 bekannt ist, ist über ein bekanntes Verhaltensmodell 11 ebenfalls bekannt in welchem Betriebszustand sich die Maschine 1 befindet. Mit anderen Worten kann also vorhergesagt werden, wann die Maschine 1 von einem Betriebszustand in einen anderen Betriebszustand wechselt.

Das bekannte Bearbeitungsprogramm 10 wird an die Maschine 1 übermittelt und von dieser ausgeführt. Die Maschine 1 wechselt dann zu den vorhergesagten Zeitpunkten in vorhergesagte Betriebszustände. Während der Ausführung des Bearbeitungsprogramms 10 durch die Maschine 1 werden mit einer Kamera 2 Bilder 3 von der Maschine 1 gemacht. Entsprechend des jeweiligen Zeitpunktes des Bildes 3 wird der entsprechende Betriebszustand der Maschine 1 als Label 12 dem Bild 3 hinzugefügt. Mit den so gelabelten Bildern wird die künstliche Intelligenz auf die Erkennung von Betriebszuständen der Maschine 1 trainiert. Nach dem Training kann die künstliche Intelligenz die Betriebszustände von gleichen oder ähnlichen Maschinen, die ein unbekanntes Bearbeitungsprogramm abarbeiten erkennen.

Die so erstellten Bilder 3 mit den hinzugefügten Labels werden dann für das überwachte Lernen der künstlichen Intelligenz verwendet. Die künstliche Intelligenz lernt anhand der gelabelten Bilder wie die unterschiedlichen Betriebszustände erkannt werden können. Die künstliche Intelligenz kann nach dem Lernen auch Betriebszustände von Maschinen erkennen, die unbekannte Bearbeitungsprogramme abarbeiten.

In Figur 2 ist ein zur Bestimmung eines Betriebszustandes einer Maschine 1 gezeigt. Die Maschine 1 ist in diesem Beispiel eine 2D-Laserschneidemaschine. 2D-Laserschneidmaschinen schneiden Werkstücke aus plattenförmigen Blechen. Eine Kamera 2 ist auf die Maschine 1 ausgerichtet und macht ein Bild 3 oder vorzugsweise eine Bildfolge von der Maschine 1. Das Bild 3 oder die Bildfolge wird von der Kamera 2 an eine Recheneinheit 4, hier ein normaler Computer, übermittelt. Die Recheneinheit 4 führt eine trainierte künstliche Intelligenz 8 aus. Die künstliche Intelligenz 8 kann wie in Figur 1 gezeigt trainiert worden sein. Die künstliche Intelligenz 8 ist vorzugsweise auf den Maschinentyp der Maschine 1 trainiert worden. Vorzugsweise wurde beim Training der künstlichen Intelligenz 8 ein Kamerablickwinkel genutzt, der im Wesentlichen dem Blickwinkel der Kamera 2 auf die Maschine 1 entspricht. Die künstliche Intelligenz 8 bestimmt aus dem Bild 3 oder der Bildfolge den Betriebszustand der Maschine 1. Der Betriebszustand der Maschine 1 wird auf einem Bildschirm 6 ausgegeben. Die Betriebszustand kann dabei als Texteinblendung über dem Bild oder der Bildfolge ausgegeben werden. Ein Nutzer 7 kann so leicht erkennen welche Maschine 1 welchen Betriebszustand hat. Weiterhin wird der Betriebszustand an ein Produktionsverwaltungsprogramm 5 übergeben. In diesem Beispiel wird das Produktionsverwaltungsprogramm 5 auf einem Server ausgeführt, der über ein Netzwerk mit dem Computer 4 verbunden ist. Es versteht sich, dass das Produktionsverwaltungsprogramm 5 auch auf derselben Recheneinheit wie die künstliche Intelligenz 8 ausgeführt werden kann. Das Produktionsverwaltungsprogramm 5 ist durch die Übermittlung des Betriebszustandes in der Lage auf den Betriebszustand der Maschine 1 zu reagieren, obwohl die Maschine 1 den Betriebszustand nicht selbst an das Produktionsverwaltungsprogramm 5 übermittelt. Das Produktionsverwaltungsprogramm 5 kann bspw. erkennen, wenn die Maschine 1 einen Auftrag abgearbeitet hat und im Pause-Zustand ist. Alternativ oder zusätzlich kann das Produktionsverwaltungsprogramm 5 erkennen, wenn die Maschine im Fehler-Zustand ist und kann Produktionsaufträge umplanen und den Nutzer 7 informieren.

In Figur 3 ist ein Bild 3 einer Werkzeugmaschine 1 gezeigt. Ein solches Bild 3 kann bspw. von der Kamera aus Figur 2 stammen. Die Werkzeugmaschine 1 ist in diesem Beispiel eine Fräse. Die Fräse erzeugt Ausnehmungen 22 in einem Werkstück 20. In diesem Beispiel ist der Fräser 21 in das Werkstück 20 eingeführt. Die künstliche Intelligenz 8 erkennt daran, dass die Maschine 1 im Betriebszustand „arbeitend" ist. Der erkannte Betriebszustand wird einem Produktionsverwaltungsprogramm 5 übermittelt. Das Bild 3 wird dem Nutzer 7 über einen Bildschirm 6 angezeigt, wie in Figur 2 gezeigt. Der erkannte Betriebszustand wird dabei als Überlagerung 23 im Bild 3 angezeigt. So erkennt der Nutzer 7 sehr leicht welchen Betriebszustand die künstliche Intelligenz 8 der Maschine 1 zugeordnet hat.

In Figur 4 ist ein Bild 3 mehrerer Werkzeugmaschinen 1 gezeigt. Innerhalb des Bildes 3 werden mehrere relevante Bereiche erkannt. Für jeden relevanten Bereich wird erkannt ob darin eine Maschine 1 abgebildet ist. Für die jeweilige Maschine 1 wird der jeweilige Betriebszustand erkannt. Der Betriebszustand wird jeweils als Überlagerung 23 über dem Bild 3 angezeigt. Das Erkennen der relevanten Bereiche kann bspw. mit einer trainierten künstlichen Intelligenz durchgeführt werden. Die künstliche Intelligenz ist dabei darauf trainiert bekannte Maschinen innerhalb eines Bildes 3 zu erkennen. In diesem Beispiel erkennt die künstliche Intelligenz auch Personen 24 auf dem Bild 3. Die Bereiche in denen Personen 24 auf dem Bild 3 abgebildet sind können, bpsw. zur Wahrung des Datenschutzes und der Privatsphäre der abgebildeten Personen 24, unkenntlich gemacht werden.

In Figur 5 ist ein Bild 3 mehrerer Maschinen 1 mit überlagerten Anzeigen 23 des jeweiligen Betriebszustandes dargestellt. Die Maschinen 1 sind in diesem Beispiel ein automatisiertes Hallentor und ein Gabelstapler. Für das Hallentor können bspw. die Betriebszustände „offen, „geschlossen", „öffnet", „schließt" oder „Fehlerzustand" erkannt werden. Für den Gablestapler kann der Betriebszustand bspw. in Form von Fahrtrichtung und Geschwindigkeit angegeben werden.

Bezugszeichenliste

Maschine

Kamera

Bild

Recheneinheit

Produktionsverwaltungsprogramm

Bildschirm

Nutzer

Künstliche Intelligenz

Bearbeitungsprogramm

Verhaltensmodell

Label

Werkstück

Fräser

Ausnehmung

Überlagerung

Personen