Die Erfindung betrifft ein Verfahren zur Handhabung von Produkten mit einem Automatisierungssystem und ein Automatisierungssystem, wobei die Produkte mittels eines bildgebenden Sensors einer Steuervorrichtung des Automatisierungssystems erfasst und mittels eines Handhabungsme chanismus einer Handhabungsvorrichtung des Automatisierungssystems gehandhabt werden, wobei die Steuervorrichtung die Sensorbilddaten des bildgebenden Sensors verarbeitet und die Handhabungsvorrichtung nach Vorgabe von in einem Datenspeicher der Steuervorrichtung enthaltenen Trainingdatensätzen steuert.

Derartige Verfahren und Automatisierungssysteme sind hinreichend bekannt und werden regelmäßig zur Handhabung von Produkten einge setzt. Die Handhabungsvorrichtung kann hierbei jegliche Art von Ma- schine sein, die zur Handhabung von Produkten geeignet ist, wie bei spielsweise ein Roboter oder eine Greif- bzw. Fördervorrichtung einer Werkzeugmaschine. Wesentlich dabei ist, dass es sich bei den Produkten um unterschiedlichste Erzeugnisse und/oder auch gleichartige Erzeugnis se in unterschiedlichsten Ausgangspositionen für eine Handhabung handeln kann. Das jeweilige Produkt wird über den bildgebenden Sensor, beispielsweise eine Kamera oder dergleichen, aufgenommen und Sensor- bilddaten des bildgebenden Sensors werden von einer Steuervorrichtung des Automatisierungssystems verarbeitet. Die Steuervorrichtung steuert nun den betreffenden Roboter so, dass beispielsweise unterschiedliche Produkte, in gegebenenfalls unterschiedlichen Positionen von dem Roboter automatisiert ergriffen und sortiert bzw. in einer vorgegebenen Ordnung an anderer Stelle abgelegt werden. Die Steuervorrichtung umfasst dabei einen Datenspeicher mit Trainingdatensätzen, die eine Vielzahl von möglichen Produkten und deren Ausgangspositionen mit den jeweils zugehörigen Steueranweisungen zur Steuerung des Roboters enthalten. So ist es möglich, dass unabhängig von der Lage bzw. Aus gangsposition eines Produkts dieses an jeweils geeigneten Greifpunkten von dem Roboter automatisiert ergriffen und entsprechend einer Vorgabe gehandhabt werden kann.

Die Trainingdatensätze können beispielsweise Bilddaten und jeweils zugehörige Steueranweisungen umfassen, die dem Roboter zuvor antrai niert wurden. Dies kann derart erfolgen, dass der Roboter manuell zu dem Produkt bewegt wird und diese Bewegung als eine Steueranweisung in dem Datenspeicher gespeichert wird. Weiter ist es bekannt, sogenann te künstliche Intelligenz für derartige Handhabungsaufgaben einzusetzen. Dabei wird mittels eines Computers ein statistisches Modell für eine Handhabungsaufgabe erstellt. Für eine Reihe möglicher Produkte und deren Positionen werden beispielsweise verschiedenste Steueranweisun gen zur Verfügung gestellt, wobei Regeln zur Anwendung der jeweils richtigen Steueranweisung durch eine reale Ausführung oder Simulation der Steueranweisungen mittels eines Computers statistisch ermittelt werden. Die Trainingdatensätze können unabhängig von einer Handha bungsvorrichtung bzw. einem Roboter durch Simulation mit einem Computer gewonnen werden. In Abhängigkeit davon, welche Produkte wie gehandhabt werden sollen, erfordert die Erstellung von entsprechen den Trainingdatensätzen jedoch einen hohen individuellen Anpassungs und damit Programmieraufwand. So ist es beispielsweise zur Simulation einer Greifaufgabe erforderlich, ein Gewicht eines Produkts und eine Dynamik einer Bewegung zu berücksichtigen, wenn eine möglichst sichere Ausführung der Greifaufgabe erzielt werden soll. Nachteilig ist hierbei, dass ein individueller Anpassungsaufwand und damit Program mieraufwand sehr hoch ist. Gleichfalls müssen große Datenmengen verarbeitet werden, was einen technischen und zeitlichen Aufwand zur Erstellung von Trainingdatensätzen weiter erhöht.

Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren zur Handhabung von Produkten mit einem Automatisierungs system und ein Automatisierungssystem vorzuschlagen, das eine verein fachte Anwendung von künstlicher Intelligenz für Handhabungsaufgaben ermöglicht.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen des An spruchs 1 und ein Automatisierungssystem mit den Merkmalen des Anspruchs 18 gelöst.

Bei dem erfindungsgemäßen Verfahren zur Handhabung von Produkten mit einem Automatisierungssystem werden die Produkte mittels eines bildgebenden Sensors einer Steuervorrichtung des Automatisierungssys tems erfasst und mittels eines Handhabungsmechanismus einer Handha bungsvorrichtung des Automatisierungssystems gehandhabt, wobei die Steuervorrichtung die Sensorbilddaten des bildgebenden Sensors verar beitet und die Handhabungsvorrichtung nach Vorgabe von in einem Datenspeicher der Steuervorrichtung enthaltenen Trainingdatensätzen steuert, wobei die Trainingdatensätze Trainingbilddaten und/oder geo metrische Daten und jeweils zugehörige Steueranweisungen umfassen, wobei die Trainingdatensätze ausschließlich von in den Trainingbildda ten von Produkten enthaltenen geometrischen Daten als ein statistisches Modell mit einem Computer mittels eines darauf ausgeführten Computer programmprodukts erzeugt werden, wobei die Trainingdatensätze an die Steuervorrichtung übermittelt werden.

Bei dem für das erfindungsgemäße Verfahren eingesetzten Handha- bungsmechanismus kann es sich um jegliche Art von Mechanismus handeln, der geeignet ist, gegenständliche Produkte im Rahmen eines industriellen Prozesses zu manipulieren. Die Handhabung eines Produkts kann dabei beispielsweise auch eine Bearbeitung des Produkts umfassen. Weiter kann der bildgebende Sensor jegliche Art von Sensor sein, der die Erfassung eines Abbilds des Produkts bzw. dessen geometrischer Gestalt ermöglicht. Insbesondere ist vorgesehen, dass die Steuervorrichtung reale Sensorbilddaten des bildgebenden Sensors mittels Bildverarbeitung verarbeitet, wobei die Handhabungsvorrichtung in Abhängigkeit der realen Sensorbilddaten und nach der Vorgabe der Trainingdatensätze von der Steuervorrichtung gesteuert wird. Die Trainingdatensätze enthalten Trainingbilddaten und jeweils zugehörige Steueranweisungen bzw. alternativ oder ergänzend geometrische Daten der jeweiligen Produkte und jeweils zugehörigen Steueranweisungen. Die Steuervorrichtung ordnet die Sensorbilddaten den Trainingbilddaten zu oder umgekehrt und führt entsprechend der zugehörigen Steueranweisung eine Handhabung des mit dem bildgebenden Sensor aufgenommenen Produkts aus. Die Gewinnung der Trainingdatensätze erfolgt unabhängig von der Handha bungsvorrichtung mit einem Computer und einem darauf ausgeführten Computerprogrammprodukt bzw. einer Software. Die Trainingdatensätze werden dabei aus ausschließlich geometrischen Daten, die aus den Trainingbilddaten mittels Bildverarbeitung gewonnen werden, mittels der Software generiert. Insbesondere wird ein statistisches Modell für die jeweiligen geometrischen Daten eines Produkts, welche durch das Pro- dukt selbst und dessen Position bestimmt sind und die zugehörige Steu eranweisung erstellt. Die Ermittlung der geeigneten Steueranweisung erfolgt durch simulierte Anwendung verschiedenster Steueranweisungen alleine anhand der geometrischen Daten, ohne eine Berücksichtigung weiterer physikalischer Parameter. Dadurch wird die Erstellung von Trainingdatensätzen für unterschiedlichste Anwendungen wesentlich vereinfacht, da durch das Unberücksichtigtlassen weiterer Parameter eine vereinfachte Programmierung und schnellere Berechnung der Trainingda- tensätze ermöglicht wird. Das Automatisierungssystem wird dadurch auch einfacher an verschiedenste Handhabungsaufgaben anpassbar und damit universeller nutzbar.

In einem ersten Schritt des Verfahrens können die Trainingdatensätze erzeugt werden, wobei in einem zweiten Schritt des Verfahrens die Trainingsätze an die Steuervorrichtung übermittelt werden können. Demnach kann vorgesehen sein, die Trainingdatensätze örtlich getrennt von der Steuervorrichtung bzw. der Handhabungsvorrichtung mit dem Computer zu erzeugen. Die örtliche bzw. räumliche Trennung von Computer und Steuervorrichtung erfordert dann auch nicht zwangsläufig eine Verbindung zur Datenübertragung, wobei beispielweise dennoch eine Verbindung über das Internet bestehen kann. Die im ersten Schritt fertiggestellten Trainingdatensätze können somit auch über eine Daten verbindung an die Steuervorrichtung übermittelt werden, die dann die Trainingdatensätze zur Steuerung nutzt.

Bei der Handhabung des Produkts können vorliegende mechanische Variablen, insbesondere Kräfte, Momente und/oder Reibung, bei der Anwendung des statistischen Modells unberücksichtigt bleiben. Eine Berücksichtigung von Kräften und Momenten bei einer Simulation von Bewegungen eines Handhabungsmechanismus erfordert eine besonders große Rechenleistung des Computers und ist zeitaufwendig. Wie sich herausgestellt hat, kann auf die Berücksichtigung dieser mechanischen Variablen verzichtet und gleichzeitig im Ergebnis eine ausreichend große Anzahl nutzbarer Trainingdatensätze erhalten werden.

Alternativ können bei der Handhabung des Produkts vorliegende mecha nische Variablen, insbesondere Kräfte, Momente und/oder Reibung, mittels zumindest eines weiteren Sensors der Steuervorrichtung ermittelt und bei der Anwendung des statistischen Modells berücksichtigt werden. Als weitere Sensoren zur Bestimmung können Kraftsensoren, Momenten sensoren, Stromsensoren, taktile Sensoren, und/oder Drucksensoren verwendet werden. So kann eine besonders große Anzahl sehr genauer Trainingdatensätze durch Simulation erhalten bzw. während der Handha bungsaufgabe an die tatsächlichen Gegebenheiten angepasst werden. Auch kann mittels des weiteren Sensors ein Qualitätsmaß für eine Steue rungsanweisung in den Trainingsbilddaten angegeben werden. So kann eine Qualität der realen Trainingbilddaten erhöht werden.

Als Trainingbilddaten können reale Bilddaten und/oder künstlich erzeug te repräsentative Bilddaten von Produkten verwendet werden. Durch diese Verwendung realer Bilddaten kann aufgrund der tatsächlichen Darstellung einer realen Situation eine Genauigkeit der Trainingdaten sätze erhöht werden. Künstlich erzeugte repräsentative Bilddaten von Produkten sind hingegen mit wesentlich weniger Aufwand erhältlich und in größerer Anzahl erstellbar.

Das statistische Modell kann ohne eine vorgegebene Toleranz der Trai ningbilddaten erzeugt werden. Trainingbilddaten und/oder geometrische Daten können zur Berechnung der Trainingdatensätze zusammen mit anderen Variablen und den Steueranweisungen ohne eine bewusst vorge gebene Toleranz mit dem statistischen Modell bearbeitet werden. Wie sich gezeigt hat, kann durch den Verzicht auf eine vorgegebene Toleranz der zur Berechnung herangezogenen Daten ein Aufwand zur Erstellung der Trainingdatensätze weiter gemindert werden, ohne dass eine Qualität der Trainingdatensätze verschlechtert werden würde. Gleichfalls ist es möglich, eine vorgegebene Toleranz bzw. bewusste Unsicherheit der zur Berechnung herangezogenen Daten vorzusehen.

Das statistische Modell kann mit einem empirischen oder analytischen Verfahren erzeugt werden. Bei dem empirischen Verfahren handelt es sich um eine Verallgemeinerung, beispielsweise eines Produkts und dessen Position sowie einer Bewegung des Handhabungsmechanismus nach einer Steueranweisung, so dass von dem Handhabungsmechanismus nicht die für den vorliegenden Fall optimale Bewegung ausgeführt wird. Das statistische Modell kann mittels eines Näherungsverfahrens, insbe- sondere Deep Learning, Convolutional Neural Network (CNN), Recusive Nets (RNN), Stochastic Machine, Random Forest oder Support Vecture Machine, erzeugt werden. Diese Näherungsverfahren betreffen verschie dene Optimierungsmethoden künstlicher neuronaler Netze, die zwischen einer Eingabeschicht und einer Ausgabeschicht eine Anzahl Zwischenla gen aufweisen und deren innere Struktur im Rahmen eines Trainings mit dem Trainingbilddaten und den Steueranweisungen ausgebildet werden können.

Das statistische Modell kann durch überwachtes Lernen und/oder durch Bestärkendes Lernen (reinforcement learning) erzeugt werden. Das Computerprogrammprodukt bzw. die Software des Computers kann dann die Eingaben für das statistische Modell bzw. Trainingbilddaten und/oder die jeweils zugehörigen Steueranweisungen erzeugen und deren Katego rien und Zusammenhänge erkennen. Bei dem überwachten Lernen kann ein Clustering-Verfahren angewandt werden.

Die Steuervorrichtung kann einen Bewegungsablauf des Handhabungs mechanismus einer Handhabung eines Produkts erfassen, wobei der bildgebende Sensor eine Abfolge der Handhabung des Produkts erfassen kann, wobei die Steuervorrichtung die Sensorbilddaten des bildgebenden Sensors verarbeiten und die in dem Datenspeicher der Steuervorrichtung enthaltenen Trainingdatensätze in Abhängigkeit der Abfolge und des Bewegungsablaufs ändern kann, wobei das statistische Modell der Trainingdatensätze geändert werden kann. Demnach kann vorgesehen sein, dass bei der Verwendung der Trainingdatensätze durch die Steuer vorrichtung bzw. im Realbetrieb der Handhabungsvorrichtung, eine weitere Optimierung der Trainingdatensätze durchgeführt wird. Diese Optimierung kann dadurch erfolgen, dass die Sensorbilddaten des bild gebenden Sensors von der Steuervorrichtung mittels Bildverarbeitung verarbeitet und in Beziehung zu der ausgeführten Steueranweisung der Steuervorrichtung gesetzt werden. Anstelle einer Steueranweisung können auch von der Steuervorrichtung weitere Sensoren des Handha- bungsmechanismus, wie beispielsweise Wegsensoren, Kraftsensoren und/oder Beschleunigungssensoren, zur Optimierung des statistischen Modells verwendet werden. Wesentlich ist, dass die in einem Offline- Betrieb der Handhabungsvorrichtung mit dem Computer erstellten Trainingdatensätze nun in einem Online-Betrieb der Handhabungsvor richtung durch die Anpassung des statistischen Modells weiter optimiert werden können.

Die Steuervorrichtung kann eine Qualität der Handhabung des Produkts bestimmen und diese bei einer Änderung des statistischen Modells der Trainingdatensätze berücksichtigen. Die Qualität der Handhabung des Produkts kann beispielsweise über die Sensorbilddaten des bildgebenden Sensors ermittelt werden, wenn ein Produkt nicht handhabbar ist, oder auch Sensordaten weiterer Sensoren des Handhabungsmechanismus nicht mit den Steueranweisungen des Handhabungsmechanismus übereinstim men. Tritt beispielsweise bei der Handhabung eines Produkts ein Fehler auf, können die für den Fehler ursächlichen Sensorbilddaten und Steuer anweisungen in die Änderungen des statistischen Modells einfließen.

Als ein bildgebender Sensor kann eine Kamera, eine Stereokamera, eine Structured Light Kamera, eine Lichtfeldkamera oder ein Lidar System verwendet werden. Je nach Art des zu handhabenden Produkts kann bereits ein zweidimensionales Bild des Produkts ausreichend sein. Vorteilhaft ist die Verwendung mehrerer Kameras, so dass ein dreidi mensionales Bild bzw. Modell des betreffenden Produkts mit dem bild gebenden Sensor gewonnen werden kann. Um eine gleichbleibende Qualität von Sensorbilddaten sicherzustellen, können Sensoren verwen det werden, die beispielsweise unabhängig von einer Beleuchtungssitua tion sind. Neben den oben genannten Sensoren können je nach Anwen dung auch mechanische Sensoren zur Abtastung eines Produkts oder auch Ultraschall-Sensoren als bildgebende Sensoren eingesetzt werden.

Somit können vorteilhaft eine zweidimensionale oder dreidimensionale Gestalt des jeweiligen Produkts beschreibende Trainingbilddaten und/oder Sensorbilddaten verwendet werden.

Die Handhabungsvorrichtung kann ein Greifen, Fügen, Prüfen, Applizie ren oder Bearbeiten an dem Produkt ausführen. Unter einer Handhabung des Produkts werden daher alle neben einem Fördern an dem Produkt ausgeführten Manipulationen bzw. Tätigkeiten verstanden.

Eine Erkennung von Greifpunkten an dem jeweiligen Produkt kann aus den Trainingbilddaten und/oder Sensorbilddaten erfolgen. Eine Erken nung von Greifpunkten ist auch nur dann sinnvoll, wenn mit dem Hand habungsmechanismus Produkte ergriffen werden sollen. Ein Ergreifen kann dabei mit den allgemein bekannten und für das jeweilige Produkt geeigneten Greifern, wie beispielsweise mechanische Parallelgreifer, Vakuumsauggreifer, Magnetgreifer, Haftgreifer oder dergleichen, durch geführt werden. Durch die Erkennung von Greifpunkten bzw. einer Vorselektion derselben kann die Handhabung von Produkten noch we sentlich verbessert werden.

Vorteilhaft ist es, wenn die Greifpunkte mittels Bildverarbeitung ermit telt werden. Die Erkennung der Greifpunkte kann beispielsweise durch einen Abgleich von Bildmerkmalen, sogenannte Feature-Matching- Algorithmen, durchgeführt werden. Weiter kann mittels Bildverarbeitung eine Szenenanalyse mit einer Lokalisierung von Produkten und Greif punkten, eine Objekterkennung und/oder eine Lageerkennung durchge führt werden. Zur Erkennung von Greifpunkten ist eine Szenenanalyse nicht zwangsläufig erforderlich.

Als Handhabungsmechanismus kann ein zumindest in zwei oder drei Raumachsen bewegbarer Handhabungsmechanismus, bevorzugt ein mehrachsiger Roboter, verwendet werden. Der mehrachsige Roboter kann eine Anzahl an Gelenken aufweisen, wobei in den jeweiligen Gelenken Wegsensoren, Kraftsensoren und/oder Beschleunigungssensoren inte griert sein können. Diese weiteren Sensoren können beispielsweise Kraftsensoren, Momentensensoren, Stromsensoren, taktile Sensoren, und/oder Drucksensoren sein und zur Auswertung eines realen Handha bungsablaufs eines Produkts durch die Steuervorrichtung verwendet werden.

Bei dem erfindungsgemäßen Automatisierungssystem, insbesondere Roboter oder dergleichen, umfasst das Automatisierungssystem eine Handhabungsvorrichtung mit einem Handhabungsmechanismus zur Handhabung der Produkte und eine Steuervorrichtung zur Steuerung der Handhabungsvorrichtung, wobei die Steuervorrichtung einen Datenspei cher mit Trainingdatensätzen und zumindest einen bildgebenden Sensor zur Erfassung der Produkte aufweist, wobei mittels der Steuervorrich tung Sensorbilddaten des bildgebenden Sensors verarbeitbar und die Handhabungsvorrichtung nach Vorgabe der Trainingdatensätze steuerbar ist, wobei die Trainingdatensätze Trainingbilddaten und/oder geometri sche Daten und jeweils zugehörige Steueranweisungen umfassen, wobei die Trainingdatensätze ausschließlich von in den Trainingbilddaten von Produkten enthaltenen geometrischen Daten als ein statistisches Modell mit einem Computer mittels eines darauf ausführbaren Computerpro grammprodukts erzeugbar sind, wobei die Trainingdatensätze an die Steuervorrichtung übermittelbar sind. Zu den Vorteilen des erfindungsgemäßen Automatisierungssystems wird auf die Vorteilsbeschreibung des erfindungsgemäßen Verfahrens verwie sen. Weitere vorteilhafte Ausführungsformen eines Automatisierungssys tems ergeben sich aus den Merkmalsbeschreibungen der auf den Verfah rensanspruch 1 zurückbezogenen Tinteransprüche. Nachfolgend wird eine bevorzugte Ausführungsform der Erfindung unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert.

Es zeigen:

Fig. 1 eine schematische Darstellung eines Automatisierungssystems;

Fig. 2 eine Diagrammdarstellung einer Erstellung von Trainingdaten- Sätzen.

Die Fig. 1 zeigt ein vereinfacht dargestelltes Automatisierungssystem 10, welches aus einer Handhabungsvorrichtung 11 und einer Steuervor richtung 12 gebildet ist. Die Handhabungsvorrichtung 11 umfasst einen mehrachsigen Roboter 13 mit einer Antriebssteuerung 14 und einem Greifer 15, der zum Ergreifen von verschiedenen in einem Behälter 16 befindlichen Produkten 17 ausgebildet ist. Die Produkte 17 weisen jeweils eine unterschiedliche Gestalt auf, sind unstrukturiert platziert und können mittels des Greifers 15 ergriffen und von dem Roboter 13 gehandhabt bzw. sortiert werden.

Die Steuervorrichtung 12 umfasst einen bildgebenden Sensor 18, der hier von einer Kamera 19 ausgebildet ist, sowie Mittel zur Bildverarbeitung 20, einen Datenspeicher 21 mit Trainingdatensätzen und eine Steuerein richtung 22. Mittels der Kamera 19 können dann Bilder der Produkte 17 aufgenommen und als Sensorbilddaten an die Mittel zur Bildverarbeitung 20 weitergeleitet werden. Im Rahmen einer Bildverarbeitung erfolgt dann eine Lokalisierung bzw. Objekterkennung der Produkte 17 sowie eine Greifpunkterkennung. Aus den Trainingdatensätzen werden, je nach Produkt und Lage der Greifpunkte, die jeweils zugehörigen Steueranwei- sungen ausgewählt und von der Steuereinrichtung 22 an die Antriebs steuerung 14 übermittelt, die eine Bewegung des Roboters 13 bzw. des Greifers 15 zum Ergreifen und Handhaben des betreffenden Produkts 17 initiiert.

Die Fig. 2 zeigt eine schematische Darstellung eines Verfahrens zur Erzeugung von Trainingdatensätzen unabhängig von der in Fig. 1 darge stellten Steuervorrichtung. Zunächst werden Trainingbilddaten 23 und Steueranweisungen 24 zur Verfügung gestellt, wobei reale Trainingbild daten und Steueranweisungen als auch von einem Computer künstlich erzeugte Trainingbilddaten und Steueranweisungen verwendet werden können. Die Trainingbilddaten 23 und Steueranweisungen 24 werden mittels eines statistischen Modells 25, welches als Computerprogramm- produkt bzw. Software auf einen hier nicht dargestellten Computer ausgeführt wird, verarbeitet. Bei dem statistischen Modell 25 wird ein Näherungsverfahren, hier beispielsweise Deep Learning, angewandt, mit dem Trainingdatensätze 26 erzeugt werden. Die Trainingdatensätze 26 umfassen die Trainingbilddaten 23 und/oder geometrische Daten mit den jeweils zugehörigen Steueranweisungen 24, die von dem statistischen Modell 25 den Trainingbilddaten 23 zugeordnet wurden. Die so erzeug ten Trainingdatensätze 26 können dann nachfolgend an den Roboter entsprechend der Darstellung Fig. 1 zur Nutzung übermittelt werden.