Verfahren und System zum Durchführen einer Industrie-, insbesondere

Roboterapplikation

Die vorliegende Erfindung betrifft ein Verfahren zum Durchführen einer Industrie-, insbesondere Roboterapplikation auf Basis einer maschinell gelernten

Objekterkennung, ein Verfahren zum maschinellen Lernen einer Objekterkennung auf Basis von Trainingsdaten, ein Verfahren zum Erstellen der Trainingsdaten sowie Systeme und Computerprogramm bzw. Computerprogrammprodukte zur Durchführung solcher Verfahren. Mithilfe maschinell gelernter Objekterkennungen können Industrie-, insbesondere

Roboterapplikationen vorteilhaft durchgeführt, insbesondere Maschinen, insbesondere Roboter, auf Basis einer solchen Objekterkennung gesteuert und/oder überwacht werden, beispielsweise Objekte greifen, bearbeiten und/oder transportieren, Objekten ausweichen und/oder navigieren oder dergleichen. Zum maschinellen Lernen von Objekterkennungen werden viele Trainingsbilder von Umgebungen mit zu erkennenden Objekten benötigt, deren Bereitstellung, insbesondere Erzeugung und/oder Labelung bzw. Klassifizierung aufwendig ist.

Eine Aufgabe einer Ausführung der vorliegenden Erfindung ist es, Trainingsdaten zum maschinellen Lernen einer Objekterkennung zur Verfügung zu stellen bzw. das Erstellen solcher Trainingsdaten zu verbessern. Eine Aufgabe einerweiteren Ausführung der vorliegenden Erfindung ist es, das maschinelle Lernen einer Objekterkennung zu verbessern. Eine Aufgabe einer weiteren Ausführung der vorliegenden Erfindung ist es, das Durchführen einer Industrie-, insbesondere Roboterapplikation zu verbessern. Diese Aufgaben werden insbesondere durch ein Verfahren mit den Merkmalen des Anspruchs 1 , 10 bzw. 11 gelöst. Ansprüche 12-15 stellen ein System bzw. Computerprogramm bzw. Computerprogrammprodukt zur Durchführung eines hier beschriebenen Verfahrens unter Schutz. Die Unteransprüche betreffen vorteilhafte Weiterbildungen. Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zum Erstellen von Trainingsdaten zum maschinellen Lernen einer Objekterkennung die Schritte auf:

- Bereitstellen eines Modells eines ersten, zu erkennenden Objekts;

- Auswählen eines Modells einer ersten Umgebung des ersten Objekts auf Basis des ersten Objekts aus einer Umgebungsmodellbibliothek;

- virtuelles Anordnen des Modells des ersten Objekts in dem Modell der ersten Umgebung in einer ersten Pose; und

- Ermitteln eines ersten Bilds der ersten Umgebung mit dem ersten Objekt auf Basis des Modells der ersten Umgebung mit dem darin in der ersten Pose virtuell angeordneten Modell des ersten Objekts als Trainingsbild zum maschinellen Lernen einer Objekterkennung.

Indem das Modell der ersten Umgebung auf Basis des ersten Objekts aus einer Umgebungsmodellbibliothek ausgewählt wird, wird zwar gegebenenfalls die Allgemeinheit der Objekterkennung reduziert, da eine entsprechend gelernte Objekterkennung insoweit auf bestimmte Umgebungen spezialisiert ist.

Dafür kann aber in einer Ausführung die Präzision der Objekterkennung erhöht werden. Dies ist besonders bei Industrieapplikationen und ganz besonderes bei Roboterapplikationen einerseits besonders wichtig, während dabei andererseits die Allgemeinheit der Objekterkennung von geringer(er) Bedeutung ist, da diese in der Regel in spezifischen Umgebungen durchgeführt werden.

Daher ist die vorliegende Erfindung besonders für das Durchführen von Industrie-, insbesondere Roboterapplikationen bzw. das maschinelle Lernen von Objekterkennungen auf Basis von Trainingsdaten hierfür bzw. das Erstellen von Trainingsdaten hierfür geeignet, ohne jedoch hierauf beschränkt zu sein.

Allgemein kann in einer Ausführung durch das Auswählen des Modells der ersten Umgebung auf Basis des ersten Objekts aus einer Umgebungsmodellbibliothek die Präzision, Robustheit, Zuverlässigkeit und/oder Geschwindigkeit beim Durchführen der Applikation, maschinellen Lernen der Objekterkennung bzw. Erstellen von Trainingsdaten hierfür bzw. das maschinelle Lernen bzw. Durchführen der Applikation verbessert werden. In einer Ausführung weist das Verfahren die Schritte auf:

- virtuelles Anordnen des Modells des ersten Objekts in dem Modell der ersten Umgebung in einer oder mehreren zweiten Pose(n); und

- (jeweils) Ermitteln eines zweiten Bilds der ersten Umgebung mit dem ersten Objekt auf Basis des Modells der ersten Umgebung mit dem darin in (einer) der zweiten Pose(n) virtuell angeordneten Modell des ersten Objekts als (jeweils) weiteres Trainingsbild zum maschinellen Lernen der Objekterkennung.

Auf diese Weise können in einer Ausführung rasch, einfach und/oder robust weitere Trainingsdaten erstellt bzw. das maschinelle Lernen der Objekterkennung bzw. Durchführen der Applikation (weiter) verbessert, insbesondere die Präzision, Robustheit, Zuverlässigkeit und/oder Geschwindigkeit beim Durchführen der Applikation, maschinellen Lernen bzw. Erstellen von Trainingsdaten (weiter) verbessert werden.

In einer Ausführung werden die ersten und/oder zweite(n) Pose(n) zufallsbasiert vorgegeben. Dadurch kann in einer Ausführung das maschinelle Lernen der Objekterkennung bzw. Durchführen der Applikation (weiter) verbessert, insbesondere die Präzision, Robustheit, Zuverlässigkeit und/oder Geschwindigkeit beim Durchführen der Applikation, maschinellen Lernen der Objekterkennung bzw.

Erstellen von Trainingsdaten hierfür verbessert werden.

In einer Ausführung weist das Verfahren die Schritte auf:

- Auswählen (je) eines Modells einer oder mehrerer zweiter Umgebung(en) des ersten Objekts auf Basis des ersten Objekts aus der Umgebungsmodellbibliothek;

- virtuelles Anordnen des Modells des ersten Objekts in dem (jeweiligen) Modell der (jeweiligen) zweiten Umgebung, insbesondere in einer oder mehreren verschiedenen Posen; und

- (jeweils) Ermitteln eines Bilds der (jeweiligen) zweiten Umgebung mit dem ersten Objekt auf Basis des (jeweiligen) Modells der (jeweiligen) zweiten Umgebung mit dem darin virtuell angeordneten Modell des ersten Objekts als (jeweils ein) weiteres Trainingsbild zum maschinellen Lernen der Objekterkennung, in einer Ausführung (jeweils) Ermitteln eines Bilds der (jeweiligen) zweiten Umgebung mit dem ersten Objekt auf Basis des (jeweiligen) Modells der (jeweiligen) zweiten Umgebung mit dem darin in einer der verschiedenen Posen virtuell angeordneten Modell des ersten Objekts als (jeweils ein) weiteres Trainingsbild zum maschinellen Lernen der Objekterkennung.

Auf diese Weise können in einer Ausführung rasch, einfach und/oder robust weitere Trainingsdaten erstellt bzw. das maschinelle Lernen der Objekterkennung bzw. Durchführen der Applikation (weiter) verbessert, insbesondere die Präzision, Robustheit, Zuverlässigkeit und/oder Geschwindigkeit beim Durchführen der Applikation, maschinellen Lernen bzw. Erstellen von Trainingsdaten (weiter) verbessert werden.

In einer Ausführung weist das Verfahren die Schritte auf:

- Bereitstellen (je) eines Modells eines oder mehrerer zweiter Objekte; und

- virtuelles Anordnen des Modells bzw. der Modelle des (jeweiligen) zweiten Objekts in dem Modell der ersten Umgebung; wobei das erste Bild auf Basis des Modells der ersten Umgebung mit den darin virtuell angeordneten Modellen des ersten Objekts und des bzw. der zweiten Objekte als Trainingsbild zum maschinellen Lernen der Objekterkennung ermittelt wird.

In einer Ausführung werden das bzw. eines oder mehrere der Modelle des (jeweiligen) zweiten Objekts auch in dem bzw. einem oder mehreren der Modelle der (jeweiligen) zweiten Umgebung virtuell angeordnet und die entsprechenden Bilder der (jeweiligen) zweiten Umgebung mit dem ersten Objekt auf Basis des Modells der zweiten Umgebung mit den darin virtuell angeordneten Modellen des ersten Objekts und des bzw. der zweiten Objekte als Trainingsbild zum maschinellen Lernen der Objekterkennung ermittelt.

Zusätzlich oder alternativ werden in einer Ausführung das bzw. eines oder mehrere der Modelle des (jeweiligen) zweiten Objekts jeweils in verschiedenen Posen in dem Modell der ersten Umgebung bzw. dem bzw. einem oder mehreren der Modelle der (jeweiligen) zweiten Umgebung virtuell angeordnet und die entsprechenden Bilder der (jeweiligen) Umgebung mit dem ersten Objekt auf Basis des Modells dieser Umgebung mit den darin in den entsprechenden Posen virtuell angeordneten Modellen des ersten Objekts und des bzw. der zweiten Objekte als Trainingsbild zum maschinellen Lernen der Objekterkennung ermittelt. Auf diese Weise können in einer Ausführung rasch, einfach und/oder robust weitere Trainingsdaten erstellt bzw. das maschinelle Lernen der Objekterkennung bzw. Durchführen der Applikation (weiter) verbessert, insbesondere die Präzision, Robustheit, Zuverlässigkeit und/oder Geschwindigkeit beim Durchführen der Applikation, maschinellen Lernen bzw. Erstellen von Trainingsdaten (weiter) verbessert werden.

In einer Ausführung ist das Modell der ersten Umgebung und/oder das bzw. eines oder mehrere der Modelle der zweiten Umgebung und/oder das Modell des ersten Objekts und/oder das Modell des bzw. eines oder mehrere der zweiten Objekte (jeweils) dreidimensional.

Zusätzlich oder alternativ ist, in einer Ausführung wird, das Modell der ersten Umgebung und/oder das bzw. eines oder mehrere der Modelle der zweiten Umgebung und/oder das Modell des ersten Objekts und/oder das Modell des bzw. eines oder mehrere der zweiten Objekte (jeweils) mithilfe eines Kamerabilds aus einer oder mehreren Kameraperspektiven erstellt. Somit umfasst in einer Ausführung das Verfahren zum Erstellen von Trainingsdaten auch das Erstellen des Modells der ersten Umgebung und/oder des bzw. eines oder mehrerer der Modelle der zweiten Umgebung und/oder des Modells des ersten Objekts und/oder des Modells des bzw. eines oder mehrere der zweiten Objekte.

In einer Ausführung ist, in einer Weiterbildung wird, das Modell der ersten Umgebung und/oder das bzw. eines oder mehrere der Modelle der zweiten Umgebung und/oder das Modell des ersten Objekts und/oder das Modell des bzw. eines oder mehrere der zweiten Objekte (jeweils) mithilfe einer robotergeführten oder handgeführten Kamera und/oder vSLAM (visual Simultaneous Localization and Mapping) erstellt. In einer Ausführung wird zum Erstellen des Modells der ersten Umgebung und/oder des bzw. eines oder mehrerer der Modelle der zweiten Umgebung und/oder des Modells des ersten Objekts und/oder des Modells des bzw. eines oder mehrere der zweiten Objekte dieselbe Kamera verwendet, die auch bei der Objekterkennung bzw. Durchführen der Applikation verwendet wird.

Durch eines oder insbesondere mehrere dieser Merkmale kann in einer Ausführung das maschinelle Lernen der Objekterkennung bzw. Durchführen der Applikation bzw. Erstellen von Trainingsdaten (weiter) verbessert, insbesondere die Präzision, Robustheit, Zuverlässigkeit und/oder Geschwindigkeit beim Durchführen der Applikation, maschinellen Lernen bzw. Erstellen von Trainingsdaten (weiter) verbessert werden.

In einer Ausführung wird das erste Objekt zufallsbasiert und/oder auf einer virtuellen Ablagefläche in dem Modell der ersten Umgebung angeordnet, wobei diese Ablagefläche auf Basis des ersten Objekts und/oder der ersten Umgebung identifiziert ist, in einer Ausführung wird.

Zusätzlich oder alternativ wird das erste Objekt zufallsbasiert und/oder auf einer virtuellen Ablagefläche in dem bzw. einem oder mehreren der Modelle der (jeweiligen) zweiten Umgebung angeordnet, wobei diese Ablagefläche auf Basis des ersten Objekts und/oder der (jeweiligen) zweiten Umgebung identifiziert ist, in einer Ausführung wird.

Zusätzlich oder alternativ werden das bzw. eines oder mehrere der zweite(n) Objekt(e jeweils) zufallsbasiert und/oder auf einer virtuellen Ablagefläche in dem Modell der ersten Umgebung angeordnet, wobei diese Ablagefläche auf Basis des (jeweiligen) zweiten Objekts und/oder der ersten Umgebung identifiziert ist, in einer Ausführung wird.

Zusätzlich oder alternativ werden das bzw. eines oder mehrere der zweite(n) Objekt(e jeweils) zufallsbasiert und/oder auf einer virtuellen Ablagefläche in dem bzw. einem oder mehreren der Modelle der (jeweiligen) zweiten Umgebung angeordnet, wobei diese Ablagefläche auf Basis des (jeweiligen) zweiten Objekts und/oder der (jeweiligen) zweiten Umgebung identifiziert ist, in einer Ausführung wird.

Bei der Identifikation einer virtuellen Ablagefläche auf Basis des Objekts, das virtuell auf dieser angeordnet wird, wird in einer Ausführung eine Außenabmessung des Objekts mit einer Außenabmessung der Ablagefläche verglichen und diese nur als virtuelle Ablagefläche identifiziert, falls ihre Außenabmessung so groß wie oder größer als die Außenabmessung des Objekts ist. Bei der Identifikation einer virtuellen Ablagefläche auf Basis der Umgebung wird in einer Ausführung eine Ablagefläche eines Umgebungselements verwendet, von dem bekannt ist, dass es eine entsprechende Ablagefläche aufweist und in der Umgebung vorhanden ist, beispielsweise eine Tischfläche eines Tischs oder dergleichen.

Durch eines oder insbesondere mehrere dieser Merkmale kann in einer Ausführung das maschinelle Lernen der Objekterkennung bzw. Durchführen der Applikation bzw. Erstellen von Trainingsdaten (weiter) verbessert, insbesondere die Präzision, Robustheit, Zuverlässigkeit und/oder Geschwindigkeit beim Durchführen der Applikation, maschinellen Lernen bzw. Erstellen von Trainingsdaten (weiter) verbessert werden.

In einer Ausführung weisen erstellte Trainingsdaten(sätze) zum maschinellen Lernen der Objekterkennung (jeweils) wenigstens eines der Trainingsbilder und Zusatzdaten, in einer Ausführung eine Bounding Box und/oder eine Maske, des ersten Objekts auf bzw. werden die entsprechenden Zusatzdaten auf Basis des ersten Objekts, insbesondere der Pose, in der sein Modell jeweils virtuell in dem entsprechenden Modell der entsprechenden Umgebung angeordnet wird bzw. ist, erstellt und zusammen mit dem entsprechenden Trainingsbild abgespeichert und/oder zum maschinellen Lernen der Objekterkennung zur Verfügung gestellt bzw. genutzt.

Dadurch kann in einer Ausführung das maschinelle Lernen der Objekterkennung bzw. Durchführen der Applikation (weiter) verbessert, insbesondere die Präzision, Robustheit, Zuverlässigkeit und/oder Geschwindigkeit beim Durchführen der Applikation, maschinellen Lernen bzw. Erstellen von Trainingsdaten (weiter) verbessert werden.

In einer Ausführung sind eines oder mehrere der Trainingsbilder (jeweils) zweidimensional und/oder werden (jeweils) mithilfe eines künstlichen Rauschens und/oder einer Projektion dreidimensionaler Modelle auf zweidimensionale Bildabschnitte und/oder aus einer, in einer Ausführung zufallsbasiert, vorgegebenen Perspektive ermittelt.

Dadurch kann in einer Ausführung das maschinelle Lernen der Objekterkennung bzw. Durchführen der Applikation (weiter) verbessert, insbesondere die Präzision, Robustheit, Zuverlässigkeit und/oder Geschwindigkeit beim Durchführen der Applikation, maschinellen Lernen bzw. Erstellen von Trainingsdaten (weiter) verbessert werden.

In einer Ausführung wird das Modell der ersten Umgebung datenbank- und/oder internetbasiert und/oder auf Basis einer Web-Ontologie und/oder auf Basis einer ermittelten und/oder vorgegebenen, in einer Weiterbildung in einer Datenbank gespeicherten, Zuordnung von Objekten oder Objektklassen und Umgebungen, insbesondere von Objekten oder Objektklassen und Umgebungen, in denen diese Objekte bzw. Objektklassen häufig(er) und/oder üblicherweise Vorkommen bzw. angeordnet sind bzw. werden, und/oder mithilfe von Data mining, insbesondere Web mining, ausgewählt. Hierzu wird in einer Ausführung das Modell der ersten Umgebung auf Basis einer Web-Ontologie klassifiziert bzw. gekennzeichnet.

Zusätzlich oder alternativ werden in einer Ausführung das bzw. eines oder mehrere Modelle der (jeweiligen) zweiten Umgebung (jeweils) datenbank- und/oder internetbasiert und/oder auf Basis einer Web-Ontologie und/oder auf Basis einer ermittelten und/oder vorgegebenen, in einer Weiterbildung in einer Datenbank gespeicherten, Zuordnung von Objekten oder Objektklassen und Umgebungen, insbesondere einer Zuordnung von Objekten oder Objektklassen und Umgebungen, in denen diese Objekte bzw. Objektklassen häufig(er) und/oder üblicherweise Vorkommen bzw. angeordnet sind bzw. werden, und/oder mithilfe von Data mining, insbesondere Web mining, ausgewählt. Hierzu wird in einer Ausführung das (jeweilige) Modell der zweiten Umgebung auf Basis einer Web-Ontologie klassifiziert bzw. gekennzeichnet.

Zusätzlich oder alternativ wird in einer Ausführung das Modell des ersten Objekts, insbesondere aus einer Objektmodellbibliothek, datenbank- und/oder internetbasiert und/oder auf Basis einer Web-Ontologie ausgewählt, in einer Weiterbildung auf Basis einer Klassifikation in Objektklassen und/oder mithilfe von Data mining, insbesondere Web mining.

Zusätzlich oder alternativ werden in einer Ausführung das bzw. eines oder mehrere Modelle des (jeweiligen) zweiten Objekts (jeweils), insbesondere aus einer Objektmodellbibliothek, datenbank- und/oder internetbasiert und/oder auf Basis einer Web-Ontologie und/oder auf Basis einer Klassifikation in Objektklassen und/oder mithilfe von Data mining, insbesondere Web mining, und/oder auf Basis einer ermittelten und/oder vorgegebenen, in einer Weiterbildung in einer Datenbank gespeicherten, Zuordnung von (zweiten) Objekten und Umgebungen, insbesondere einer Zuordnung von (zweiten) Objekten und Umgebungen, die in diesen Umgebungen angeordnet werden können und/oder häufig(er) und/oder üblicherweise angeordnet sind bzw. werden, bereitgestellt bzw. ausgewählt.

Zusätzlich oder alternativ werden in einer Ausführung eine oder mehrere der virtuellen Ablageflächen (jeweils) datenbank- und/oder internetbasiert und/oder auf Basis einer Web-Ontologie und/oder auf Basis einer ermittelten und/oder vorgegebenen, in einer Weiterbildung in einer Datenbank gespeicherten, Zuordnung von Objekten oder Objektklassen und Ablageflächen, insbesondere einer Zuordnung von Objekten oder Objektklassen und Ablageflächen, auf denen diese Objekte bzw. Objektklassen angeordnet werden können und/oder häufig(er) und/oder üblicherweise angeordnet sind bzw. werden, einer ermittelten und/oder vorgegebenen, in einer Weiterbildung in einer Datenbank gespeicherten, Zuordnung von Umgebungselementen und Ablageflächen, insbesondere einer Zuordnung von Ablageflächen und Umgebungselementen, die diese bzw. solche Ablageflächen aufweisen, und/oder mithilfe von Data mining, insbesondere Web mining, identifiziert. In einer Ausführung werden solche Umgebungselemente und/oder eine oder mehrere der virtuellen Ablageflächen mithilfe einer Bilderkennung ermittelt bzw. identifiziert.

So kann beispielsweise für ein zu erkennendes erstes Objekt ein(e) entsprechende^ Modell einer) Umgebung ausgewählt werden, in dem ein solches Objekt bzw. Objekte einer entsprechenden Objektklasse häufig(er) und/oder üblicherweise Vorkommen, beispielsweise für ein Werkstück bzw. ein Objekt der Klasse „Werkstücke“ eine Umgebung einer Roboterzelle, eines Labors, eines Förderers, einer Produktionshalle oder dergleichen.

Zusätzlich oder alternativ können zum Beispiel für ein(e) ausgewählte(s Modell einer) Umgebung ein oder mehrere (Modelle von) zweite(n) Objekte(n) ausgewählt werden, die häufig(er) und/oder üblicherweise in solchen Umgebungen Vorkommen, beispielsweise für eine Roboterzelle ein oder mehrere Objekte der Klasse „Werkstücke“, „Roboterbauteil“, „Schrauben“, „Werkzeuge“ oder dergleichen. Eine virtuelle Ablagefläche kann in einer Ausführung (auch) danach identifiziert werden, dass das entsprechende Objekt aufgrund der Abmessungen von Objekt und Ablagefläche auf der Ablagefläche platziert werden kann, und/oder (auch) danach, dass sie eine Ablagefläche eines Umgebungselements, zum Beispiel in Form (einer Tischfläche) eines Tisches, ist, das üblicherweise in der entsprechenden Umgebung, zum Beispiel Laboren, vorhanden ist. Insbesondere dann kann zum Beispiel mittels Bilderkennung eine solche Ablagefläche bzw. ein solches Umgebungselement ermittelt bzw. identifiziert werden.

Durch eines oder insbesondere mehrere dieser Merkmale kann in einer Ausführung das maschinelle Lernen der Objekterkennung bzw. Durchführen der Applikation bzw. Erstellen von Trainingsdaten (weiter) verbessert, insbesondere die Präzision, Robustheit, Zuverlässigkeit und/oder Geschwindigkeit beim Durchführen der Applikation, maschinellen Lernen bzw. Erstellen von Trainingsdaten (weiter) verbessert werden.

Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zum maschinellen Lernen einer Objekterkennung, insbesondere für eine Industrie-, insbesondere Roboterapplikation, die Schritte auf:

- Erstellen von Trainingsdaten mithilfe eines hier beschriebenen Verfahrens; und

- maschinelles Lernen der Objekterkennung, in einer Ausführung Trainieren eines künstlichen Neuronalen Netzes, insbesondere eines faltenden künstlichen neuronalen Netzes („Convolutional Neural Network“, CNNs) auf Basis dieser Trainingsdaten.

Nach einer Ausführung der vorliegenden Erfindung weist ein Verfahren zum Durchführen einer Industrie-, insbesondere Roboterapplikation, die Schritte auf:

- maschinelles Lernen einer Objekterkennung mithilfe eines hier beschriebenen Verfahrens; und

- Durchführen der Applikation, in einer Ausführung Steuern und/oder Überwachen einer Maschine, insbesondere eines Roboters, auf Basis der maschinell gelernten Objekterkennung.

Nach einer Ausführung der vorliegenden Erfindung ist ein System zum Erstellen von Trainingsdaten zum maschinellen Lernen einer Objekterkennung, insbesondere für eine Industrie-, insbesondere Roboterapplikation, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet, insbesondere hard- und/oder Software-, insbesondere programmtechnisch, und/oder weist auf:

- Mittel zum Bereitstellen eines Modells eines ersten, zu erkennenden Objekts;

- Mittel zum Auswählen eines Modells einer ersten Umgebung des ersten Objekts auf Basis des ersten Objekts aus einer Umgebungsmodellbibliothek;

- Mittel zum virtuellen Anordnen des Modells des ersten Objekts in dem Modell der ersten Umgebung in einer ersten Pose; und

- Mittel zum Ermitteln eines ersten Bilds der ersten Umgebung mit dem ersten Objekt auf Basis des Modells der ersten Umgebung mit dem darin in der ersten Pose virtuell angeordneten Modell des ersten Objekts als Trainingsbild zum maschinellen Lernen einer Objekterkennung.

Nach einer Ausführung der vorliegenden Erfindung ist ein System zum maschinellen Lernen einer Objekterkennung, insbesondere für eine Industrie-, insbesondere Roboterapplikation, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet, insbesondere hard- und/oder Software-, insbesondere programmtechnisch, und/oder weist auf:

- ein hier beschriebenes System zum Erstellen von Trainingsdaten nach dem vorhergehenden Anspruch; und

- Mittel zum maschinellen Lernen der Objekterkennung, insbesondere Trainieren eines künstlichen Neuronalen Netzes, auf Basis dieser Trainingsdaten.

Nach einer Ausführung der vorliegenden Erfindung ist ein System zum Durchführen einer Industrie-, insbesondere Roboterapplikation, zur Durchführung eines hier beschriebenen Verfahrens eingerichtet, insbesondere hard- und/oder Software-, insbesondere programmtechnisch, und/oder weist auf:

- ein hier beschriebenes System zum maschinellen Lernen einer Objekterkennung, insbesondere Trainieren eines künstlichen Neuronalen Netzes; und

- Mittel zum Durchführen der Applikation, insbesondere Steuern und/oder Überwachen einer Maschine, insbesondere eines Roboters, auf Basis der maschinell gelernten Objekterkennung.

In einer Ausführung weist das System bzw. sein(e) Mittel auf: Mittel zum virtuellen Anordnen des Modells des ersten Objekts in dem Modell der ersten Umgebung in wenigstens einer zweiten Pose und Ermitteln eines zweiten Bilds der ersten Umgebung mit dem ersten Objekt auf Basis des Modells der ersten Umgebung mit dem darin in dieser zweiten Pose virtuell angeordneten Modell des ersten Objekts als weiteres Trainingsbild zum maschinellen Lernen der Objekterkennung; und/oder

Mittel zum Auswählen eines Modells wenigstens einer zweiten Umgebung des ersten Objekts auf Basis des ersten Objekts aus der Umgebungsmodellbibliothek und virtuellen Anordnen des Modells des ersten Objekts in diesem Modell der zweiten Umgebung und Ermitteln eines Bilds der zweiten Umgebung mit dem ersten Objekt auf Basis des Modells der zweiten Umgebung mit dem darin virtuell angeordneten Modell des ersten Objekts als weiteres Trainingsbild zum maschinellen Lernen der Objekterkennung; und/oder

Mittel zum Bereitstellen eines Modells wenigstens eines zweiten Objekts und virtuellen Anordnen des Modells des zweiten Objekts in dem Modell der ersten Umgebung, wobei das erste Bild auf Basis des Modells der ersten Umgebung mit den darin virtuell angeordneten Modellen des ersten und zweiten Objekts als Trainingsbild zum maschinellen Lernen der Objekterkennung ermittelt wird; und/oder Mittel zum Erstellen des Modells der ersten Umgebung und/oder des Modells der zweiten Umgebung und/oder des Modells des ersten Objekts und/oder des Modells des zweiten Objekts mithilfe eines Kamerabilds aus wenigstens einer Kameraperspektive, insbesondere aus mehreren Kameraperspektiven und/oder mithilfe einer roboter- oder handgeführten Kamera und/oder vSLAM; und/oder Mittel zum Anordnen des ersten und/oder zweiten Objekts zufallsbasiert und/oder auf einer virtuellen Ablagefläche in dem Modell der ersten Umgebung und/oder dem Modell der zweiten Umgebung, welche auf Basis dieses Objekts und/oder dieser Umgebung identifiziert ist, insbesondere Mittel zum Identifizieren einer virtuellen Ablagefläche in dem Modell der ersten Umgebung und/oder dem Modell der zweiten Umgebung auf Basis des ersten und/oder zweiten Objekts und/oder der ersten und/oder zweiten Umgebung; und/oder

Mittel zum Erstellen von Trainingsdaten zum maschinellen Lernen der Objekterkennung, die wenigstens eines der Trainingsbilder und Zusatzdaten, insbesondere eine Bounding Box und/oder eine Maske, des ersten Objekts aufweisen; und/oder Mittel zum Ermitteln wenigstens eines der Trainingsbilder mithilfe eines künstlichen Rauschens und/oder einer Projektion dreidimensionaler Modelle auf zweidimensionale Bildabschnitte und/oder aus einer, insbesondere zufallsbasiert, vorgegebenen Perspektive; und/oder

Mittel zum Auswählen des Modells der ersten Umgebung und/oder des Modells der zweiten Umgebung und/oder des Modells des ersten Objekts und/oder des Modells des zweiten Objekts datenbank- und/oder internetbasiert und/oder auf Basis einer Web-Ontologie und/oder Zuordnung von Objekten oder Objektklassen und Umgebungen und/oder Mittel zum Identifizieren wenigstens einer der virtuellen Ablageflächen datenbank- und/oder internetbasiert und/oder auf Basis einer Web- Ontologie und/oder Zuordnung von Objekten oder Objektklassen und Ablageflächen und/oder Umgebungselementen und/oder mithilfe einer Bilderkennung.

Ein System und/oder ein Mittel im Sinne der vorliegenden Erfindung kann hard- und/oder softwaretechnisch ausgebildet sein, insbesondere wenigstens eine, vorzugsweise mit einem Speicher- und/oder Bussystem daten- bzw. signalverbundene, insbesondere digitale, Verarbeitungs-, insbesondere Mikroprozessoreinheit (CPU), Graphikkarte (GPU) oder dergleichen, und/oder ein oder mehrere Programme oder Programmmodule aufweisen. Die Verarbeitungseinheit kann dazu ausgebildet sein, Befehle, die als ein in einem Speichersystem abgelegtes Programm implementiert sind, abzuarbeiten, Eingangssignale von einem Datenbus zu erfassen und/oder Ausgangssignale an einen Datenbus abzugeben. Ein Speichersystem kann ein oder mehrere, insbesondere verschiedene, Speichermedien, insbesondere optische, magnetische, Festkörper- und/oder andere nicht-flüchtige Medien aufweisen. Das Programm kann derart beschaffen sein, dass es die hier beschriebenen Verfahren verkörpert bzw. auszuführen imstande ist, sodass die Verarbeitungseinheit die Schritte solcher Verfahren ausführen kann und damit insbesondere Trainingsdaten erstellen bzw. eine Objekterkennung maschinell lernen bzw. eine Industrie-, insbesondere Roboterapplikation durchführen kann. Ein Computerprogrammprodukt kann in einer Ausführung ein, insbesondere computerlesbares und/oder nicht-flüchtiges, Speichermedium zum Speichern eines Programms bzw. von Anweisungen bzw. mit einem darauf gespeicherten Programm aufweisen, insbesondere sein. In einer Ausführung veranlasst ein Ausführen dieses Programms bzw. dieser Anweisungen durch ein System bzw. eine Steuerung, insbesondere einen Computer oder eine Anordnung von mehreren Computern, das System bzw. die Steuerung, insbesondere den bzw. die Computer, dazu ein hier beschriebenes Verfahren bzw. einen oder mehrere seiner Schritte auszuführen, bzw. sind das Programm bzw. die Anweisungen hierzu eingerichtet.

In einer Ausführung werden ein oder mehrere, insbesondere alle, Schritte des Verfahrens vollständig oder teilweise automatisiert durchgeführt, insbesondere durch das System bzw. sein(e) Mittel.

In einer Ausführung weist das System die Maschine, insbesondere den Roboter, auf.

Weitere Vorteile und Merkmale ergeben sich aus den Unteransprüchen und den Ausführungsbeispielen. Hierzu zeigt, teilweise schematisiert:

Fig. 1 : ein System zum Durchführen eines Verfahrens nach einer Ausführung der vorliegenden Erfindung; und

Fig. 2: ein Verfahren nach einer Ausführung der vorliegenden Erfindung.

Fig. 1 zeigt ein System zum Durchführen eines Verfahrens nach einer Ausführung der vorliegenden Erfindung mit einem Roboter 1 , einer Robotersteuerung 2, einem Computer 3 und einer robotergeführten Kamera 4.

Der Computer 3 ist dazu eingerichtet, ein nachfolgend beschriebenes Verfahren durchzuführen, insbesondere mithilfe der robotergeführten Kamera 4 und einer maschinell gelernten Objekterkennung beim Durchführen einer Roboterapplikation ein Objekt 5 auf einer Ablagefläche 6 zu erkennen und/oder mithilfe von Bildern von der Kamera 4 von Objekten 5‘ und/oder Umgebungen mit Ablageflächen 6‘ Modelle der Objekte bzw. Umgebung zu erstellen und/oder auf Basis von, in einer Ausführung diesen, Modellen von Objekten und/oder Umgebungen Trainingsdaten zu erstellen und/oder auf Basis von, in einer Ausführung diesen, Trainingsdaten eine, in einer Ausführung diese (oben genannte) Objekterkennung maschinell zu lernen.

In einem Schritt S10 werden mit der Kamera 4, die in einer Abwandlung auch handgeführt sein bzw. werden kann, aus verschiedenen Kameraperspektiven Kamerabilder der Umgebung mit der Ablagefläche 6‘ aufgenommen und aus diesen mithilfe von vSLAM ein dreidimensionales Modell dieser Umgebung erstellt und in einer Umgebungsmodellbibliothek abgespeichert, wobei diese Umgebung mithilfe von Web-Ontologie klassifiziert wird, beispielsweise als „Roboterzelle“, „Labor“, „Fertigungshalle“, „Außenumgebung“, „Küche“ oder dergleichen. Entsprechend können auch weitere Umgebungen modelliert, in der Umgebungsmodellbibliothek abgespeichert und mithilfe von Web-Ontologie klassifiziert werden. Alternativ kann dieser Schritt auch entfallen und in Schritt S30 auf eine bereits vorhandenen Umgebungsmodellbibliothek zurückgegriffen werden.

In einem Schritt S20 werden mit der Kamera 4, die in einer Abwandlung auch handgeführt sein bzw. werden kann, oder einer anderen Kamera (nicht dargestellt) aus verschiedenen Kameraperspektiven Kamerabilder des Objekts 5‘ aufgenommen und aus diesen mithilfe von vSLAM ein dreidimensionales Modell dieses Objekts erstellt, wobei dieses Objekt(modell) mithilfe von Web-Ontologie klassifiziert wird, beispielsweise als „Werkstück“ oder dergleichen. Gleichermaßen kann ein solches Modell auch aus CAD-Daten oder dergleichen bereitgestellt werden.

In einem Schritt S30 wird für dieses erste Objekt eine erste Umgebung aus der Umgebungsmodellbibliothek datenbank- und/oder internetbasiert und/oder auf Basis der Web-Ontologie ausgewählt. Beispielsweise können in einer Datenbank Objekten der Objektklasse „Werkstück“ Umgebungen bzw. Umgebungsmodelle „Roboterzelle“, „Labor“ und „Fertigungshalle“ zugordnet sein, Objekten einer Objektklasse „Tasse“ Umgebungen bzw. Umgebungsmodelle wie „Küche“ etc.. Die Verwendung von Web-Ontologie verbessert dabei das Zuordnen bzw. Klassifizieren bzw. Auswählen.

In einem Schritt S40 wird in der ausgewählten ersten Umgebung bzw. deren Umgebungsmodell, beispielsweise „Roboterzelle“, und/oder des ersten Objekts datenbank- und/oder internetbasiert und/oder auf Basis einer Web-Ontologie eine virtuelle Ablagefläche identifiziert, zum Beispiel eine ausreichend große Tischfläche, eine horizontale freie Ablagefläche, deren Außenabmessungen größer als Außenabmessungen des ersten Objekts sind oder dergleichen. Hierzu können beispielsweise Tische mittels Bilderkennung und deren Tischflächen erkannt und als virtuelle Ablageflächen identifiziert werden. Gleichermaßen können auch direkt horizontale freie, ausreichend große Ablageflächen mittels Bilderkennung als virtuelle Ablageflächen identifiziert werden.

In einem Schritt S50 werden ein oder mehrere Modelle zweiter Objekte aus einer Objektmodellbibliothek datenbank- und/oder internetbasiert und/oder auf Basis der Web-Ontologie ausgewählt. Beispielsweise können in einer Datenbank einer Umgebung bzw. einem Umgebungsmodell „Roboterzelle“ Objekte der Objektklassen „Werkstück“ und „Roboterbauteil“ zugordnet sein und entsprechend Modelle von Roboterbauteilen als Modelle zweiter Objekte ausgewählt werden.

In einem Schritt S60 werden in der Umgebung bzw. dem Umgebungsmodell analog zu Schritt S40 virtuelle Ablageflächen für diese zweiten Objekt(modell)e identifiziert.

In einem Schritt S70 werden das Modell des ersten Objekts in einer ersten Pose, die zufallsbasiert vorgegeben bzw. ermittelt wird, und die Modelle der zweiten Objekte in ebenfalls zufallsbasiert vorgegebenen bzw. ermittelten Posen virtuell auf den jeweils identifizierten virtuellen Ablageflächen in dem ausgewählten Modell der ersten Umgebung angeordnet.

In einem Schritt S80 wird ein erstes Bild der ersten Umgebung mit dem ersten Objekt und den zweiten Objekten auf Basis des Modells der ersten Umgebung mit dem darin in der ersten Pose virtuell angeordneten Modell des ersten Objekts und den virtuell angeordneten Modellen der zweiten Objekte als Trainingsbild zum maschinellen Lernen einer Objekterkennung ermittelt.

Dabei werden die dreidimensionalen Modelle auf zweidimensionale Bildabschnitte projiziert und künstlich verrauscht, wobei die Projektion auf Basis einer zufallsbasiert vorgegebenen Perspektive ermittelt wird.

Zusätzlich werden auf Basis der Kenntnis des Modells des ersten Objekts und seiner zufallsbasiert vorgegebenen Pose auf der virtuellen Ablagefläche Zusatzdaten in Form einer Bounding Box und einer binären Maske des ersten Objekts erstellt und zusammen mit dem ermittelten (Trainings)Bild als Trainingsdaten abgespeichert (Schritt S90). Die Schritte S70-S90 und gegebenenfalls S30, S40 und/oder S50, S60 werden ein- oder mehrfach wiederholt, wobei bei einer oder mehreren dieser Durchläufe (jeweils):

- in Schritt S70 das Modell des ersten Objekts und/oder eines oder mehrere Modelle der zweiten Objekte in anderen zufallsbasiert vorgegebenen bzw. ermittelten Posen und/oder auf anderen virtuellen Ablageflächen angeordnet und solcherart insbesondere zweite Bilder der ersten Umgebung ermittelt werden;

- in Schritt S80 die zufallsbasiert vorgegebene Perspektive der Projektion variiert wird und solcherart insbesondere weitere Trainingsbilder ermittelt werden;

- in Schritt S30 für das erste Objekt eine zweite Umgebung aus der Umgebungsmodellbibliothek ausgewählt wird, beispielsweise anstelle der Umgebung bzw. des Umgebungsmodells „Roboterzelle“ die Umgebung bzw. das Umgebungsmodell „Labor“ oder „Fertigungshalle“, und solcherart insbesondere Bilder der zweiten Umgebung als weitere T rainingsbilder ermittelt werden; und/oder

- in Schritt S50 Modelle zweiter Objekte hinzugefügt und/oder entfernt werden.

In einem Schritt S100 wird eine Objekterkennung mit den solcherart erstellten Trainingsdaten maschinell gelernt, in einer Ausführung ein CNN 7 trainiert.

In Schritt S110 wird dann eine Roboterapplikation durchgeführt und dabei mit dieser maschinell gelernten Objekterkennung ein Objekt 5 auf einer Ablagefläche 6 erkannt.

Obwohl in der vorhergehenden Beschreibung exemplarische Ausführungen erläutert wurden, sei darauf hingewiesen, dass eine Vielzahl von Abwandlungen möglich ist.

So kann - zur Erläuterung des Konzepts - anstelle eines Werkstücks eine Kaffeetasse als erstes Objekt angenommen werden. Dann können für diese Kaffeetasse oder ein Objekt der Klasse „Tasse“, „Geschirr“ oder dergleichen als Umgebung eine Küche, ein Labor oder dergleichen ausgewählt und für eine solche Umgebung „Küche“ als zweite Objekte Nahrungsmittel, Töpfe oder dergleichen ausgewählt bzw. bereitgestellt werden, als Ablageflächen insbesondere Tischflächen oder Küchenarbeitsflächen oder dergleichen.

Außerdem sei darauf hingewiesen, dass es sich bei den exemplarischen Ausführungen lediglich um Beispiele handelt, die den Schutzbereich, die Anwendungen und den Aufbau in keiner Weise einschränken sollen. Vielmehr wird dem Fachmann durch die vorausgehende Beschreibung ein Leitfaden für die Umsetzung von mindestens einer exemplarischen Ausführung gegeben, wobei diverse Änderungen, insbesondere in Hinblick auf die Funktion und Anordnung der beschriebenen Bestandteile, vorgenommen werden können, ohne den Schutzbereich zu verlassen, wie er sich aus den Ansprüchen und diesen äquivalenten Merkmalskombinationen ergibt.

Bezuqszeichenliste

1 Roboter

2 Steuerung

3 Computer

4 Kamera 5; 5‘ Objekt

6; 6‘ Ablagefläche 7 CNN