Beschreibung Die vorliegende Erfindung betrifft ein Verfahren zum Erstellen einer Objektkarte für eine Fabrikumgebung wie eine Werkshalle unter Verwendung von in der Fabrikumgebung vorhandenen Sensoren.

Stand der Technik

In modernen Fabrikumgebungen wie beispielsweise Werks- bzw. Montagehallen und dergleichen werden heutzutage zunehmend mehr Abläufe automatisiert. Hierzu werden beispielsweise Roboter und automatisierte Fahrzeuge eingesetzt. Dies ist auch unter dem Begriff "Industrie 4.0" bekannt. Trotz der Automatisierung ist es weiterhin nötig, dass sich auch Menschen in der Fabrikumgebung bewegen und mit den dort vorhandenen Geräten, also beispielsweise auch Robotern, arbeiten bzw. zusammenarbeiten.

Hierzu ist es wünschenswert, möglichst genaue Informationen über die Position einzelner Objekte - hierunter fallen insbesondere automatisierte Geräte wie Roboter oder Fahrzeuge, aber auch Personen - zu erhalten. Auch Teilobjekte und deren Positionen sollen überwacht werden können, etwa der Arm eines Roboters oder die Silhouette eines Menschen. Dies ist nicht zuletzt wichtig, um einen gefahrlosen Betrieb für die Personen zu ermöglichen. Außerdem könnten auf diese Weise auch der Produkt- bzw. Materialfluss in einer Fabrik überwacht werden.

Möglich ist es dabei, unter Verwendung von Sensoren wie GPS (dies allerdings nur im Außenbereich), W-LAN-Einheiten, LIDARs, Kameras und dergleichen, die exakte Position von Objekten zu ermitteln. Aus der CN 104 385 282 A ist es beispielsweise bekannt, die Informationen mehrerer Sensoren zusammenzuführen. Auch aus " C. Ramer, J. Sessner, M. Scholz, X. Zhang and J. Franke, "Fusing low-cost sensor data for localization and mapping of auto- mated guided vehicle fleets in indoor applications," Multisensor Fusion and Integration for Intelligent Systems (MFI), 2015 IEEE International Conference on, San Diego, CA, 2015, pp. 65-70" ist es bekannt, die Informationen verschiedener Arten von Sensoren zusammenzuführen. Problematisch sind dabei jedoch immer noch die vorhandenen Latenzzeiten.

Offenbarung der Erfindung

Erfindungsgemäß werden ein Verfahren und ein System mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.

Ein erfindungsgemäßes Verfahren dient zum Erstellen einer Objektkarte für eine Fabrikumgebung unter Verwendung von in der Fabrikumgebung vorhandenen Sensoren. Als Fabrikumgebung kommt dabei insbesondere eine Werks- bzw. Montagehalle in Betracht. Dabei werden von wenigstens einem Teil eines Objekts in der Fabrikumgebung Informationen in Bezug auf seine Position von wenigstens zwei der Sensoren erfasst. Denkbar ist insbesondere auch, dass von jedem der Sensoren jeweils wenigstens ein Objekt (bzw. dessen Teil) in der Fabrikumgebung erfasst wird. Unter Objekten sind hierbei insbesondere automatisierte Geräte wie Roboter oder Fahrzeuge, aber auch Personen zu verstehen, unter Teilobjekten beispielsweise der Arm eines Roboters oder die Silhouette eines Menschen. Ebenso sind darunter Produkte bzw. Material und deren Zustände, beispielsweise in einer Fabrik, zu verstehen. Die von den Sensoren erfassten Informationen werden dann an einen den Sensoren zugeordneten Server übertragen, und unter Verwendung des Servers wird dann basierend auf den von den Sensoren erfassten und übertragenen Informationen eine Objektkarte für die Fabrikumgebung mit einer Position des wenigstens einen Teils des Objektes erstellt. Die Objektkarte kann dabei insbesondere von dem Server, also beispielsweise durch geeignete, darauf laufende Software, erstellt werden. Ein solcher Server weist hierzu zweckmäßigerweise wenigstens einen Prozessor, einen Speicher und eine Netzwerkanbindung auf. Die Sensoren können dabei vorzugsweise drahtlos an den Server angebunden sein. Je nach Art des Sensors wäre jedoch auch eine kabelgebundene Anbindung denkbar. Als ein solcher Server kommt dabei insbesondere ein sog. Edge-Sever in Betracht, also ein sehr leistungsfähiger Server. Dieses Vorgehen kann dabei vorzugsweise auch laufend oder zumindest in gewissen zeitlichen Abständen, insbesondere basierend auf der vorherigen Karten- Information als Referenz, wiederholt werden, d.h. die Objektkarte kann aktualisiert werden. Auf diese Weise müssen von den einzelnen Sensoren lediglich Informationen wie insbesondere eine Entfernung eines Objektes bzw. eines Teils davon erfasst und an den Server übertragen werden. Die Verarbeitung der Informationen wird dann zweckmäßigerweise nur in bzw. auf dem Server, zumindest aber unter Verwendung des Servers, vorgenommen. Dies ermöglicht also eine besonders schnelle und effiziente Verarbeitung von Informationen und damit entsprechend eine schnelle und effiziente Erstellung der Objektkarte, da die Sensoren direkt mit dem leistungsfähigen (Edge-)Server verbunden sind. Dadurch, dass nun zudem von wenigstens einem Teil eines Objekts Informationen in Bezug auf seine Position in der Fabrikumgebung von wenigstens zwei der Sensoren erfasst werden, kann zumindest in Be- zug auf dieses wenigstens eine Objekt bzw. einen Teil davon eine besonders genaue Position ermittelt werden. Dabei kann berücksichtigt werden, dass verschiedenen Sensoren beispielsweise unterschiedliche Blickwinkel auf ein Objekt haben können oder aber dass verschiedene Sensoren unterschiedliche Arten der Entfernungsmessung verwenden können. Auf diese Weise ist dann eine Korrektur der Position, wie sie durch einen der Sensoren er- mittelt würde, möglich. Hierzu sei angemerkt, dass auch für jedes einer Vielzahl von Objekten bzw. Teilen davon jeweils von zwei - oder auch mehr - verschiedenen Sensoren Informationen in Bezug auf seine jeweilige Position erfasst werden können. Insgesamt kann damit also eine Objektkarte mit sehr genauen Positionen einer Vielzahl von Objekten bzw. Teilen davon in der Fabrikumgebung - nach Möglichkeit sogar von allen (relevanten) Objekten - erstellt werden.

Vorzugsweise wird die Objektkarte an wenigstens eine in der Fabrikumgebung vorhandene Vorrichtung übertragen. Dort kann anhand der Objektkarte dann beispielsweise eine Steuerung der Vorrichtung erfolgen.

Vorteilhafterweise wird wenigstens eine in der Fabrikumgebung vorhandene Vorrichtung basierend auf der Objektkarte gesteuert. Dort kann dann zweckmäßigerweise ein Aktuator (oder auch mehrere Aktuatoren) angesteuert werden. Hierzu kann insbesondere die Objektkarte auf die Vorrichtung übertragen werden. Denkbar ist also beispielsweise die Steuerung eines Roboters basierend auf der Objektarte, in welche die genaue Position einer Person enthalten ist. Auf diese Weise kann beispielsweise sichergestellt werden, dass der Roboter - oder eine andere Vorrichtung - nur dann gesteuert bzw. angesteuert wird, wenn Personen einen ausreichenden Sicherheitsabstand einhalten. Ebenso ist in Abhängigkeit von der Position der Person eine bestimmte bzw. angepasste Steuerung der Vorrichtung möglich. Besonders bevorzugt ist es, wenn von dem Server basierend auf den von den Sensoren erfassten und übertragenen Informationen eine Teil-Objektkarte für die Fabrikumgebung erstellt wird. Dann können von wenigstens einem weiteren der Sensoren (oder auch zwei oder mehr dieser Sensoren) erfasste Informationen an einen dem wenigstens einen weiteren Sensor zugeordneten, weiteren Server übertragen werden. Von dem weiteren Server kann dann basierend auf den von dem wenigstens einen weiteren Sensor erfassten und übertragenen Informationen eine weitere Teil-Objektkarte für die Fabrikumgebung erstellt werden, wobei aus der Teil-Objektkarte und der weiteren Teil-Objektkarte dann die Objektkarte für die Fabrikumgebung mit der Position des wenigstens einen Teils des Objektes erstellt werden kann. Auf diese Weise kann also die Erstellung der Objektkarte auf zwei oder mehr Server aufgeteilt werden, die dann jeweils nur von einem Teil der Sensoren Informationen erhalten, um eine Teil-Objektkarte - also insbesondere auch nur für einen Teil der Fabrikumgebung - zu erstellen. Damit können beispielsweise größere Fabrikumgebungen sehr einfach abgedeckt werden. Es versteht sich, dass nicht nur insgesamt zwei Server, sondern auch drei, vier oder noch mehr solcher Server verwendet werden können, mittels welcher jeweils eigene solcher Teil-Objektkarten erstellt werden können, die dann zu einer Objektkarte zusammengesetzt werden.

Während im erwähnten Fall zunächst nicht notwendigerweise von dem weiteren Sensor auch ein Objekt oder ein Teil davon erfasst werden muss bzw. nicht Informationen in Bezug auf eine Position eines Objekts erfasst werden müssen (es könnte auch kein Objekt in Reichweite des weiteren Sensors sein), ist es dennoch bevorzugt, wenn auch die von dem wenigstens einen weiteren der Sensoren erfassten Informationen Informationen in Bezug auf eine Position wenigstens eines Teils eines weiteren Objektes in der Fabrikumgebung umfas- sen. Dann kann aus der Teil-Objektkarte und der weiteren Teil-Objektkarte die Objektkarte für die Fabrikumgebung mit der Position des wenigstens einen Teils des Objektes und des wenigstens einen Teils des weiteren Objektes erstellt werden.

Es ist von Vorteil, wenn die Teil-Objektkarten (also die Teil-Objektkarte und die weitere Teil- Objektkarte, je nach Situation auch noch mehr als zwei Teil-Objektkarten) von dem jeweiligen Server an einen übergeordneten Server übertragen werden, wobei von dem übergeordneten Server die Objektkarte erstellt wird. Auf dem übergeordneten Server können die einzelnen Teil-Objektkarten also zusammengesetzt werden. Denkbar ist dabei auch, dass die Teil-Objektkarten teilweise überlappen und eine solche Überlappung dann bei Erstellung der Objektkarte berücksichtigt bzw. entfernt wird. Vorzugsweise umfassen die von den dem Server zugeordneten Sensoren erfassten Informationen Informationen für einen ersten Bereich und einen zweiten Bereich, der von einer Referenz weiter entfernt ist als der erste Bereich. Als Referenz kann dabei der entsprechende Server dienen, aber auch ein bestimmter Punkt in der Fabrikumgebung oder eine bestimmte Vorrichtung wie ein Roboter in der Fabrikumgebung. Es werden dann nur Informationen für den zweiten Bereich und/oder die Teilobjektkarte nur mit aus den Informationen für den zweiten Bereich ermittelten Positionen von Objekten bzw. Teilen davon in der Fabrikumgebung direkt oder indirekt an den weiteren Server übertragen. Die indirekte Übertragung kann dabei umfassen, dass von dem übergeordneten Server nur die für einen bestimmten Server rele- vanten Informationen bzw. Positionen von Objekten bzw. Teilen davon (bzw. eine entsprechend erstellte Objektkarte) an diesen Server übertragen werden. Damit ist es möglich, einem Server nur die tatsächlich benötigten Informationen zu übermittelten, basierend worauf dann beispielsweise eine Steuerung einer Vorrichtung möglich ist. So ist beispielweise eine in der Nähe eines Roboters befindliche Person nur für den entsprechenden Server relevant, dem die Sensoren in der Nähe des Roboters zugeordnet sind. Eine sich von einem Roboter wegbewegende oder sich anderweitig bewegende Person ist hingegen beispielsweise auch für einen anderen Server relevant, in dessen Nähe ein anderer Roboter vorgesehen ist. Diese Person könnte sich nämlich zu diesem Roboter hin bewegen. Auf diese Weise können die Information nach Relevanz von einem Server an einen anderen Server übermittelt werden. Denkbar ist zudem, einen dritten Bereich (oder noch mehr Bereiche) zu verwenden, sodass unterschiedlich relevante Informationen unterschiedlich weit, d.h. mit unterschiedlich vielen bzw. unterschiedlich weit entfernten Servern ausgetauscht werden können.

Vorzugsweise sind die Sensoren wenigstens teilweise aus den folgenden Sensoren ausge- wählt: Kameras, insbesondere Videokameras und Stereo käme ras, Ultraschallsensoren, Mikrofone, Annäherungssensoren, , RADAR- Einheiten, LIDAR-Einheiten, Funkmodule, insbesondere WLAN-Einheiten und Bluetooth- Einheiten, Inertialsensoren und Abstandssensoren. All diese Sensoren sind insbesondere in Fabrikumgebungen üblich und können verwendet werden, um möglichst viele Informationen über die Position von Objekten bzw. Teilen davon in der Fabrikumgebung zu sammeln.

Zweckmäßig ist es auch, wenn die Sensoren wenigstens teilweise aus Sensoren ausgewählt sind, die an Objekten und/oder Vorrichtungen in der Fabrikumgebung angeordnet sind. So können also nicht nur separat angeordnete Sensoren verwendet werden, sondern auch an beispielsweise manuell oder automatisiert bewegten Vorrichtungen (beispielsweise Roboter) oder Fahrzeugen (beispielsweise Gabelstapler). Denkbar sind auch Sensoren an sog.

"Augmented-Reality-Brillen" oder„Augmented-Reality-Helmen", die beispielsweise von Personen in der Fabrikumgebung verwendet werden, um geführte Montagearbeiten oder dergleichen durchzuführen.

Zusätzlich zu Positionsinformationen können auch weitere orts- und objektbezogene Informationen in selber Weise über die Edge-Server generiert und abgeglichen werden. Beispiele sind Informationen über den Arbeitsfortschritt, das geltende Sicherheitslevel, die passende Information zu einem Objekt (z.B. Betriebsanleitung der Maschine, vor der ein Arbeiter in diesem Moment steht oder die er ansieht) oder Warnhinweise an Personen.

Die auf dem Server entstandene Karte bietet weiterhin die Möglichkeit, Informationen beispielsweise in Form eines Mobilitäts-Musters zu nutzen, wenn etwa sich die von zwei Servern abgedeckten Gebiete nicht überschneiden, um beispielsweise Abstand, mittlere Ge- schwindigkeit, etc. zwischen den Gebieten zu schätzen. Dies erhöht die Sicherheit weiter, indem ein Eintreten in den zweiten Bereich mit hoher Wahrscheinlichkeit erwartet werden kann.

Um eine Harmonisierung der Karten der einzelnen Server zu gewährleisten, kann ein über- geordneter Edge-Server die Karteninformation von jedem Server in der Hierarchie darunter bekommen und die Informationen koordinieren und zusammenfügen.

Ein erfindungsgemäßes System mit wenigstens einem Server und mit Sensoren ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzu- führen.

Auch die Implementierung des Verfahrens in Form eines Computerprogramms ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich. Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.

Es versteht sich, dass die vorstehend genannten und die nachfolgend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.

Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung ausführlich beschrieben.

Figurenbeschreibung

Figur 1 zeigt schematisch eine Fabrikumgebung mit einem erfindungsgemäßen System in bevorzugter Ausführungsform, mit dem ein erfindungsgemäßes Verfahren durchführbar ist.

Figur 2 zeigt schematisch einen Ablauf eines erfindungsgemäßen Verfahrens in bevorzugter Ausführungsform.

Figur 3 zeigt schematisch ein erfindungsgemäßes System in weiterer bevorzugter Ausführungsform.

Figur 4 zeigt schematisch verschiedene Bereiche für die Durchführung eines erfindungsgemäßen Verfahrens in weiterer bevorzugter Ausführungsform.

Detaillierte Beschreibung der Zeichnung

In Figur 1 ist schematisch eine Fabrikumgebung 100 mit einem erfindungsgemäßen System in bevorzugter Ausführungsform, mit dem ein erfindungsgemäßes Verfahren durchführbar ist, dargestellt. Bei der Fabrikumgebung kann es sich beispielsweise um eine Werkshalle handeln. Das System umfasst dabei einen Server 110 sowie beispielhaft verschiedene Sensoren 120, 121 und 122. Der Server 110 weist hier einen Prozessor 111 und einen Speicher 112 sowie eine Netz- werkanbindung 113, hier in Form eines Funkmoduls, insbesondere W-LAN bzw. WiFi, auf. Bei den mit 120 bezeichneten Sensoren handelt es sich hier beispielhaft um Kameras, bei den mit 121 bezeichneten Sensoren um LIDARs und bei dem mit 122 bezeichneten Sensor um einen Sensor an einer sog. "Augmented-Reality-Brille", worunter auch wiederum eine Kamera fallen kann.

Weiterhin sind nun eine Person 200, die die "Augmented-Reality-Brille" trägt, sowie eine als automatisierter Roboter ausgebildete Vorrichtung 210 als Objekte in der Fabrikumgebung 100 dargestellt. Einige der oben erwähnten Sensoren sind dabei auch an dem Roboter 210 angeordnet.

Die einzelnen Sensoren können nun Informationen in Bezug auf die Position der Person 200 und des Roboters 210 in der Fabrikumgebung 100 erfassen und an den Server 110 übertra- gen.

In Figur 2 ist schematisch ein Ablauf eines erfindungsgemäßen Verfahrens in bevorzugter Ausführungsform dargestellt. Die einzelnen Sensoren 120, 121 und 122 können nun Informationen 125 in Bezug auf die Position der Objekte, also beispielsweise der Person 200 und des Roboters 210 gemäß Figur 1, in der Fabrikumgebung 100 erfassen und an den Server 110 übertragen. Dabei können sowohl von der Person 200 als auch von dem Roboter 210 jeweils von mehreren verschiedenen Sensoren Informationen in Bezug auf deren Position erfasst werden. Auf dem Server 110 kann nun aus den erhaltenen Informationen 125 eine Objektkarte 130 erstellt werden, in welcher die Positionen der Person 200 und des Roboters 210 in der Fabrikumgebung 100 enthalten sind. Denkbar ist dabei, dass nicht nur eine einzelne Positionsangabe eines Objekts in der Objektkarte 130 enthalten sind, sondern es können auch detailliertere Positionsinformationen wie beispielswiese die Stellung eines Roboterarms enthalten sein. Aufgrund der Informationen in Bezug auf eine Position von Objekten von jeweils mehreren verschiedenen Sensoren können, wie erwähnt, besonders genaue Positionen ermittelt werden.

Die Objektkarte 130 kann dann beispielsweise an den Roboter 210 übertragen werden, so- dass dieser bzw. einer oder mehrere Aktuatoren davon, gesteuert werden können. Dabei kann also die aktuelle Position der Person 200 bei der Steuerung des Roboters 210 berücksichtigt werden. Auf diese Weise können Gefahrensituationen vermieden werden, da beispielsweise der Roboter 210 angehaltern werden kann, wenn die Person 200 dem Roboter 210 zu nahe kommt. Dieser Vorgang der Erstellung der Objektarte kann dabei laufend wie- derholt werden, sodass ständig aktuelle Daten zu den Positionen der einzelnen Objekte in der Fabrikumgebung vorliegen.

In Figur 3 ist nun schematisch ein erfindungsgemäßes System in weiterer bevorzugter Ausführungsform dargestellt. Hierzu ist der Server 110 erneut gezeigt, hier beispielhaft nur mit Sensoren 120 und 121, die dem Server 110 zugeordnet sind.

Weiterhin sind nun zwei weitere Server 110' und 110" gezeigt, denen ebenfalls jeweils beispielhaft Sensoren 120 und 121 zugeordnet sind. Jeder der Sensoren kann nun von ihm erfasste Informationen, insbesondere in Bezug auf Positionen von Objekten, an den ihm zugeordneten Server übertragen. Mittels der Server 110, 110' und 110" kann dann jeweils eine Teil-Objektkarte 150, 150' bzw. 150" erstellt werden, welche dann wiederum an einen übergeordneten Server 140 übertragen werden. Der übergeordnete Server 140 kann an sich gleichartig wie die anderen Server aufgebaut sein. Dort kann dann die Objektkarte 130 aus den einzelnen Teil-Objektkarten zusammengesetzt werden.

In Figur 4 sind schematisch verschiedene Bereiche Bi, B2 und B3 für die Durchführung eines erfindungsgemäßen Verfahrens in weiterer bevorzugter Ausführungsform dargestellt. Hier ist in der Nähe des Servers 110 eine Referenz R festgelegt, die beispielsweise in Abhängigkeit von dem Roboter 210 vorgegeben sein kann.

In Bezug auf die Referenz R sind nun beispielhaft ein erster Bereich Bi, ein weiter von der Referenz R entfernter Bereich B2 und ein noch weiter von der Referenz R entfernter Bereich B3 vorgegeben. Die Bereiche sind hier beispielhaft ringförmig ausgebildet. Wenn nun beispielsweise die Person 200 in dem ersten Bereich Bi und damit in der Nähe des Roboters 210 erfasst wird, so ist diese Information zunächst nur für den Server 110 relevant. Diese Information bzw. eine zugehörige Position muss nicht an einen anderen Server übertragen werden.

Wird hingegen eine Person - hier eine Person 200' - in dem zweiten Bereich B2 erfasst, so kann diese Information beispielsweise auch für den Server 110' relevant sein, in dessen Nä- he sich beispielsweise ein Roboter 210' befinden kann. Es ist nämlich denkbar, dass sich die Person 200' auf den Roboter 210' zubewegt, wie hier durch einen Pfeil angedeutet. Insofern ist es zweckmäßig, diese Information an den Server 110' zu übertragen.

Denkbar ist auch, dass sich die Person 200' zu einem späteren Zeitpunkt im Bereich B3 befindet. Daraus kann dann beispielsweise mit höherer Sicherheit geschlossen werden, dass diese Person sich auf den Roboter 210' zubewegt.

Insgesamt kann auf diese Weise also eine sehr genaue Objektarte für eine Fabrikumgebung erstellt werden, basierend auf welcher ein besonders sicherer und effizienter Betrieb in dieser Fabrikumgebung möglich ist.