MITTELS BILDAUFNAHMEVORRICHTUNGEN

Die vorliegende Erfindung betrifft ein Verfahren zur Überwachung und Steuerung von Ferti- gungsprozessen, insbesondere von Prozessabläufen bei der industriellen Fertigung von Werkstücken in der Metall- und/oder Blechverarbeitung. Ferner betrifft die Erfindung ein System zur Werkstückpositionsüberwachung in Fertigungshallen der metallverarbeitenden Industrie, insbesondere bei der Stahl- und/oder Blechverarbeitung. Ferner betrifft die Erfindung die Zuordnung von Werkstücken zu Prozessabläufen im Rahmen der Fertigungssteuerung.

Beispielhaft für die metallverarbeitende Industrie werden in der industriellen Stahl- und/oder Blechverarbeitung oft viele Teile unterschiedlicher Größe verschiedensten Verarbeitungsschritten zugeführt. So werden beispielsweise Werkstücke an Werkzeugmaschinen, z. B. Laserschnittgut oder gestanzte Blechteile, absortiert und weiteren Verarbeitungsschritten zuge- führt. Geschnittene oder gestanzte Werkstücke werden dabei nach dem Bearbeitungsvorgang häufig in einem Verbund dem jeweiligen nachgelagerten Produktionsschritt zur Verfügung gestellt. Die verschiedenen Prozessabläufe werden üblicherweise basierend auf einem visuellen Abgleich mit Papier-basierten Unterlagen manuell durchgeführt. Werden jedoch viele unterschiedliche Teilformen geschnitten, verschiedenste Bearbeitungsschritte durchgeführt und unterschiedliche Bereiche in einer Fertigungshalle für die Metall- und/oder Blechverarbeitung angefahren, so werden derartige Überwachungs- und Steuerungsvorgänge aufwändig und fehleranfällig. So kann eine hohe Teilevielfalt Fehler bei der Teilezuordnung und den nachfolgenden Bearbeitungsschritten, z. B. beim auftragsspezifischen Ablegen in vorgesehenen Werkstücksammelstelleneinheiten oder beim Überstellen zum nachfolgenden Bearbeitungs- schritt, hervorrufen. Werden z. B. Teile falsch abgelegt, kann ein nachfolgender Verarbeitungsschritt negativ beeinträchtigt werden, z. B. fehlerhaft durchgeführt werden.

So wird ein physischer Materialfluss meist diskret an Buchungsstationen manuell mit durchzuführenden Bearbeitungsschritten synchronisiert, sodass oft keine detaillierte oder nur eine verzögerte Auswertung stattfinden kann.

Beispielsweise aus den (noch unveröffentlichten) deutschen Patentanmeldungen DE 10 2016 120 132.4 („Werkstücksammelstelleneinheit und Verfahren zur Unterstützung der Bearbeitung von Werkstücken") und DE 10 2016 120 131.6 („Absortierunterstützungsverfahren und Flachbettwerkzeugmaschine") mit Anmeldetag 21. Oktober 2016 sind Verfahren zum Unter- stützen des Absortiervorgangs von mit einer Flachbettwerkzeugmaschine erzeugten Werkstücken, allgemein Verfahren zur Unterstützung der Bearbeitung von Werkstücken, bekannt. Ferner ist aus der deutschen Patentanmeldung DE 10 2017 107 357.4

„Absortierunterstützungsverfahren und Flachbettwerkzeugmaschine" mit Anmeldetag 5. April 2017 ein Unterstützungsverfahren beim Absortieren von z. B. Schnittgut einer Flachbettwerkzeugmaschine bekannt. Die genannten deutschen Patentanmeldungen werden hierin vollumfänglich aufgenommen.

Ferner betreffen die folgenden deutschen Patentanmeldung DE 10 2017 120 358.8„Innen- raum-Ortung-basierte Steuerung von Fertigungsprozessen in der metallverarbeitenden Industrie", DE 10 2017 120 381.8 „Assistiertes Zuordnen eines Werkstücks zu einer Mobileinheit eines Innenraum-Ortungssystems", DE 10 2017 120 382.6„Bild-gestütztes Zuordnen eines Bearbeitungsplans zu einem Mobileinheitsdatensatz einer Mobileinheit eines Innenraum- Ortungssystems" und DE 10 2017 120 383.4„Innenraum-Personenortung-basierte Fertigungs- Steuerung in der metallverarbeitenden Industrie", jeweils mit Anmeldetag 5. September 2017, die Verwendung von z. B. ultra-wideband-Technologie zur Ortung von Mobileinheiten in Fertigungshallen offenbart. Auch diese genannten deutschen Patentanmeldungen werden hierin vollumfänglich aufgenommen. Einem Aspekt dieser Offenbarung liegt die Aufgabe zugrunde, Verfahren und Systeme vorzuschlagen, die insbesondere im Umfeld der Metallverarbeitung, beispielsweise der Stahl- und/oder Blechverarbeitung, Fertigungsprozesse intelligent unterstützen können.

Zumindest eine dieser Aufgaben wird gelöst durch ein Verfahren zur Fertigungssteuerung von Prozessabläufen bei der industriellen Bearbeitung von Werkstücken nach Anspruch 1 , durch ein Fertigungssteuerungssystem zur Steuerung von Fertigungsprozessen in einer Fertigungshalle nach Anspruch 16 und ein Verfahren zur industriellen Fertigung eines Endprodukts nach Anspruch 19. Weiterbildungen sind in den Unteransprüchen angegeben. In einem Aspekt weist ein Verfahren zur Fertigungssteuerung von Prozessabläufen bei der industriellen Bearbeitung von Werkstücken gemäß Bearbeitungsplänen, insbesondere in der Metall- und/oder Blechverarbeitung, in einer Fertigungshalle zur Fertigung eines Endprodukts folgende Schritte auf: Bereitstellen mehrerer in der Fertigungshalle angeordneter Bildaufnahmevorrichtungen, die zum Aufnehmen von Bildsequenzen von zugeordneten Beobachtungsbereichen in der Fertigungshalle ausgebildet sind,

Identifizieren eines zu verfolgenden Objekts in einem ersten Bild einer ersten der Bild- Sequenzen anhand mindestens eines Objekt-Merkmals, das als Pixelstruktur in den Pixeln des ersten Bildes vorliegt,

Bestimmen des Bearbeitungsplans, der sich auf das zu verfolgende Objekt bezieht,

Bestimmen der Lagen des Objekt-Merkmals in Bildern der ersten der Bildsequenzen, die dem ersten Bild zeitlich nachfolgend erfasst wurden,

Bestimmen einer aktuellen Position des zu verfolgenden Objekts durch Lokalisieren des Objekt-Merkmals in einem zeitlich aktuellen Bild einer der Bildsequenzen und Zuordnen der Lage des Objekt-Merkmals im zeitlich aktuellen Bild zu einer aktuellen Position im Beobachtungsbereich der Bildsequenz, die das zeitlich aktuelle Bild umfasst, und

Einbinden der bestimmten aktuellen Position des zu verfolgenden Objekts in die Ferti- gungssteuerung der Industriefertigungsanlage zur Fertigung des Endprodukts.

In einem weiteren Aspekt weist ein Verfahren zur industriellen Fertigung eines Endprodukts mittels eines Fertigungssteuerungssystems die folgenden Schritte auf:

Entgegennehmen eines Fertigungsauftrags zur Fertigung des Endprodukts aus einem Werkstück mit einem in einer Datenverarbeitungsvorrichtung implementierten MES (Maschinensteuerungssystem) des Fertigungssteuerungssystems,

Auswählen einzelner Bearbeitungsschritte mit dem MES,

Bestimmen einer Reihenfolge der Bearbeitungsschritte mit dem MES, wobei die Bearbeitungsschritte einzelne oder mehrere der folgenden Vorgänge umfassen: Schneiden, insbe- sondere Laserschneiden, Stanzen, Biegen, Bohren, Gewindeschneiden, Schleifen, Zusammenfügen, Schweißen, Nieten, Schrauben, Pressen, Behandeln der Kanten und Oberflächen;

Datentechnisches Zuordnen der Bearbeitungsschritte zu einer Maschine oder einer Arbeitsplatzeinheit,

Datentechnisches Zuordnen des Fertigungsauftrags zu einem zu verfolgenden Objekt in dem MES,

Fertigen eines Werkstücks für das Endprodukt, wobei es insbesondere zu einem Teil des Endprodukts nach einem ersten der Bearbeitungsschritte an der dem Bearbeitungsschritt zugewiesenen Maschine oder Arbeitsplatzeinheit bearbeitet wird, (optionaler Schritt des Räumlichen Zuordnens einer dem Fertigungsauftrag zugeordneten Mobileinheit zu dem gefertigten Werkstück,)

Speichern einer Statusänderung des Fertigungsauftrags im MES,

Transport des gefertigten Werkstücks (optional zusammen mit der Mobileinheit) gemäß dem Fertigungsauftrag zu der nächsten Maschine oder Arbeitsplatzeinheit in der vorbestimmten Reihenfolge,

Durchführen des Bearbeitungsschritts an dieser Maschine oder Arbeitsplatzeinheit, Speichern einer Statusänderung des Fertigungsauftrags im MES und

Durchführen der Bearbeitungsschritte des Fertigungsauftrags mit dem MES, wobei die Position des zu verfolgende Objekts durch das MES gemäß dem zuvor skizzierten Verfahren bestimmbar ist und das MES zu jeder Zeit über Daten zum aktuellen Status und zur aktuellen Position des zu verfolgenden Objekt verfügt.

In einem weiteren Aspekt weist ein Fertigungssteuerungssystem zur Steuerung von Fertigungsprozessen in einer Fertigungshalle, insbesondere einer metall- und/oder blechverarbeitenden Industriefertigungsanlage, auf:

mehreren fest in der Fertigungshalle angeordneten Bildaufnahmevorrichtungen, wobei die Beobachtungsbereiche mindestens zweier Bildaufnahmevorrichtungen sich überlappen und/oder wobei die Beobachtungsbereiche mindestens zweier Bildaufnahmevorrichtungen räumlich voneinander beabstandet sind, und

einer Analyseeinheit, die zum Bestimmen, Austausch und Bereitstellen von Daten zur Position von einem zu verfolgenden Objekt in der Fertigungshalle und zur Durchführung der zuvor skizzierten Verfahren ausgebildet ist.

Das Fertigungssteuerungssystem kann ferner eine Anzeigeeinheit, die zum Anzeigen der Position der mindestens einen Mobileinheit in einem Lageplan der Fertigungshalle ausgebildet ist, aufweisen. Mindestens eine der Bildaufnahmevorrichtungen kann ortsfest installiert und/oder beweglich, insbesondere frei um eine Schwenkachse und/oder entlang einer Verschiebeachse beweglich, installiert und/oder an einer Drohne installiert sein.

Das Fertigungssteuerungssystem kann ferner ein Innenraum-Ortungssystem aufweisen, das mehrere fest in der Fertigungshalle installierte Sende-Empfangseinheiten, mindestens eine Mobileinheit und eine (Ortungssystem-)Analyseeinheit aufweist. Die Sende-Empfangseinheiten und die Mobileinheit können zum Aussenden und Empfangen von elektromagnetischen Signalen ausgebildet sein. Die Analyseeinheit ist dazu ausgebildet, aus Laufzeiten der elektromagnetischen Signale zwischen den Sende-Empfangseinheiten und der Mobileinheit die Positionen der Mobileinheit und somit die Position eines der Mobileinheit zugeordneten nachzuverfolgenden Objekts in der Fertigungshalle zu bestimmen. In einigen Ausführungsformen können die folgenden Aspekte umgesetzt sein. Die Bildaufnahmevorrichtungen können unterschiedlich ausgebildet sein. Beispielsweise können die Bildaufnahmevorrichtungen als (Video-) Kameras ausgebildet sein. Eine Bildaufnahmevorrichtung ist einfach an der Werkzeugmaschine oder an einer Arbeitsplatzeinheit oder in ihrer Nähe installierbar und die Bildinformationen können direkt ausgewertet werden. So können auch Werkzeugmaschinen oder Arbeitsplatzeinheiten mit einer solchen Bildaufnahmevorrichtung und mit einem solchen Ortungssystem nachgerüstet werden. Die Bildaufnahmevorrichtung kann fest installiert oder beweglich sein. Sie kann auch noch für weitere Aufgaben z. B. beim Ab- und Zuladen oder zur Sicherheitszwecken verwendet werden Bildaufnahmevorrichtungen können im für den Menschen sichtbaren Bereich des Lichts arbeiten. Sie können aber alternativ oder zusätzlich auch im nichtsichtbaren Bereich, z. B IR- oder UV- Bereich arbeiten. Sie können zusätzlich mit eigenen Lichtquellen zur zusätzlichen Beleuchtung ausgestattet sein. Ferner können Bestands-Kameras, allgemein Bestands- Bildaufnahmevorrichtungen, die z. B. an, innerhalb und außerhalb von Maschinen bereits in der Fer- tigungsanlage für andere Zwecke vorgesehen sind, in das beschriebene System der Bildbasierten Nachverfolgung mit aufgenommen werden.

Die Bildaufnahmevorrichtung kann aber auch durch einen Ultraschallsensor, insbesondere mit einer zusätzlichen Schallquelle, ausgebildet sein.

Die Bildsequenzen der Bildaufnahmevorrichtungen können einen eindeutigen Zeitbezug zur Positionsbestimmung und untereinander aufweisen.

In einigen Aus führungsformen kann das zu verfolgende Objekt innerhalb der bereitgestellten Bilder ausschließlich anhand von typischen Pixeländerungen, die einem Objekt-Merkmal zugeordnet sind, verfolgt werden. Das Identifizieren des zu verfolgenden Objekts kann im ersten Bild mit einem Software-System erfolgen, das Information über die Lage des Objekts im ersten Bild bereitstellt, insbesondere mittels eines dem Beobachtungsbereich überlagerten Objekt-Informationsbereichs. Das Lokalisieren des Objekt-Merkmals kann ein Bestimmen eines Objekt-Merkmalsvektors, der die Bewegung des Objekt-Merkmals zwischen Bildern der ersten der Bildsequenzen beschreibt, und ein Projizieren des Objekt-Merkmalsvektors in ein Bild einer zweiten der Bildsequenzen umfassen. Ein Objekt-Merkmal kann eine spezifische geometrische Form, eine Farbe, ein Lichtsignal einer LED, oder eine Ausdehnung eines Bereichs im Bild sein. Ein Objekt-Merkmalsvektor kann ein Richtungs- oder Geschwindigkeitsvektor eines Objekt-Merkmals sein.

In einigen Aus führungsformen kann beim Verlassen des Objekt-Merkmals eines der Bildsequenz zugeordneten Beobachtungsbereichs in der Fertigungshalle geprüft werden, ob ein dem Objekt-Merkmal und/oder Objekt-Merkmalsvektor entsprechendes Objekt-Merkmal in einem passenden Ort-/Zeitfenster einer weiteren Bildsequenz - insbesondere mit ausreichend hoher Wahrscheinlichkeit - identifizierbar ist. Dies kann insbesondere mit Hilfe von geeigneten Bildauswertemittel und Bildauswerte- Verfahren/Programme erfolgen. Allgemein kann das zu verfolgende Objekt ein Werkstück, einem Transportmittel, ein Werkzeug, eine Mobileinheit oder eine Person sein.

In einigen Ausführungsformen können die Beobachtungsbereiche der ersten Bildsequenz und einer zweiten Bildsequenz einen Überlappungsbereich aufweisen und eine Übergabe der Ob- jekt-Merkmale von der ersten Bildsequenz in die zweiten Bildsequenz kann anhand von Pixelwerten im Überlappungsbereich im Wesentlichen zeitgleicher Bilder erfolgen.

In einigen Ausführungsformen kann das Zuordnen der Lage des Objekt-Merkmals im zeitlich aktuellen Bild zu einer aktuellen Position im Beobachtungsbereich der Bildsequenz ein Be- reitstellen von Referenzpunkten in den Beobachtungsbereichen, und ein Berechnen eines genauen Ort-/Raum-Zeitpunkts des zu verfolgenden Objektes anhand mindestens eines Referenzpunkts umfassen.

In einigen Ausführungsformen kann das Verfahren ferner ein Aufzeichnen und/oder Bereitstel- len der bestimmten Position über eine geeignete Schnittstelle und/oder ein Einbinden der bestimmten Position in eine Bewegungsanalyse des zu verfolgenden Objekts umfassen

In einigen Ausführungsformen kann das Verfahren ferner ein Definieren von Zonen und/oder räumlichen Schranken in der Fertigungshalle, insbesondere in einem Lageplan der Ferti- gungshalle, und ein Abgleichen der bestimmten Position des zu verfolgenden Objekts hin- sichtlich der Zonen und/oder der räumlichen Schranken und Steuern der Fertigung basierend auf dem Abgleich umfassen. Das Abgleichen der bestimmten Position kann z. B. ergeben, dass sich das zu verfolgende Objekt in einer Zone befindet oder diese verlassen hat oder dass das zu verfolgende Objekt eine räumliche Schranke passiert hat. Die Zonen und/oder die räumli- chen Schranken können in zwei oder drei Dimensionen definiert werden.

In einigen Ausführungsformen kann das Einbinden der bestimmten Position des zu verfolgenden Objekts einen oder mehrere der folgenden Schritte umfassten: ein Abgeben von Signalen zur Unterstützung der Ortung des zu verfolgenden Objekts; ein Anzeigen von Information zu der Position und/oder dem Fertigungszustand des zu verfolgenden Objekts, insbesondere auf einem mobilen Ausgabegerät wie einem Tablett, Smartphone oder einem Überwachungsmonitor; ein Einstellen von Betriebsparametern einer Werkzeugmaschine; ein Aktualisieren eines Protokolls, das die Fertigung, insbesondere Bearbeitungsschritte, protokolliert; ein Zuordnen des zu verfolgenden Objekts zu einem Auftrag zur Fertigung eines oder mehrerer Endprodukte in mehreren unterschiedlichen Arbeitsschritten;

Ist das zu verfolgende Objekt ein Werkstück kann das Einbinden der bestimmten Position des zu verfolgenden Objekts umfassen: Steuern und/oder Überwachen einer Bearbeitung des Werkstücks in mehreren unterschiedlichen Arbeitsschritten, die an unterschiedlichen Orten, insbesondere aber innerhalb der Fertigungshalle, durchgeführt werden; Steuern und/oder

Überwachen eines Transports des Werkstücks zwischen unterschiedlichen Arbeitsschritten, die an unterschiedlichen Orten, insbesondere aber innerhalb der Fertigungshalle, durchgeführt werden; Steuern und/oder Überwachen einer Bearbeitung des Werkstücks an Arbeitsplätzen, die mit der Fertigungssteuerung vernetzt oder in diese integriert sind; und/oder Steuern und/oder Überwachen einet Bearbeitung des Werkstücks an Arbeitsplätzen, die mit der Fertigungssteuerung nicht vernetzt oder in diese nicht integriert sind.

Bei einer durch eine Innenraum-Ortung unterstützten Fertigungssteuerung kann das Verfahren folgende Schritte umfassen: ein Bereitstellen eines Innenraum-Ortungssystems mit mehreren fest in der Fertigungshalle installierten Sende-Empfangseinheiten, mindestens einer Mobileinheit und einer Ortungsanalyseeinheit, wobei die Sende-Empfangseinheiten und die Mobileinheit zum Aussenden und Empfangen von elektromagnetischen Signalen ausgebildet ist und die Ortungsanalyseeinheit ausgebildet ist, aus Laufzeiten der elektromagnetischen Signale zwischen den Sende-Empfangseinheiten und der Mobileinheit die Positionen der Mobileinheit in der Fertigungshalle zu bestimmen; ein Zuordnen der Mobileinheit zu mindestens einem, insbesondere nachzuverfolgendem Objekt; ein Bestimmen der Position des mindestens einen zugeordneten Objekts durch Lokalisierung der zugeordneten Mobileinheit mit dem Innenraum-Ortungssystem; ein Einbinden der bestimmten Position in den Zuordnungsvorgang, bei dem für ein zu verfolgendes Objekt eine Pixelstruktur im Bild bestimmt wird, und/oder in die Fertigungssteuerung der Industriefertigungsanlage zur Fertigung des Endprodukts, insbesondere in die Bildaufnahmevorrichtung-basierte Nachverfolgung (hierin auch als Bild-basierte Nachverfolgung bezeichnet). Beispielsweise kann das Einbinden der Bildaufnahmevorrichtung-basierten Nachverfolgung in ein Fertigungssystem mit folgenden Einheiten erfolgen:

- einer Bildaufnahmevorrichtung-Einheit, die Bildsequenzen (Video-Streams) in zeitlich ausreichender Bildwiederholungsfrequenz und Pixel- Auflösung zur Verfügung stellt.

- einem Positionserkennungssystem mit einer Objekterkennungseinheit, die mit Hilfe von geeigneten Objekterkennungsverfahren das zu verfolgende Objekt zu einem bestimmten

Zeitpunkt und Ort in einer (ersten) Bildsequenz (Video-Stream) einer der Bildaufnahmevorrichtungen lokalisiert.

- einer Bildsequenz-Analyseeinheit, die mit Hilfe einer Bildsequenz- Analyse-Software das Objekt innerhalb der bereitgestellten Bildsequenzen ausschließlich anhand der typischen Pixeländerungen (Bewegung) verfolgt, ohne das zu verfolgende Objekt als solches eindeutig zu identifizieren.

- einer Bildsequenz- Wechseleinheit, die das zu verfolgende Objekt einem Bereich in einer Bildsequenz einer zweiten Bildaufnahmevorrichtung zuordnet. Die Bildsequenz- Wechseleinheit kann ferner dazu ausgebildet sein, mindestens einen Objekt-Merkmalsvektor aus einer ersten Bildsequenz abzuleiten und basierend auf dem Objekt-Merkmalsvektor das zu verfolgende Objekt einem Pixelbereich in einem Bild einer (zweiten) Bildsequenz zuzuordnen.

Mehrere Werkstücke, insbesondere solche, die im Endzustand die gleiche Form aufweisen und die gleichen Prozessschritte durchlaufen haben, und besonders solche, die auch zu einem gemeinsamen Auftrag gehören, werden als Werkstücksammeieinheiten oder Werkstückverbund bezeichnet. Diese werden üblicherweise an einer Werkstücksammelstelleneinheit abgelegt. Es ist vorteilhaft, jeder Werkstücksammeieinheit eine Werkstücksammelstelleneinheit und evtl. eine Mobileinheit zuzuordnen. Im Fertigungssteuerungssystem kann eine Liste aller Aufträge (inklusive Bearbeitungsplänen) abgelegt sein. Jeder der Aufträge kann einer Werkstücksammeieinheit zugeordnet werden. Wenn die Bildaufnahmevorrichtung-basierte Verfolgung von Objekten umgesetzt wird, dann ist jeder Auftrag mit den zum Auftrag gehörenden Werkstücken, Werkstücksammelstelleneinheiten oder Mobileinheiten in der Fertigungshalle jederzeit lokalisierbar. Dies kann ferner mit rückgemeldeten Informationen von Arbeitsplätzen und/oder Maschinen im Fertigungssteuerungssystem kombiniert werden.

Die Bildaufnahmevorrichtung-basierte Verfolgung von Objekten zeichnet sich dabei dadurch aus, dass die Positionsbestimmung der Objekte allein durch die Beobachtung mit den ver- schiedenen in der Fertigungshalle vorgesehenen Bildaufnahmevorrichtungen, also ohne manuelle Interaktion, erfolgen kann. Bisherige Systeme zur Ortung von Werkstücken oder Aufträgen in Fertigungsstätten haben den Nachteil, dass verloren gegangene Werkstücke oder Aufträge manuell gesucht werden müssen. Man hat erkannt, dass diese manuellen Suchvorgänge, insbesondere in Fertigungsstätten mit einer hohen Anzahl von kleinen und ständig wechselnden Aufträgen, also z. B. in Lohnfertigungsstätten, einen enorm hohen Anteil der nichtproduktiven Zeit ausmachen. Mit der erfindungsgemäßen Nachverfolgung und dem beschriebenen System können die Positionen der Werkstücke und damit der Aufträge z. B. auf einem Bildschirm aufgerufen, gefiltert oder gezielt lokalisiert werden. Die Notwendigkeit von zeitaufwändigen manuellen Suchvorgängen von Werkstücken, aber auch von Werkzeugen oder Personen, kann so insbesondere in der (metall- und/oder blechverarbeitenden) industriellen Fertigung drastisch verringert werden.

In einigen Ausführungsformen wird die Bearbeitung des oder der Werkstücke an Arbeitsplätzen gesteuert oder überwacht, die mit der Fertigungssteuerung vernetzt oder in diese integriert sind. Derartige Maschinenarbeitsplätze umfassen Maschinen, die Fertigungsanweisungen per Datenverbindung, insbesondere digital, übermittelt bekommen und durchführen. Dabei kann kein oder nur ein minimaler Eingriff durch den Bediener erfolgen. Solche Maschinen werden üblicherweise als automatisierte oder vollautomatisierte Maschinen bezeichnet. Derartige Maschinen können auch den Status der Fertigung an eine Fertigungssteuerung melden.

In einigen Ausführungsformen wird die Bearbeitung des oder der Werkstücke an Arbeitsplätzen, die mit der Fertigungssteuerung nur zu einem sehr geringen Grad oder gar nicht vernetzt oder in diese nicht integriert sind, gesteuert und/oder kontrolliert. Das können Arbeitsplätze sein, bei denen die Arbeitsschritte manuell von Menschenhand durchgeführt werden oder sol- che, die wohl Maschinen aufweisen, die aber nur zu einem sehr geringen Grad oder gar nicht vernetzt sind oder sich auch nur sehr aufwändig vernetzen lassen, z. B. sogenannte Handarbeitsplätze, wie sie in DE 10 2016 220 015.1,„Handarbeitsplatzeinheit, Arbeits-Datenverar- beitungsvorrichtung, Handarbeitsplatzbetreibungssystem, Handarbeitsplatzbetriebsverfahren und Handarbeitsplatzbereitstellungsverfahren" mit Anmeldetag 13. Oktober 2016 beschrieben sind. Auch diese genannte deutsche Patentanmeldung wird hierin vollumfänglich aufgenommen.

Arbeitsplätze, die nur zu einem sehr geringen Grad vernetzt sind, können beispielsweise Han- darbeitsplätze mit einfachen Maschinen sein, wie Arbeitsplätze zum Bohren, Sägen, Fräsen und Biegen. Ihre einzige Vernetzung kann in einem Überwachungssystem bestehen, wie es in der DE 10 2016 220 015.1 beschrieben ist. Eine weitere Vernetzungsmöglichkeit ist die Überwachung der Leistungsaufnahme solcher Maschinen und die Vernetzung der Informationen aus der Leistungsaufnahme. So kann, wenn eine Maschine gar keine Leistung verbraucht hat, z. B. gefolgert werden, dass die Maschine den Auftrag noch nicht abgearbeitet haben kann.

Insbesondere die Kombination aus Fertigungsprozessen mit Arbeitsplätzen, die mit der Fertigungssteuerung vernetzt oder in diese integriert sind und solchen, die es nicht oder nur zu ei- nem sehr geringen Grad sind, stellt heute noch einen wichtigen Hinderungsgrund für die effektive und effiziente Fertigungssteuerung dar, weil Aufträge nach wie vor auf Papier ausgedruckt werden, wenn sie von einem automatisierten Arbeitsplatz zu einem nicht automatisierten Arbeitsplatz kommen. Das verlangsamt die Fertigung. Das erschwert auch die Flexibilität, wenn beispielsweise ein besonders schnell zu bearbeitender Auftrag mit mehreren Prozess- schritten an mehreren Arbeitsplätzen innerhalb kurzer Zeit abgearbeitet werden soll. Ein Fertigungsbetrieb, der dies reibungslos sicherstellen kann, hat gegenüber seinen Wettbewerbern, die das nicht können, Vorteile. Mit der Bildaufnahmevorrichtung-basierten Nachverfolgung von Werkstücken und der Verknüpfung der mit der Nachverfolgung gewonnen Positionsinformation mit der Fertigungssteuerung können die hierin offenbarten Konzepte eine flexible und schnelle Fertigung von Endprodukten ermöglichen.

Basierend auf den hierin offenbarten Konzepten können intelligente Assistenzsysteme in Fertigungshallen eine 2D- oder 3D-Positionsbestimmung von Werkstücken (allgemein Material) und optional Personen, (z. B. Bearbeitern), Transportmedien, Maschinen, Werkzeugen und vielem mehr zur Unterstützung von Fertigungsprozessen nutzen. Dadurch wird es möglich, 2D- oder 3D-Positionen als Information, die zusätzlich zu weiteren Sensorinformationen vorliegen kann und gemäß den hierin offenbarten Konzepten bestimmt wurde, im Rahmen einer gesamtheitlichen Fertigungssteuerung und Digitalisierung von Fabriken zu verwenden.

Es wurde erkannt, dass der Einsatz derartiger Bildaufnahmevorrichtung-basierter Nachverfolgungssysteme gerade bei Berücksichtigung der zu erwartenden Prozessvorgänge in einer Fertigungshalle im speziellen Umfeld einer metall- und/oder blechverarbeitenden Industriefertigung möglich ist. Entsprechend können derartige Bildaufnahmevorrichtung-basierte Nachver- folgungssysteme in ein Fertigungssteuerungssystem (hierin auch als MES (Manufacturing Execution System - Maschinensteuerungssystem) bezeichnet) integriert werden.

Bezugnehmend auf die eingangs erwähnte Verbuchung von physischem Materialfluss und Bearbeitungsschritten kann beim Einsatz des Bildaufnahmevorrichtung-basierten Nachverfol- gungssystems eine Komplexität bei der aufwandsarmen, dynamischen Zuordnung von gewonnener Ortsinformation zu physischen Komponenten entstehen. Die hierin offenbarten Konzepte adressieren diese Komplexität und erlauben es beispielsweise, Produktionsaufträgen mit zugeordneter Kennung ohne aufwändige Interaktion eine Positionsinformation zuzuordnen.

Bildaufnahmevomchtung-basierte Nachverfolgungssysteme können die detaillierte Abbildung von Materialflüssen in der Fertigung innerhalb einer Fertigungshalle in die digitale Prozessverarbeitung erlauben. Die Nachverfolgungssysteme können dabei die Lokalisierung der an der Fertigung teilnehmenden Objekte/Personen im Produktionsumfeld vereinfachen. Werden Werkzeuge, Betriebsmittel oder Ladungsträger initial einmal in das Bildaufnahmevorrichtung- basierte Nachverfolgungssystem aufgenommen, können diese im digitalen Steuerungssystem eingebunden werden. Dies bezieht sich auch auf temporär an der Fertigung beteiligte Objekte wie beispielsweise Produktionsaufträge oder Servicepersonal. Temporär benötigte dynamische Nachverfolgungen können immer wieder neu entstehen und werden nur wenige Stunden, Tage oder Wochen in der Fertigungshalle benötigt.

Die hierin offenbarten Ausführungsformen der Integration einer derartigen Nachverfolgung in die Prozesse der Metallverarbeitung können u. a. folgende Verfahrensschritte, Verwendungen und Vorteile aufweisen: - Abbildung der wechselnden Zuordnung von Aufträgen.

- Abbildung einer Assistenz für eine Person, z. B. Bearbeiter, mit Hilfe des Nachverfolgungssystems und weiterer Sensorik, insbesondere bei der Lokalisierung von Werkstücken und Werkzeugen.

- Gewährleisten einer prozesssicheren und aufwandsarmen Fertigung durch automatisierte Abläufe mit geringen Freiheitsgraden für den Bearbeiter.

- Intuitiver Fertigungsablauf ohne aufwändige Informationsbeschaffung für den Bearbeiter.

Bei der Nachverfolgung von Werkstücken, Aufträgen, Personen (z. B. Bearbeitern) und/oder Werkzeug sind viele Anforderungen zu berücksichtigen. Es wurde erkannt, dass sich die industrielle Fertigung mehr und mehr auf Fertigung von Kleinserien mit vielen einzelnen Arbeitsschritten (Fertigungsprozesse wie z. B. Schneiden, Biegen, Schleifen, Oberflächenbehandlung) an unterschiedlichen Arbeitsplätzen wie Maschinenarbeitsplätze und manuelle Arbeitsplätze einrichtet. So sind oftmals mehrere hundert unterschiedliche Aufträge an einem Tag zu erledigen, die alle unterschiedliche Arbeitsschritte erfordern.

Sobald nur eine Störung auftritt, kann die Fertigungssteuerung sehr schnell sehr unübersichtlich werden. Zeitaufwändig werden halb oder noch gar nicht bearbeitete Aufträge in der Fertigungshalle durch einzelne Personen gesucht und deren Status ermittelt. Dieser wird dann an die Fertigungssteuerung übermittelt. Das kann zu einem erheblichen Zeitverlust bei der eigentlichen Fertigung führen.

Durch die immer schneller werdenden Verarbeitungsschritte bei der produktiven Bearbeitung und bei der Erhöhung der Anzahl unterschiedlicher Aufträge mit immer kleinerer Anzahl von Gleichteilen, können derartige Ausfälle immer häufiger auftreten. Die dadurch verursachten Zeitausfälle reduzieren die produktive Zeit. Sollen Aufträge, Werkstücke, Personen, z. B. Bearbeiter, und Werkzeuge schnell aufgefunden werden, ist die hierin offenbarte Ortung zumindest einzelner dieser Einheiten hilfreich, Fehlzeiten zu reduzieren. Insbesondere erfüllt sie die sehr hohen Anforderungen für eine Industriefertigung.

Bei der Industriefertigung ist eine Positionsabfrage in Echtzeit angestrebt. Sie soll örtlich so genau sein, dass Werkstücke sicher gefunden und/oder den Bearbeitungsschritten zugeordnet werden können. Die Nachverfolgung soll zudem flexibel sein, mehrere Aufträge sollten zu einem Auftrag zusammenfassbar sein, ein Auftrag sollte aufteilbar in mehrere Aufträge sein etc. Die Nachverfolgung sollte einfach zu bedienen sein und sie sollte ausfallsicher sein.

Allgemein können die hierin offenbarten Konzepte eine Erhöhung der Prozesssicherheit, eine Optimierung von Durchlaufzeiten und entsprechend eine Kostenoptimierung der Produktion ermöglichen. Im Speziellen können die hierin offenbarten Konzepte eine z. T. erhebliche Zeiteinsparung im Fertigungsprozess bewirken, wobei sich der Fertigungsprozess z. B. von der Herstellung einer erforderlichen Stückzahl von Teilen bis zur korrekten Weitergabe an einen Nachfolgeprozess (z. B. einen nachfolgenden Metallbearbeitungsschritt) erstreckt. Mehrere Aufträge können ferner quasi gleichzeitig prozesssicher umgesetzt werden. Die hierin offenbarten Konzepte erlauben ferner eine einfache Zuordnung von Werkstücken im Rahmen des Bildaufnahmevorrichtung-basierten Nachverfolgungssystems. So können offene Aufträge trotz der Komplexität von mehreren gleichzeitig zu bearbeitenden Aufträgen optimiert werden.

Ferner kann eine flexible Abarbeitung verschiedener Prozessabläufe mit der begleitenden Zeiteinsparung erfolgen, wenn Maschinen wie Laserschneidmaschinen und/oder Stanzmaschinen in den teilautomatisierten Herstellungsprozess eingebunden werden. Ferner kann die Fehlervermeidung und die automatische, korrekte Verbuchung von Werkstücken, Bearbei- tungsschritten etc. die Basis für eine datenbasierte Echtzeitsteuerung der Metallverarbeitung (z. B. der Stahl- und Blechfertigung) legen. Entsprechend werden auch Werkzeugmaschinen, die bei der Erstellung von kleinen Losgrößen von Werkstücken eingesetzt werden, in eine von einem MES im Rahmen der Industrie 4.0 gesteuerte Fertigung einbindbar. Im Vergleich zu einer Objektidentifizierung und Lokalisierung über Funktechnologien (z. B. Bluetooth LE) oder optische Verfahren (BarCodes, DotMatrixCodes) an definierten Stellen wie Passierstellen ("gates") in der Fertigungshalle kann das hierin vorgeschlagene Konzept der Nachverfolgung u. a. folgende Vorteile aufweisen:

- Zu verfolgenden Objekte müssen nicht modifiziert werden (keine Beschriftung oder Anbringung von Elektronik notwendig).

- Bei fehlender Modifikation eines Objekts muss nicht auf dessen Identifikation über einen Ladungsträger (Wagen, Palette, etc.), auf dem das Objekt abgelegt wird, zurückgegriffen werden. - Die zur Verfügung stehende Positionsinformation ist nicht nur zu bestimmten Zeitpunkten und an definierten Orten verfügbar.

- Es ist keine Energieversorgung wie bei aktiven und mobilen Funktechnologien notwendig.

Wie nachfolgend erläutert kann eine z. B. in der eingangs angegebenen DE 10 2017 120 358.8 offenbarte Innenraum-Ortung-basierte Steuerung mit dem Bildaufnahmevomchtung-basierte Verfolgungssystem kombiniert werden. Die Kombinierbarkeit umfasst dabei die Einbindung der Innenraum-Ortung in die Identifikation eines Objekts in einem Bild (Bestimmung einer Pixelstruktur) sowie die gemeinsame Verwendung für eine umfassende und sich ergänzende Bereitstellung von Positionsinformation von an der Fertigung beteiligten Objekten und Personen. Dabei kann eine Mobileinheit eines Innenraum-Ortungssystems selbst ein mittels der Bildsequenzen zu verfolgendes Objekt sein. Ferner können so zwei Verfahren / Systeme zur Lokalisierung eingesetzt werden, die sich abgleichen und voneinander lernen können.

Hierin werden Konzepte offenbart, die es erlauben, zumindest teilweise Aspekte aus dem Stand der Technik zu verbessern. Insbesondere ergeben sich weitere Merkmale und deren Zweckmäßigkeiten aus der folgenden Beschreibung von Ausführungsformen anhand der Figuren. Von den Figuren zeigen:

Fig. 1 eine beispielhafte schematische Darstellung eines Fertigungssteuerungssystems mit einem Bildaufnahmevorrichtung-basierten Nachverfolgungssystem,

Fig. 2 eine Darstellung eines beispielhaften Transportwagens für Werkstücke,

Fig. 3 einen beispielhaften digitalen Lageplan einer Fertigungshalle,

Fig. 4 einen weiteren beispielhaften digitalen Lageplan,

Fig. 5 eine beispielhafte Darstellung einer Werkzeugmaschine, die in ein Bildaufnahmevor- richtung-basiertes Nachverfolgungssystem eingebunden ist,

Fig. 6 ein Flussdiagramm zur Verdeutlichung einer mit einem Bildaufnahmevorrichtung- basierten Nachverfolgungssystem unterstützten Fertigung und

Fig. 7 ein Flussdiagramm zur Verdeutlichung von Verfahrensschritten zur industriellen Fertigung eines Endprodukts.

Hierin beschriebene Aspekte basieren zum Teil auf der Erkenntnis, dass mit der Genauigkeit und der Zuverlässigkeit Bildaufnahmevorrichtung-basierter Nachverfolgungssysteme, bei- spielsweise mit einer Genauigkeit in der Positionsbestimmung von kleiner 30 cm, insbesondere kleiner 10 cm, der Einsatz von Bildaufnahmevorrichtung-basierten Nachverfolgungssystem im Rahmen der industriellen Fertigung sinnvoll möglich wird. Das hierin offenbarte Konzept der Bild-basierten Nachverfolgung erlaubt eine durchgängige Objektverfolgung während eines mehrstufigen Fertigungsprozesses innerhalb einer Fertigungshalle und kann somit leicht in Intralogistik- Anwendungen eingesetzt werden. Dabei wird insbesondere vorgeschlagen, eine bildsequenzbasierte Objektverfolgung einzusetzen, die ohne optische Geometrie-Erkennung mit Hilfe von Smart Data- Anwendungen (Maschine - Learning, Künstliche Intelligenz, ...) eine Objektverfolgung ermöglicht.

Eine beispielhafte Umsetzung des Konzepts zur Objektverfolgung umfasst z. B. die folgenden Schritte:

- Die Fertigungshalle, zumindest der für die Objektverfolgung relevante Bereich, wird überlappend mit mehreren Bildaufnahmevorrichtungen überwacht. Die Bildaufnahmevorrichtungen stellen dem Fertigungssteuerungssystem Video-Streams (Bild-Sequenzen) in zeitlich ausreichend hoher Bildwiederholungsfrequenz und Pixel-Auflösung zur Verfügung.

- Ein Objekt wird im Rahmen der Fertigungssteuerung selektiert. Die Position des selektierten Objekts wird in der Fertigungshalle festgestellt und bleibt nachfolgend trotz Positions- änderungen in der Fertigungshalle, die sich aufgrund des Fertigungsprozesses ergeben, im Fertigungssteuerungssystem aktuell abrufbar.

- Mit Hilfe eines geeigneten Objekt-Erkennungsverfahrens wird das zu verfolgende Objekt zu einem bestimmten Zeitpunkt an einem Ort lokalisiert. Dies ist z. B. eine Entladestation einer Werkzeugmaschine, wie ein Absortiertisch. Die Lokalisierung erfolgt eindeutig über ein von überlagerten Systemen bereitgestelltes Software (SW)-System.

- Eine Bildsequenz -Analyse-SW verfolgt das Objekt innerhalb der bereitgestellten Bildsequenz ausschließlich anhand von typischen Pixeländerungen (Bewegung), ohne dass dabei das eigentliche Objekt als solches eindeutig zu identifizieren ist. D. h., es ist keine Objekterkennung notwendig, die über die Bildsequenzen läuft. Im Bereich der Bild- Analyse-SW und Bildsequenz- Analyse-SW wird auf bekannte Verfahren zur echtzeitfähigen Bildanalyse verwiesen.

Die beispielhafte Umsetzung kann ferner den Aspekt der Nachverfolgung mit mehreren Bildaufnahmevorrichtungen umfassen, d.h., verlässt das zu verfolgende Objekt den Beobach- tungsbereich einer ersten Bildaufnahmevorrichtung, erfolgt eine Übergabe der Nachverfolgung an eine zweite Bildaufnahmevorrichtung.

Wenn sich die Bilder der ersten Bildaufnahmevorrichtung und der zweiten Bildaufnahmevor- richtung (leicht) überlappen, kann das zu verfolgende Objekt beim Wechsel in den erfassten Bereich der zweiten Bildaufnahmevorrichtung eindeutig identifiziert werden und nachfolgend in der Bildsequenz der zweiten Bildaufnahmevorrichtung nachverfolgt werden.

Liegt keine räumliche Überlappung der Beobachtungsbereiche der ersten Bildaufnahmevor- richtung und der zweiten Bildaufnahmevorrichtung vor (nicht überlappende Bildsequenzen), können basierend auf der ersten Bildsequenz mit analytischen Verfahren der in der ersten Bildsequenz bekannten Orte Geschwindigkeits- und/oder Richtungsvektoren des zu verfolgenden Objektes bestimmt werden. Diese erlauben es, das zu verfolgende Objekt einem in der zweiten Bildsequenz auftauchenden Objekt zuzuordnen. Die Identifizierung kann in der Regel mit ausreichend hoher Wahrscheinlichkeit erfolgen, da die geeigneten Bildsequenz -Merkmale (Objekt-Merkmalsvektoren wie Richtungs- und/oder Geschwindigkeitsvektoren, Objektmerkmale wie Farben, Objektgrößen, ...) eine passende Zuordnung ermöglichen.

Die beispielhafte Umsetzung kann ferner den Aspekt umfassen, dass mit Hilfe von Maschine- Learning-Algorithmen die Wahrscheinlichkeit bei der Zuordnung von Objekten zu einer nachfolgenden Bildsequenz weiter verbessert wird.

Voll- oder teilautomatisierte Bearbeitungsplan-Zuordnungen verbinden beispielsweise einen Produktionsauftrag mit einer spezifischen Mobileinheit eines z. B. UWB-Ortungssystems. Sie können beispielsweise durch einen kombinierten Einsatz eines Assistenzsystems im Umfeld des Bedieners, des Bildaufnahmevorrichtung-basierten Nachverfolgungssystem und eines z. B. UWB-Ortungssystems durchgeführt werden.

Neben der vorzunehmenden Zuordnung z. B. eines Werkstücks zu einer ersten Bildsequenz kann ferner eine Zuordnung des Objekts (z. B. des zugeordneten Werkstücks) zu einem zugehörigen Produktionsauftrag (z. B. dem Produktionsauftrag des Werkstücks) vorgenommen werden. Derartige voll- oder teilautomatisierte Bearbeitungsplan-Zuordnungen verbinden beispielsweise einen Produktionsauftrag mit einem spezifischen nachverfolgten Objekt.

Ein System, das die obige beispielhafte Umsetzung des Konzepts erlaubt, umfasst z. B.:

- Eine Überwachung der Fertigungshalle mit mehreren Bildaufhahmevorrichtungen.

- Die Bereitstellung von Bildsequenzen mit eindeutigem Zeitbezug innerhalb einer Analyse-Umgebung in Echtzeit.

- Eine Ersterkennung (Bildsequenz-Frame-Objekt-Zuordnung) eines zu verfolgenden Objekts mit Hilfe von geeigneter Bilderkennung in einem Frame einer Bildsequenz zur Be- reitstellung von Objekt-Position, Objekt-Identität, mindestens einem Objekt-Merkmal, dem ein Objekt-Merkmalsvektor in einer Bildsequenz zugeordnet werden kann (Objekt- Merkmals vektor-Zuordnung) .

- Objektverfolgung mit geeigneten Streaming-Tools und Algorithmen innerhalb einer Bildsequenz.

- Beim Verlassen des Objektes eines der Bildsequenz zugeordneten Bereichs in der Fertigungshalle prüfen (mit Hilfe von geeigneten Bildauswertemittel und Bildauswerte- Verfahren/Programme, auch bekannt als Analytics-Tools und Routinen), ob ein dem Objekt- Merkmalsvektor entsprechendes Objekt in einem passenden Ort-/Zeitfenster einer weiteren Bildsequenz mit ausreichend hoher Wahrscheinlichkeit identifizierbar ist.

- Verbesserung der Objekterkennung mit Hilfe von Maschine-Learning- Verfahren, so dass die Objektgeometrie nicht mehr durch optische Verfahren erkannt werden muss.

- Berechnung eines genauen Ort-/Raum-Zeitpunkts des Objektes anhand von Referenzpunkten sowie Aufzeichnen und/oder Bereitstellen desselben über eine geeignete Schnittstelle. Ein Beispiel eines Assistenzsystems für die Ersterkennung ist z. B. ein optisches Assistenzsystem, bei dem mit optischen Sensoren vom Bediener ergriffene Werkstücke oder Werkzeuge erkannt und im Kontext der zur Verfügung stehenden Produktionsdaten aus den Produktionsaufträgen (bevorzugt) eindeutig für die Bearbeitungsplan-Zuordnung identifiziert werden. Ein beispielhaftes Assistenzsystem ist in der eingangs aufgeführten DE 10 2016 120 131.6 offen- bart. Derartige Assistenzsysteme können ferner für die Bearbeitungsplan-Zuordnung eingesetzt werden, wenn beispielsweise Bilddaten das Werkstück und den Bearbeitungsplan betreffen. Die Bearbeitungsplan-Zuordnung kann dann die weitere Verfolgung des Objekts während des nachfolgenden Fertigungsprozesses unterstützen. Dabei stellt die enge Verzahnung des Prozessablaufs die Prozesssicherheit im manuellen Umfeld sicher. Bei der digitalen Bearbeitungsplan-Zuordnung können die Objekte mit Produktionsaufträgen verknüpft werden. Die Produktionsaufträge betreffen Bearbeitungsprozesse an verschiedenen Fertigungsstationen, beispielsweise an einer Laserschneidmaschine oder an einer Stanzmaschine sowie z. B. an einem Kommissionierplatz. Die digitale Zuordnung kann beispielsweise dadurch erfolgen, dass ein Objekt in einer geometrisch definierten Zone abgelegt wird. Dabei können Informationen zu diesem Auftrag hinsichtlich der Nachverfolgung geladen werden oder je nach Bedarf auf diese immer aktuell geladen werden.

Die digital zugeordneten Objekte können z. B. Werkstücksammelstellen wie Wagen oder Paletten, allgemein Ladungsträger, sein, auf denen während der Fertigung die Werkstücke even- tuell Bildaufnahmevorrichtung-assistiert abgelegt werden. Ebenso können Werkzeuge als Objekt digital zugeordnet werden.

Alternativ oder zusätzlich zum Bildaufnahmevorrichtung-basierten Assistenzsystem kann die dynamische Bearbeitungsplan-Zuordnung erfolgen, indem z. B. Auftragspapiere und/oder ein Code (z. B. Barcode, QR-Code etc.) gescannt werden. Alternativ oder zusätzlich zur Verarbeitung der Information auf Auftragspapieren kann die Sollgeometrie des Werkstücks herangezogen werden. Nach einem Abgleich der beispielsweise mit dem Bildaufnahmevorrichtung- basierten Assistenzsystem erfassten Geometrie des Werkstücks mit der Sollgeometrie können Informationen aus dem zentralen Produktionsdatensystem nachgeladen und bei der Nachver- folgung eingesetzt werden.

Falls die Bildverarbeitung der Erstzuordnung keine eindeutige Identifikation zulässt, kann dem Bediener eine Teilmenge der aktiven Produktionsaufträge aufgelistet werden, welche für die erfasste Geometrie in Frage kommen. Der Bediener trifft dann die finale Auswahl und stellt die digitale Zuordnung her. So lässt sich die Prozesssicherheit verbessern. Insbesondere ähnlich wirkende Werkstücke/Werkzeuge können als Objekt nachverfolgt werden, ohne dass sie durch den Bearbeiter beispielsweise verwechselt, entsprechend falsch zugeordnet und fehlerhaft bearbeitet werden. Nachfolgend werden in Verbindung mit den Figuren Bild-basierte Nachverfolgungskonzepte beispielhaft erläutert.

Fig. 1 zeit schematisch ein Fertigungssteuerungssystem 1, das ein MES (Manufacturing Execution System) 3 und ein Bildaufhahmevorrichtung-basiertes Nachverfolgungssystem 5 (hierin auch kurz Nachverfolgungssystem) umfasst.

Das MES 3 ist mit einer oder mehreren in einer Fertigungshalle positionierten Werkzeugmaschinen 7 über kabellose oder kabelgebundene Kommunikationsverbindungen 9 verbunden. Allgemein dient das MES 3 der Steuerung von Prozessabläufen/Fertigungsschritten bei der industriellen Fertigung von Werkstücken mit den Werkzeugmaschinen 7. Es dient damit insbesondere der Steuerung der Werkzeugmaschinen 7. Dazu empfängt das MES 3 Informationen über die Prozessabläufe/Fertigungsschritte sowie Statusinformation der Werkzeugmaschinen 7. Das MES 3 stellt ein Datenverarbeitungssystem oder allgemein ein Datenverarbeitungsver- fahren dar, das in einer Datenverarbeitungsvorrichtung implementiert sein kann. Bei dieser kann es sich um eine einzelne elektronische Datenverarbeitungsvorrichtung (Server) oder um einen Verbund von mehreren Datenverarbeitungsvorrichtungen (Serververbund/Cloud) handeln. Die Datenverarbeitungsvorrichtung oder der Verbund kann örtlich in der Fertigungsstätte vorgesehen werden oder außerhalb dezentral aufgebaut werden.

Eine Plattform, auf der die Datenverarbeitungsvorrichtungen zur Verfügung stehen können - z. B., auf der das MES 3 implementiert werden kann, kann eine sogenannte Cloud sein. Die Cloud umfasst z. B. einen externen Server mit Rechen- und Speicherkapazität, den mehrere Produkthersteller gleichzeitig nutzen können. Dabei kann durch Zugangsauthentifizierungen, Passwörter etc. sicher gestellt werden, dass kein Hersteller auf die Daten eines anderen Herstellers oder des Betreibers der Fertigungsanlage zugreifen kann. Es kann sichergestellt werden, dass kein außenstehender Dritter auf die gespeicherten Daten zugreifen kann. Ein Schutz vor ungewolltem Zugriff kann dadurch gewährleistet werden, dass diejenigen Daten, die in der Cloud gespeichert sind, auch dort verarbeitet werden, und der Hersteller oder Betreiber der Fertigungsanlage, der die Daten nutzen möchte, seinerseits die Daten nur in der Cloud verarbeitet. Derartige Cloud-Nutzungen können zu einer bedeutenden Vereinfachung von Systemkonfigurationen und einer begleitenden Kostenersparnis führen. Die Datenverarbeitungsvorrichtung kann eine Benutzer-Oberfläche (GUI = Graphical User Interface) mit verschiedenen Anwendungsprogrammen (APPs) aufweisen. Mit der Bereitstellung verschiedener APPs, die ein bestimmtes Anwendungsprogramm ausfuhren können, kann die Fertigungssoftware, die ein Unternehmen benötigt, segmentiert aufgebaut werden, sodass sie je nach Bedarf - wie bei Nutzung einer spezifischen APP - nur dann abgerufen werden muss, wenn sie benutzt werden soll. Dies ermöglicht, dass eine Nutzung an den Provider, der die Fertigungssoftware bereitstellt, je nach Bedarf vergütet werden kann.

Das Nachverfolgungssystem 5 kann eine Analyseeinheit 11 und mehrere Bildaufhahmevor- richtungen 13 aufweisen, die zum Beobachten von Objekten 15 vorgesehen sind. Die Bildaufnahmevorrichtungen 13 können insbesondere Kameras sein. Das Nachverfolgungssystem 5 kann ferner mit dem MES 3 zusammenwirken. Beispielsweise kann das Nachverfolgungssystem 5 als ein Teil des MES 3 ausgebildet sein. Das Objekt 15 kann ein Werkstück, ein Transportmittel für Werkstücke, ein Werkzeug oder eine Person sein. Das Objekt 15 kann sich während der Fertigung in einem oder mehreren Beobachtungsbereichen 17 der Bildaufnahmevorrichtungen 13 befinden und wird somit in aufgenommenen, im MES 3 (oder der Analyseeinheit 11) abgelegten Bildern 39 der Bildaufnahmevorrichtungen 13 abgebildet, wobei die Bilder 39 (auch als Frames bezeichnet) einer Bildaufnahmevorrichtung 13 eine Bildsequenz 41 (auch als Video-Stream bezeichnet) bilden.

Die Position des Objekts 15 kann im Beobachtungsbereich 17 einer Bildaufnahmevorrichtung 13 beispielsweise über Referenzpunkte 19, die ebenfalls abgebildet werden und in Fig. 1 schematisch angedeutet sind, bestimmt werden.

Allgemein kann die Datenkommunikation einer Bildaufnahmevorrichtung 13 mit dem Ferti- gungssteuerungssystem 1, insbesondere mit dem MES 3, bidirektional möglich sein. Z. B. kann eine Bildaufnahmevorrichtung 13 vom MES 3 entsprechend ausgerichtet werden oder in den Betriebsparametern wie Frame-Rate, Belichtung etc. eingestellt werden.

In einigen Ausführungsformen können WLAN-Sendestationen in eine Bildaufnahmevorrichtung 13 für einen Datenzugang in das Fertigungssteuerungssystem 1 integriert werden, sodass über diese Bildaufnahmevorrichtung 13 digitale Daten in der Fertigungshalle mobil z. B. über Smartphones oder Tablets zugänglich sind. Die Integration der WLAN- Sendestationen in die Bildaufnahmevorrichtung 13 kann die Installation und das Betreiben eines Datenkommunikationssystems in der Fertigungshalle vereinfachen.

Die Analyseeinheit 11 kann beispielsweise als eine zentrale Master-Positionsbestimmungs- einheit (hierin auch als "Server" bezeichnet) dienen. Sie definiert den Nachverfolgungsprozess und den Datenaustausch mit dem MES 3.

Eine Gruppe von Bildaufnahmevorrichtungen 13 kann einer Master-Positionsbestimmungseinheit zugeordnet werden und die Bildsequenzen können an diese übermittelt werden. Zur Erfassung von Positionen in großen Fertigungshallen oder über mehrere Gebäude oder Räume hinweg können mehrere Gruppen von Bildaufnahmevorrichtungen 13 vorgesehen werden, die jeweils einer eigenen Master-Positionsbestimmungseinheit zugeordnet sind. Diese Master- Positionsbestimmungseinheiten können wiederum untereinander kommunizieren. Je nach Position des zu verfolgenden Objekts 15 kann die Nachverfolgung von unterschiedlichen Mas- ter-Positionsbestimmungseinheiten (Server) erfolgen.

Fig. 1 zeigt ferner beispielhaft Bearbeitungspläne 37. Ein Bearbeitungsplan 37 kann einen Geometriedatensatz 37A und/oder einen das Werkstück identifizierenden Codierungsdatensatz 37B umfassen. Ferner kann der Bearbeitungsplan 37 einen oder mehrere Bearbeitungs- und Werkstückparameter 37C des entsprechenden Werkstücks 23 umfassen.

Fig. 2 zeigt einen Transportwagen 21 mit einem Werkstück 23 sowie einer Mobileinheit 20. Der Transportwagen 21 umfasst einen Ablagebereich 24 für dieses oder mehrere Werkstücke 23, die im Rahmen eines Bearbeitungsplans 37 von einer Werkzeugmaschine 7 erzeugt wur- den.

Die Mobileinheit 20 ist beispielhaft auf dem Transportwagen 21 abgelegt, kann aber auch in diese strukturell integriert sein. Zur Interaktion eines Bedieners mit der Mobileinheit 20 kann sie eine elektronisch ansteuerbare Anzeige 20A, beispielsweise ein E-Ink-Display (auch als elektronische Papier-Anzeige bezeichnet), und/oder eine oder mehrere Signalabgabevorrichtungen 20B (LEDs) zur Ausgabe von Informationen aufweisen. Die Anzeige 20A zeigt beispielsweise eine für diese Werkstücke 23 spezifische Information an. Dies kann z.B. sein: Art des aktuellen und des nächsten Bearbeitungsschritts, beispielsweise„Entgraten", oder„Biegen"; Name und /oder Identifizierung des Auftrags; Datum, beispielsweise das Datum der Fertigstellung oder des Beginns des Auftrags; Anzahl der zu fertigenden Teile; Name oder Identifizierung des Kunden oder Auftraggebers.

Auf der Anzeige 20A können z. B. Informationen zum Auftrag, lesbar für Mensch und/oder Maschine, codiert und/oder in Schriftform und/oder als Figur dargestellt werden. Die Anzeige 20A kann auch als Signalabgabevorrichtung für eine Rückmeldung an den Benutzer genutzt werden. Weitere Beispiele einer Signalabgabevorrichtung sind eine Vorrichtung zur Ausgabe von Schall, insbesondere im hörbaren Bereich, insbesondere zur Ausgabe von Sprachinformationen und eine Lampe wie eine LED, die in den Bildern (39) einer Bildaufnahmevorrichtung 13 als signifikante Objektmerkmale aufgenommen werden können. Die LED kann durch unterschiedliche Farben, Blinkfrequenzen und/oder Blinkmuster codierte Informationen visuell über die Bildaufnahmevorrichtung 13 an das MES 3 mitteilen.

Eine insbesondere blinkende LED kann ferner zur Positionsidentifikation eingesetzt werden, da sie auch auf große Entfernungen leichter zu erkennen ist als z. B eine spezifischer Text auf der Anzeige 20A. Deswegen hat eine Signalvorrichtung wie eine LED besondere Vorteile, wenn z. B. eine Mobileinheit 20 in einer Bildsequenz verfolgt werden soll oder die Mobileinheit 20 während des Fertigungsprozesses gesucht wird. Die LED kann von einem Bediener ferngesteuert adressiert werden und sich dann mit einem Signal bemerkbar machen. Eine sol- che ferngesteuerte Adressierung kann beispielsweise durch eine weitere Mobileinheit oder über eine sonstige insbesondere tragbare Vorrichtung, z. B. Smartphone, Tablet, oder über die Analyseeinheit 11 erfolgen. Sie kann aber auch direkt, z. B. über Nahfeldsender (z. B. Bluetooth, NFC, IR), erfolgen. Allgemein kann die Mobileinheit 20 eine modulierbare Signalquelle zum Erzeugen von modulierten Licht-, Schall- oder Vibrationssignalen als Signalabgabevorrichtung aufweisen. Sie kann dann - ähnlich dem in der deutschen Gebrauchsmusterschrift DE 20 2016 106 352 Ul beschriebenen Kommunikationsgerät - als Daten sendendes Kommunikationsgerät zur drahtlosen Übertragung von Daten eingesetzt werden. Dabei kann das Kommunikationsgerät min- destens einen Sensor zum Empfangen von Licht-, Schall- oder Vibrationssignalen aufweisen und die Signalverarbeitungseinheit kann derart programmiert sein, dass sie aus empfangenen, modulierten Signalen die darin enthaltenen Daten zurückgewinnt. Des Weiteren kann in die Mobileinheit 20 mindestens eine Signaleingabevorrichtung (beispielsweise eine Taste) zur Eingabe von Parametern integriert werden. Die Mobileinheit 20 kann ferner als Signaleingabevorrichtung einen einfachen Sensor zum Empfangen von Licht-, Schall- oder Vibrationssignalen insbesondere einen Helligkeitssensor aufweisen. Sie kann dann, wie beispielsweise in der zuvor erwähnten DE 20 2016 106 352 Ul beschrieben, als Daten empfangendes Kommunikationsgerät zur drahtlosen Übertragung von Daten, insbesondere von Zugangsdaten, von einer Werkzeugmaschine eingesetzt werden.

Die Mobileinheit 20 kann ferner eine eigene Bildaufnahmevorrichtung aufweisen, die dazu ausgelegt ist, Bilder von Werkstücken und/oder von Codes (z. B. Barcodes oder QR-Codes) auf den Werkstücken oder auf anderen Dokumenten, Werkzeugen oder Produkten aufnehmen / scannen zu können. Auf diese Weise kann eine Zuordnung von Objekten (z. B. aufgenommenen Werkstücken) zu Aufträgen erfolgen. Zusätzlich kann die Mobileinheit eine Funktionalität zur Ermittlung, Verarbeitung und Übermittlung der Bildaufnahmevorrichtungs-Daten aufwei- sen.

Im Rahmen einer industriellen Fertigung von Werkstücken in der Metall- und/oder Blechverarbeitung werden die Mobileinheiten 20 üblicherweise Werkstücken zugeordnet. Optional können die Mobileinheiten 20 von Personen in der Fertigung getragen oder an Hilfsmittel wie Transportwagen, Maschinen und Werkzeugen angebracht werden, wodurch auch hier eine Zuordnung der Mobileinheit 20 zu einer Person, z. B. einem Arbeiter, oder einem Hilfsmittel vorgenommen werden kann, um die Nachverfolgung zu unterstützen.

Fig. 3 zeigt einen schematischen digitalen Lageplan 25 einer beispielhaften Fertigungshalle, die mit mehreren Werkzeugmaschinen 7 unterschiedlichen Typs ausgerüstet ist. Beispiele für Werkzeugmaschinen 7 in der Stahl-, Alu-, Kupferverarbeitung, allgemein in der Metallverarbeitung sind Schneid-, insbesondere Laserschneidmaschinen, Stanz-, Schleif-, Biegemaschinen etc. Gezeigt ist im Lageplan 25 auch ein zu einem sehr geringen Grad vernetzter Arbeitsplatz 26, wie beispielsweise ein Handarbeitsplatz mit einfachen Maschinen, z. B. zum Bohren, Sägen, Fräsen, Biegen, die keine Vernetzung oder nur eine Vernetzung über ein Überwachungssystem, wie es z. B. in DE 10 2016 220 015.1 beschrieben ist, aufweisen. Ferner erkennt man im Lageplan Zonen 27, 27' und Schranken 29. Die Zonen 27, 27' und Schranken 29 wurden von einem Bediener hinsichtlich der Benutzung der Werkzeugmaschinen 7 und zugehöriger Arbeitsabläufe definiert. Die Schranken 29 erstrecken sich räumlich (beispiels- weise linear) in der Fertigungshalle und definieren Grenzen, deren Übertreten durch eine Mobileinheit spezifische Aktionen auslösen kann. Den Zonen 27, 27' und Schranken 29 können allgemein Werkstück-spezifische bzw. Gegenstand/Bediener-spezifische Eigenschaften zugeordnet werden.

Eine wie in Fig. 3 dargestellte Ansicht kann z. B. auf einem Bildschirm (Monitor) einer Datenverarbeitungsvorrichtung (z. B. PC) schematisch dargestellt sein. Beim Aktivieren einzelner Zonen, Schranken oder nachverfolgter Objekte auf dem Monitor (z. B. mittels eines Cursors oder bei Touchpads mittels einer Berührung) können Statusinformationen angezeigt wer- den. Nach bestimmten Objekten kann gefiltert werden, z. B. alle Mobileinheiten/Werkstücke mit Zuordnung zu Aufträgen eines bestimmten Kunden.

So können Aktionen unter Nutzung der räumlichen Positionsbestimmung im Fertigungssteue- rungssystem ausgelöst werden, wenn ein zu verfolgendes Objekt sich innerhalb einer spezifi- sehen Zone befindet oder eine spezifische Schranke überschreitet, wobei diese Aktionen in Abhängigkeit des zugehörigen Objekts, z. B. Werkstücks, und dessen Fertigungsrelevanz, Bearbeitung/Bearbeitungszustand, variieren können. Die Zonen 27, 27' und die Schranken 29 können ferner in der Fertigungshalle vor Ort farblich zur besseren Kenntlichmachung in den Bildsequenzen markiert werden.

Ferner erkennt man im Lageplan 25 schematisch Werkstücksammelstellen, beispielsweise Transportwagen 21 oder Teilbereiche von diesem, die sich beispielsweise nahe einer Werkzeugmaschine 7 oder in einer der Zonen 27 befinden. Ferner kennt man schematisch Bediener 31 , die die Werkzeugmaschinen 7 bedienen.

Im digitalen Lageplan 25 sind somit nicht nur stationäre Elemente (Werkzeugmaschinen), sondern auch bewegliche Elemente (Werkstücke, Transportwagen, Bediener) angezeigt. Die Integration von beweglichen Elementen in den Lageplan wird durch die Bildaufnahmevorrich- tung-basierte Positionsbestimmung möglich, indem zum Beispiel die Transportwägen 21, Werkstücke 23 und Bediener 31 als nachzuverfolgende Objekte vom Nachverfolgungssystem in ihrer Bewegung festgehalten werden.

Ferner erkennt man im digitalen Lageplan 25 beispielhafte Positionen mehrerer Bildaufhah- mevorrichtungen 13. Die Bildaufnahmevorrichtungen 13 liefern maschinenlesbare Bildinfor- mationen. Die Positionen der Bildaufnahmevorrichtungen 13 sind derart gewählt, dass eine 2D-Positionsbestimmtung oder eine 3D-Positionsbestimmtung in den zugeordneten Beobachtungsbereichen 17 in der Fertigungshalle vorgenommen werden kann. Beispielhaft werden Bildsequenz- Aufnahmen für zwei bewegliche Objekte 15 (beispielhafte Transportwägen 21) über Doppelpfeile 33 in Fig. 3 verdeutlicht.

Die primäre Anwendung des Bildaufnahmevorrichtung-basierten Nachverfolgungssystems 5 liegt in der Lokalisierung von Werkstücken 23, allgemein Material, sowie von bei der Fertigung eingesetzten mobilen Einheiten wie Transportwägen 21, Stapler, Werkzeuge und sonsti- ge mobile Vorrichtungen als auch von Personen. Dass diese Objekte unter Nutzung der gewonnenen Positionsinformation einfacher während der Fertigung lokalisiert werden können, reduziert bzw. vermeidet Suchzeiten. Die gewonnene räumliche Information über die Objekte erlaubt zusätzlich eine Analyse von Prozessabläufen und von einer (Aus-) Nutzung von z. B. Werkzeugen.

Fig. 4 zeigt eine Aufsicht eines weiteren digitalen Lageplans 25' einer weiteren beispielhaften Fertigungshalle. Man erkennt mehrere Positionen von Bildaufnahmevorrichtungen 13 mit schematisch angedeuteten Beobachtungsbereichen 17. Ferner erkennt man wiederum mehrere Zonen 27 und Schranken 29.

Mit dem Nachverfolgungssystem können die Positionen von Objekten 15 im Lageplan 25' angezeigt werden und ihre Lage bezüglich der Zonen 27 und der Schranken 29 zu Steuerungszwecken bei der Fertigungssteuerung, insbesondere bei der Bearbeitung von Werkstücken genutzt werden. Dazu ist es wiederum notwendig, dass ein Objekt 15, z. B. ein Werkstück (oder eine Gruppe von Werkstücken), ein Bediener, ein Transportmittel, ein Werkzeug etc. in den Beobachtungsbereichen in seiner Position, insbesondere seine Positionsänderung, bestimmt wird.

Bildaufnahmevorrichtungen 13 sind beispielsweise ortsfest in der Fertigungshalle installiert oder sie können sich entlang Bewegungstrajektorien bewegen, um z. B. eine Zone mit einer Schwenkbewegung (siehe Beobachtungsbereich 17") zu erfassen oder eine Verfahrbewegung entlang einer Zone durchzuführen. Ferner können Bildaufnahmevorrichtungen an Drohnen vorgesehen werden, um flexibel in der Fertigungshalle eingesetzt zu werden. In einem Steuerungsbereich 30 ist die Lage einer Fertigungssteuerungseinrichtung des Ferti- gungssteuerungssystems 1 angedeutet. Hier kann sich die Analyseeinheit 11 befinden. Hier kann sich auch eine Datenverarbeitungsvorrichtung 30A (z. B. ein PC) mit einem Bildschirm (Monitor) befinden, auf dem z. B. der in Fig. 3 oder Fig. 4 dargestellte digitale Lageplan 25 oder 25 ' angezeigt wird.

Insbesondere die Zuordnung eines Objekts zu einem Pixelbereich in einem Bild einer aufgenommenen Bildsequenz kann durch verschiedene Interaktionen mit dem Fertigungssteue- rungssystem 1 (nachfolgend auch kurz der Fertigungssteuerung) erfolgen. Beispielsweise kann in einem Bediener-Interface der Fertigungssteuerung, das zum Beispiel auf einem

Smartphone oder Tablet bereitgestellt wird, das jeweilige Werkstück/der jeweilige Gegenstand ausgewählt und einem Pixel (Pixelbereich) eines angezeigten Bildes einer Bildaufnahmevorrichtung durch Eingabe beispielsweise einer zugehörigen Referenznummer zugeordnet werden.

Anstelle einer manuellen Eingabe kann beispielsweise alternativ automatisiert oder teilautomatisiert eine Aktivierung der Anzeige 20A oder LED 20B der Mobileinheit 20 die Zuordnung unterstützen. Ferner kann beispielsweise mittels Bildverarbeitung eines Bildes des Objekts, das beispielsweise mit einer Kennzeichnung wie einem Barcode versehen ist (siehe Anzeige 20A in Fig. 2), die Zuordnung vorgenommen werden. Des Weiteren kann eine grafische Zuordnung über einen am Bediener-Interface dargestellten Dialog vorgenommen werden. Des Weiteren kann die Zuordnung unter Einbezug von Ortsinformation eines UWB-Ortungssystems erfolgen.

In einem Nutzungsszenario soll eine Person, z. B. ein Bearbeiter, gemäß einem Auftrag Werkstücke 23 biegen. Hierzu greift er auf Daten aus dem Fertigungssteuerungssystem (MES; Produktionsleitsystem) zu und öffnet beispielsweise den digitalen Lageplan 25, 25' der Fertigungshalle. Unterlagen die Werkstücke der Nachverfolgung, wird dem Bediener der Ort der zu biegenden Werkstücke 23 im Lageplan 25, 25' angezeigt,. Beispielsweise wurde eine Mobileinheit 20 und Werkstücke 23 auf einem Transportwagen 21 abgelegt wie in Fig. 2 gezeigt und über die Bildaufnahmevorrichtungen 15 gemäß dem zuvor beschriebenen Vorgehen in den verschiedenen Bildsequenzen verfolgt. Entsprechend kann im Lageplan das Symbol Transportwagen z. B. zusammen mit einer schematischen Form des Werkstücks angezeigt werden. Zur Verdeutlichung des ersten Zuordnens zeigt Fig. 5 einen Absortiervorgang, bei dem ein Bediener 31 der Schnittgut einer Laserschneidmaschine 7 auf den Transportwagen 21 sortiert/ablegt. Eine Mobileinheit 20 wurde gemäß einem spezifischen Auftrag aktiviert (Bearbei- tungsplan-Zuordnung) und den Werkstücken 23 räumlich zugeordnet. Nach dem erfolgten Absortiervorgang hat der Bediener 31 beispielsweise eine Taste der Mobileinheit 20 aktiviert, sodass das Fertigungssteuerungssystem vom Abschluss des Absortiervorgangs informiert wird. In einem Bild der Bildaufnahmevorrichtung 13 wird nun ein Objekt-Merkmal für ein zu verfolgendes Objekt festgelegt, z. B. eine spezifische Form des Werkstücks 23 oder eine spe- zifische Farbe einer LED an der Mobileinheit 20.

Damit weiß die Analyseeinheit 11 , an welcher Lage im Bild das Objekt (Transportwagen/Werkstück) zu finden ist. Bewegt sich das Objekt über mehrere Beobachtungszonen hinweg, kann eine Übergabe beispielsweise gemäß den hierin offenbarten Konzepten durchge- führt werden.

Ist der Absortiervorgang abgeschlossen und werden die Werkstücke zum nächsten Bearbei- tungsprozess geschoben, kann dies mithilfe eines Passierens einer Schranke 29' erkannt und an das Fertigungssteuerungssystem weitergeleitet werden.

Das erste Zuordnen kann von einem Assistenzsystem 38, das bei einer Werkezugmaschine 7 oder allgemein an einem Arbeitsplatz vorgesehen ist, unterstützt werden.

Fig. 5 zeigt hierzu eine Werkzeugmaschine 7 mit einem optischen Assistenzsystem 38, das auf einer Bilddatenerfassung mit einer Bildaufnahmevorrichtung 13 basiert und die Zuordnung eines Werkstücks als zu verfolgendes Objekt unterstützt.

Bei der assistierten räumlichen Zuordnung erkennt die Bildaufnahmevorrichtung 13 ein absortiertes Werkstück 23 und erzeugt hierzu einen Mess-Assistenz- Werkstückdatensatz 38A (siehe auch Fig. 1). Der Mess-Assistenz- Werkstückdatensatz 38A wird mit Geometriedatensätzen 37 A der Bearbeitungspläne 37 im Fertigungssteuerungssystem 1 abgeglichen, um den Bearbeitungsplan 37 zu identifizieren, der zum erfassten Werkstück gehört. Die Einbindung der hierin beschriebenen mit einem Bildaufnahmevorrichtung-basierten Verfolgungssystem unterstützten Fertigung wird zusammenfassend in Verbindung mit Fig. 6 erläutert. Hierbei wird ergänzend auf die Figuren 1 bis 5 verwiesen. Fig. 6 zeigt beispielhaft Verfahrensschritte eines Verfahrens zur Fertigungssteuerung von Prozessabläufen bei der industriellen Bearbeitung von Werkstücken 23, wobei das Verfahren durch ein Bildaufnahmevorrichtung-basiertes Verfolgungssystem unterstützt wird. Für das Verfahren werden Bildaufnahmevorrichtungen für ein Bildaufnahmevorrichtung-basiertes Verfolgungssystem bereitgestellt (Schritt 51). Jede Bildaufnahmevorrichtung ist einem Beo- bachtungsbereich zugeordnet und liefert bevorzugt kontinuierlich Bildsequenzen an eine gemeinsame Analyseeinheit. Beispielhaft werden eine erste Bildaufnahmevorrichtung mit einer ersten Bildsequenz (Schritt 51A) und eine zweite Bildaufnahmevorrichtung mit einer zweiten Bildsequenz (Schritt 51 B) in Fig. 6 angedeutet. Zur Verdeutlichung eines modularen Aufbaus können weitere Bildsequenzen erzeugt werden, die einer gleichen oder einer anderen Analyseeinheit zugeordnet sind (Schritt 5 mit Schritten 51A, 51B').

Basierend auf einem Bild einer der Bildsequenzen wird ein Zuordnungsvorgang vorgenom- men, bei dem für ein zu verfolgendes Objekt eine Pixelstruktur im Bild bestimmt wird (Schritt 53). Hierzu wird das zu verfolgende Objekt z. B. im ersten Bild anhand mindestens eines Objekt-Merkmals, das als Pixelstruktur in den Pixeln des ersten Bildes vorliegt, identifiziert. Beispielsweise erfolgt ein Identifizieren des zu verfolgenden Objekts in einem ersten Bild der ersten Bildsequenz, deren Beobachtungsbereich einem Absortiervorgang zugeordnet ist.

Die Wahl des Objekt-Merkmals, das als Pixelstruktur der Verfolgung der Bewegung des Objekts in der Fertigungshalle eingesetzt werden soll, kann z. B. die Farbe und/oder geometrische Formen, die z. B. in einem Bearbeitungsplan eines Werkstücks hinterlegt sind, berücksichtigen. Das Objekt-Merkmal kann ferner ein Lichtsignal einer LED oder eine Ausdehnung eines homogenen Pixelwert-Bereichs im Bild sein. Das Identifizieren des zu verfolgenden Objekts im ersten Bild kann mit einem Software-System erfolgen, das Information über die Lage des Objekts im ersten Bild bereitstellt, insbesondere mittels eines dem Beobachtungsbereich überlagerten Objekt-Informationsbereichs. Für das zu verfolgende Objekt wird ferner der dazugehörende Bearbeitungsplan bestimmt (Schritt 55).

Die Verfolgung (Schritt 57) der Pixelstruktur in Bildern 39 der Bildsequenzen 41 kann nun mittels einfachen Algorithmen und ohne aufwändige Objekterkennung durchgeführt werden. Dabei werden vorerst die Lagen des Objekt-Merkmals in Bildern 39 der ersten Bildsequenz 41, die dem ersten Bild zeitlich nachfolgend aufgenommen wurden, bestimmt (Schritt 57A).

Ein nachzuverfolgendes Objekt kann den Beobachtungsbereich der ersten Bildaufnahmevor- richtung verlassen. In diesem Fall werden in einem Schritt 57B die Lagen des Objekt- Merkmals in Bildern der zweiten Bildsequenz bestimmt. Das Lokalisieren des Objekt- Merkmals umfasst dabei z. B. ein Bestimmen eines Objekt-Merkmalsvektors, der die Bewegung des Objekt-Merkmals zwischen Bildern der ersten der Bildsequenzen beschreibt. Der Objekt-Merkmalsvektor kann ein Richtungs- oder Geschwindigkeitsvektor der Pixelstruktur sein. Diese können sich auf die Bewegung im Bild oder auf die Bewegung im Raum, d. h., der Fertigungshalle, beziehen. Der Objekt-Merkmalsvektor kann in ein Bild der zweiten der Bildsequenzen projiziert werden, um dort die Nachverfolgung der Pixelstruktur, die eventuell für die zweite Bildsequenz aufgrund von Beobachtungsrichtung etc. anzupassen ist, fortzusetzen. Allgemein wird, wenn ein Objekt-Merkmal einen der Bildsequenz 39 zugeordneten Beobachtungsbereich in der Fertigungshalle verlässt, insbesondere mit Hilfe von geeigneten Analytics- Tools und Routinen geprüft, ob ein dem Objekt-Merkmal und/oder Objekt-Merkmalsvektor entsprechendes Objekt-Merkmal in einem passenden Ort-/Zeitfenster einer weiteren Bildsequenz, insbesondere mit ausreichend hoher Wahrscheinlichkeit, identifizierbar ist.

Wie in Fig. 4 angedeutet können sich Beobachtungsbereiche von Bildsequenzen 39 überlappen (Überlappungsbereich 17') und eine Übergabe der Objekt-Merkmale von der ersten Bildsequenz in die zweiten Bildsequenz kann anhand von Pixelwerten im Überlappungsbereich 17' im Wesentlichen zeitgleicher Bilder erfolgen.

Soll eine genaue Position des zu verfolgenden Objekts ausgegeben werden (Schritt 59), wird die Lage der Pixelstruktur in einem aktuellen Bild auf den zugeordneten Beobachtungsbereich projiziert. Hierzu kann beispielsweise ein Vergleich mit Referenzpunkten vorgenommen werden (Schritt 59A), oder eine entsprechende Größe der Pixelstruktur berücksichtigt werden (Schritt 59B) etc. Dabei kann ferner auf Daten aus dem Bearbeitungsplan, der zu dem Objekt gehört, zugegriffen werden.

Information aus dem Prozess der Bestimmung der aktuellen Position kann im Rahmen von selbstlernenden Maschinen (maschinelles Lernen) in die Verfolgung der Pixelstruktur einfließen (gestrichelter Pfeil 61).

Die bestimmte Position des Objekts wird nun in die Steuerung der Industriefertigungsanlage zur Fertigung des Endprodukts eingebunden (Schritt 63). Je nach Objekt steht somit Positions- Information eines Werkzeugs, einer Person, eines Transportmittels, einer Werkzeugmaschine und/oder einer Werkstücksammelstelleneinheit für die Steuerung der Industriefertigungsanlage zur Verfügung.

Die Einbindung in die Steuerung der Industriefertigungsanlage kann beispielsweise ein Defi- nieren (Schritt 63 A) von Zonen 27 und/oder räumlichen Schranken 29 in der Fertigungshalle, insbesondere in einem Lageplan 25, 25' der Fertigungshalle, und ein Abgleichen (Schritt 63B) der bestimmten Position hinsichtlich der Zonen 27 und/oder der räumlichen Schranken 29 umfassen. Im Lageplan der Fertigungshalle kann im Schritt 63A z. B. eine Zone (Werkzeugmaschinen- Zone) um Werkzeugmaschinen/ Bearbeitungsplätze, beispielsweise um die Biegemaschine, erstellt werden. Dabei kann diese Zone als Volumenkörper (3D-Zone) definiert werden, der beispielsweise bis zu einer Höhe von 1,5 m über dem Hallenboden reicht. Wird ein Transportwagen mit Werkstücken als zu verfolgende Objekte, die zu einem Auftrag gehören, in die- se Zone geschoben, registriert das Fertigungssteuerungssystem im Schritt 63B dies.

Die Unterstützung der Fertigungssteuerung von Prozessabläufen kann dabei die hierin diskutierten Einbindungsmöglichkeiten umfassen. Z. B. können Signale von einer Signalabgabevorrichtung der Mobileinheit 20 - z. B. eine Anzeigeneinheit 17, eine LED oder ein Lautsprecher - erzeugt werden.

Ferner kann die Unterstützung der Fertigungssteuerung von Prozessabläufen über das Fertigungssteuerungssystem 1 Bearbeitungsparameter auf den Werkzeugmaschinen 7 ansteuern oder allgemein Fertigungsparameter einstellen (Schritt 63C), die sich z. B. auch auf die Fertigungshalle oder auf eine nachfolgende Datenanalyse beziehen können.

Als weiteres Beispiel für die Einbindung in die Fertigungssteuerung kann unter Nutzung der digitalen Zuordnung des Schritts 55 das Fertigungssteuerungssystem den zugehörigen Bearbeitungsauftrag am Bearbeitungsplatz (beispielsweise an der Biegemaschine) anmelden. Ferner können weitere Sekundäraktionen automatisch initiiert werden. So kann ein zugehöriges Bearbeitungsprogramm in der Werkzeugmaschine automatisch geladen werden. Dies kann es erlauben, dass die Werkzeugmaschine (beispielsweise eine Biegemaschine) über einen Tool- Master automatisch gerüstet wird. Auf einem zugeordneten Bildschirm können einem Bedie- ner für den nun anstehenden Bearbeitungsvorgang (Arbeitsgang) notwendige Informationen angezeigt werden. Beispielsweise können eine Abbildung der ursprünglichen Form des Werkstücks sowie die gebogene Form des Werkstücks, die Anzahl der zu biegenden Werkstücke und/oder der anschließend nachfolgende Bearbeitungsvorgang etc. angezeigt werden.

Ein Vorteil bei der Bearbeitung in Zusammenhang mit definierten Zonen und Schranken liegt darin, dass der Bearbeiter nichts weiter machen muss, als die nachverfolgten Objekte in eine Werkzeugmaschinen-Zone zu bringen, wodurch die verschiedenen vorbereitenden Maßnahmen automatisiert veranlasst wurden. Wie erwähnt kann die Werkzeugmaschine z. B. sofort automatisch auf den neu zu bearbeitenden Auftrag eingestellt werden. Dadurch kann erheblich Zeit eingespart werden und Fehler können vermieden werden.

Interagiert ferner eine Mobileinheit mit dem Fertigungssteuerungssystem oder betätigt ein Bediener Zusatzfunktionen (Eingabetasten etc.) einer Mobileinheit, kann der Bediener von den Mobileinheiten Feedback oder Mitteilungen über Ausgabemittel wie RGB-LED, Vibration, angezeigten Text oder Ton erhalten. So kann beispielsweise der Status eines Auftrags vi- sualisiert werden, beispielsweise indem eine LED grün leuchtet, solange sich der Auftrag im Zustand der Bearbeitung befindet. Ferner kann Feedback oder eine Mitteilung an nachfolgende Bearbeitungsplätze gegeben werden. So kann die automatische Buchung eines abgeschlos- senen Bearbeitungsvorgangs den nachfolgenden Prozess darauf aufmerksam machen, dass die Teile nun bereit stehen und wo sie sich befinden. Allgemein kann eine Auslösung von Aktionen wie das Buchen über Zonen noch weiter angereichert werden, sodass beispielsweise Werkstücke während der verschiedenen Bearbeitungsvorgänge zeitlich überwacht werden können. Mobileinheiten können ferner Teil eines Innenraum-Ortungssystems sein, dass die Bildbasierte Nachverfolgung unterstützt. In Figur 6 wird dies durch die Schritte 71 bis 75 verdeutlicht:

- Bereitstellen (Schritt 71) des Innenraum-Ortungssystems mit mehreren fest in der

Fertigungshalle installierten Sende-Empfangseinheiten, mindestens einer Mobileinheit und einer Analyseeinheit, wobei die Sende-Empfangseinheiten und die Mobileinheit zum Aussenden und Empfangen von elektromagnetischen Signalen ausgebildet ist und die Analyseeinheit ausgebildet ist, aus Laufzeiten der elektromagnetischen Signale zwischen den Sende- Empfangseinheiten und der Mobileinheit die Positionen der Mobileinheit in der Fertigungshalle zu bestimmen.

- Zuordnen (Schritt 73) der Mobileinheit zu mindestens einem, insbesondere nachzuverfolgendem Objekt (15, 21, 23, 31).

- Bestimmen (Schritt 75) der Position des mindestens einen zugeordneten Objekts (15, 21, 23, 31) durch Lokalisierung der zugeordneten Mobileinheit mit dem Innenraum- Ortungssystem.

- Einbinden (Schritt 63) der bestimmten Position in den Zuordnungsvorgang, bei dem für ein zu verfolgendes Objekt eine Pixelstruktur im Bild bestimmt wird (Schritt 53), und/oder in die Fertigungssteuerung der Industriefertigungsanlage zur Fertigung des Endprodukts, ins- besondere in die Bildaufnahmevorrichtung-basierte Nachverfolgung.

Zu den Details eines z. B. UWB-basierten Ortungssystems wird auf die eingangs erwähnten Patentanmeldungen verwiesen. Die hierin offenbarten, für die Integration in die industrielle Fertigung vorgesehenen UWB- basierten Ortungssysteme basieren z. B. auf Mobileinheiten (oft auch als "Tags" bezeichnet) und stationären Sende -Empfangseinrichtungen (oft auch als "Anker" oder "Anchors" bezeichnet). Bei der Integration in die industrielle Fertigung kann zur Positionsbestimmung eines Werkstücks, allgemein eines Gegenstands ("Assets"), dieses jeweils mit mindestens einer Mobileinheit versehen werden bzw. mit dieser funktionell oder räumlich in Bezug gesetzt werden (hierin auch als physische oder räumliche Zuordnung bezeichnet). Die Mobileinheiten sind allgemein elektronische Bauteile, die dazu in der Lage sind, mit den Sende- Empfangseinrichtungen, insbesondere mittels UWB-Kommunikationstechnologie, zu kom- munizieren. Jede Mobileinheit kann zur Feststellung von Laufzeiten über eine eigene Zeitbestimmungseinheit ("Clock") verfügen.

Eine räumliche Zuordnung kann dadurch durchgeführt werden, dass eine Mobileinheit nahe eines zugeordneten Werkstücks oder am Werkstück selbst positioniert wird oder das Werkstück auf einer Werkstücksammelstelleneinheit, an der eine Mobileinheit vorgesehen ist, beispielsweise ein Transportwagen, ein Sammelbehälter oder eine Palette abgelegt wird. Die Mobileinheit kann dort (oder auch an einer Person) fest angebracht sein oder an dem Werkstück/der Werkstücksammelstelleneinheit anheftbar oder auf ihr abgelegt werden. Für ein An- heften kann die Mobileinheit z. B. über einen Haltemechanismus verfügen, beispielsweise ein Magnet oder eine Klemm-, Schraub-, Klipp-, Bajonett- oder Saugvorrichtung, mit dem sie an dem Werkstück oder an der Werkstücksammelstelleneinheit derart verbunden werden kann, dass sie sich nicht unkontrolliert von dieser lösen kann. Neben der vorzunehmenden räumlichen Zuordnung eines z. B. Werkstücks zur Mobileinheit kann ferner eine Zuordnung der Mobileinheit (und damit des räumlich zugeordneten Werkstücks) zu dem zugehörigen Produktionsauftrag des Werkstücks vorgenommen werden (hierin auch als digitale Zuordnung des Fertigungsprozesses oder kurz Bearbeitungsplan-Zuordnung bezeichnet).

Die Verwendung eines UWB-basierten Ortungssystems kann Ausgangsbasis für die ortsabhängige Informationsverarbeitung. Das Ortungssystem kann optional mit weiterer Sensorik, zum Beispiel mit Beschleunigungs- und/oder Lagesensoren, ausgestattet sein und so ferner als Ausgangsbasis für eine lageabhängige Informationsverarbeitung dienen. Dadurch wird insbe- sondere eine orts- (und gegebenenfalls läge-) abhängige Interaktion im Rahmen des UWB- basierten Ortungssystems bei der Fertigungssteuerung sowie eine Optimierung von Fertigungsvorgängen möglich. Beispielsweise können auch hier die virtuelle Schranken (Gates) und Zonen eingesetzt werden, um einen Fertigungsprozess und nachfolgende Produktionsschritte automatisiert zu überwachen und zu steuern. Dies kann insbesondere in Echtzeit er- folgen.

Das UWB-basierten Ortungssystem kann mehrere Sende-Empfangseinheiten und mindestens eine Mobileinheit aufweisen. Das Ortungssystem kann ferner mit dem MES 3 zusammenwir- ken. Beispielsweise kann eine UWB-Analyseeinheit des UWB-basierten Ortungssystems als ein Teil des MES 3 ausgebildet sein.

Die Sende-Empfangseinheiten können dazu eingerichtet sein, an die Mobileinheiten UWB- Radiosignale zu senden und von diesen UWB-Radiosignale zu empfangen. Die Sende- Empfangseinheiten können für eine ausreichende Abdeckjung der Fertigungshalle - beispielsweise ähnlich wie die Bildaufnahmevorrichtungen 13 - in der Fertigungshalle verteilt angeordnet werden. Der Abstand zwischen einer örtlich beweglichen Mobileinheit und einer z. B. fest installierten Sende-Empfangseinheit, kann durch die Zeit bestimmt werden, die das Signal zum Überwinden der Distanz zwischen den beiden Einheiten benötigt. Werden die Distanzen von mehreren Sende-Empfangseinheiten ermittelt, deren Ort jeweils bekannt ist, kann der räumliche Ort der Mobileinheit in Bezug zu den Sende-Empfangseinheiten z. B. durch Triangulation bestimmt werden.

Für eine Laufzeitbestimmung können die Sende-Empfangseinheit und die Mobileinheit(en) über hochgenaue Uhren verfügen, die die Zeit auf wenige oder sogar nur Bruchteile von ns genau bestimmen können. Auch wenn die Uhren in der Sende-Empfangseinheit und in der Mobileinheit hochgenau sind, so sind die Uhren noch nicht zwingend synchronisiert. Es können unterschiedliche Verfahren der Synchronisation von Uhren oder der Elimination von Fehlern folgend aus dem asynchronen Uhrenverlauf eingesetzt werden. So kann beispielsweise eine der Sende-Empfangseinheiten ein Signal zu einer ersten Zeit Tl versenden und ein zweites Signal zu einer zweiten Zeit T2. Der Mobileinheit kann der Zeitunterschied T2-T1 bekannt sein oder zusammen mit den Signalen übermittelt werden, so dass sie sich auf die Zeit der Sende-Empfangseinheiten synchronisieren kann. Alternativ kann die Mobileinheit zwei Signale in einem vorbekannten zeitlichen Abstand Ta senden. In diesem Fall kann die Sende- Empfangseinheit anhand ihrer eigenen Zeitmessung mit ihrer eigenen Uhr vom Empfang des ersten Signals bis zum Empfang des zweiten Signals die Synchronisationsabweichung ermit- teln und aus der Distanzmessung herausrechnen. Der zeitliche Abstand zwischen dem ersten Signal und dem zweiten Signal sollte gering sein, sodass sich die Mobileinheit in dieser Zeit nicht örtlich wesentlich bewegt hat. Der zeitliche Abstand kann von der Mobileinheit so gewählt werden, dass er ein vorgegebenes Vielfaches oder ein vorgegebener Bruchteil der Zeit ist, die die Mobileinheit benötigt vom Empfang eines Signals, auf das es antworten soll, bis zur Ausgabe des ersten Signals.

Bei der kombinierten Nutzung der hierin offenbarten Bild-basierten Nachverfolgung und eines z. B. UWB-basierten Innenraum-Ortungssystems können die Nachverfolgung und die Ortung in einem fließenden Übergang eingesetzt werden. Z. B. kann bei einem fließenden Übergang zwischen UWB-Ortung (Tracking) und Bild-basierter Nachverfolgung (Kamera-Tracking) ein für ein optisches System schwer zugänglicher Bereich (z. B. aufgrund von ungünstigen Lichtverhältnissen, verwinkeltem Bau etc.) oder ein sensibler Bereich (z. B. aufgrund von Perso- nenüberwachung unzulässig) mit UWB-Technologie erfolgen. In geeigneten Räumen der Fertigungsanlage mit guten optischen Bedingungen, beispielsweise im Bereich der Ausgangstore und Eingangstore z.B. für Wareneingang kann die Bild-basierte Nachverfolgung vorgesehen werden. Überdies kann die Fertigungssteuerung Zusatzinformationen bereitstellen, die in der Bild- basierten Nachverfolgung berücksichtigt werden. Wenn sich z. B. ein Halbzeug während eines Fertigungsprozesses verändert, z. B. von einer 2D-Form, zu einem Biegeteil und zu einer Schweißbaugruppe, kann aufgrund von Bearbeitungsplandaten diese Information der Bildbasierte Nachverfolgung bereitgestellt werden. Dadurch kann die optische Detektion erleich- tert werden. Ferner kann die Bild-basierte Nachverfolgung Zusatzinformationen bereitstellen, die in der Fertigungssteuerung berücksichtigt werden können. Dies kann insbesondere in der Qualitätssicherung eingesetzt werden. Angenommen, eine resultierende Bauform eines Werkstücks weicht stark von der erwartenden Form ab oder es fehlen offensichtlich Merkmale, kann dies optisch erkannt und der Fertigungssteuerungssystem mitgeteilt werden. Ferner kann im Rahmen der Bild-basierten Nachverfolgung ermittelt werden, ob ein Werkstück oder eine Baugruppe grundiert oder lackiert ist oder eine sonstige (z. B. im sichtbaren Frequenzbereich) erkennbare Oberflächen-Bearbeitung durchlaufen hat. Ebenso kann bei einer Bilderkennung im IR-Frequenzberiech z. B. eine spezifische Temperaturverteilung oder ein zeitlicher Temperaturverlauf erfasst und dem Fertigungssteuerungssystem mitgeteilt werden.

Ferner ist es möglich, basierend auf der Anzahl der sich in einer oder mehreren Zonen befindenden nachverfolgten Objekte Ereignisse auszulösen oder bevorstehende Ereignisse anzuzeigen. Beispielsweise können Kommissioniervorgänge oder Transportaufgaben ausgelöst werden. Neben stationären Zonen können zusätzlich Zonen dynamisch mit einem oder mehreren Objekten mitwandern. Dies erlaubt beispielsweise den Transport mehrerer Ladungsträger (Transportwägen), und die mitgeführten Aufträge können gemeinsam als Cluster vom Fertigungs- Steuerungssystem behandelt werden.

Ferner kann ein Objekt zum Beispiel an einem Handarbeitswerkzeug bearbeitet werden und mithilfe der Bildaumahmevomchtung-basierten Nachverfolgung kann ermittelt werden, wann und/oder wie das Handarbeitswerkzeug genutzt wird.

Durch die Nachverfolgung von Werkzeugen ist es ferner möglich, die Bewegung des Werkzeugs zu erkennen. Hierdurch können Informationen darüber generiert werden, wie viele Bauteile bearbeitet wurden oder ob ein Bearbeitungsschritt vergessen wurde etc. Ferner können weitere Daten über das Bildaufnahmevorrichtung-basierte Nachverfolgungssystem übermittelt werden, beispielsweise Fehlermeldungen durch entsprechende Bewegungsmuster eines Objekts z. B. in einer definierten Fehler-Zone.

Ein weiteres Nutzungsszenario betrifft die Erfassung von Prozesszuständen, die durch die Po- sitionen von Werkstücken, Menschen, Maschinen und anderen Betriebsmitteln gekennzeichnet sind und die durch eine kognitive Auswertung dieser gemessenen Positionen erfasst werden können. Allgemein lassen die Bildaufnahmevorrichtung-basierten Nachverfolgungsdaten sowie die Informationen bezüglich Zonen und Schranken eine Vielzahl an Auswertemöglichkeiten zu. So ist es beispielsweise möglich, mittels derartiger Rohdaten Kennzahlen wie Key- Performance-Indikatoren (KPIs) zu erzeugen und detaillierte Analysen zu Optimierung der Fertigungsvorgänge durchzuführen. Diese Analysen (z. B. KPIs) können beispielsweise in Form von„heat maps", als Live- Ansicht oder aggregiert dargestellt werden. Weitere Auswertungsdiagramme wie Spagetti-Diagramme sind so für verschiedene Bearbeitungsvorgänge sofort abrufbar. Dies erlaubt es, Standardkennzahlen, die oft einen großen Aufwand bei der Erhebung erzeugen, auf Knopfdruck verfügbar zu machen, wie z. B. Durchlaufzeit, Wertstromanalyse etc. Zudem können die Abläufe in der Produktion auf Basis der gewonnen Ortungsinformationen mit Hilfe von numerischen Optimierungsverfahren verbessert werden. Die Nutzung des Bildaufnahmevorrichtung-basierten Nachverfolgungssystems erlaubt es auch Personen oder Körperteile von Personen zu orten, wenn diese als nachzuverfolgendes Objekt bestimmt werden. Neben Werkstücken und Werkzeugen gibt die Ortung von Personen (als Ganzes oder auch lokale Ortungen von Bein, Arm und Hand) wertvolle Information über Ab- läufe in der Produktion. Nutzungsszenarien hierzu betreffen beispielsweise die Überwachung sicherheitskritischer Bereiche zum Schutze von Personen, insbesondere der Bearbeiter. Ferner können Bewegungsmuster generiert werden, die wiederum z. B. zur Prozess- oder Ergonomie- Verbesserung von Arbeitsplätzen der Bediener ausgewertet werden können. Insbesondere über die synchrone Auswertung beider Hände einer Person, insbesondere eines Bedieners oder Be- arbeiters, können detaillierte Informationen über den Fertigungsvorgang und das Werkstück erfasst werden. So kann erfasst werden, dass

- ein Bearbeiter an einer Position X zugegriffen hat;

- ein Bearbeiter ein spezifisches Werkstück von A nach B transportiert hat;

- ein Bearbeiter ein spezifisches Werkstück an einer Position Y abgesetzt hat;

- ein Fertigungsvorgang wie Bohren, Einpressen, ... x-Mal ausgeführt wurde;

- ein Fertigungsvorgang wie Entgraten, Schweißen, ... auf einer spezifischen Trajekto- rie an einem Werkstück ausgeführt wurde;

- ein Fügeprozess an einer spezifischen Position durchgeführt wurde. Verschiedene nachzuverfolgende Objekte können in spezifischen Beziehungsverhältnissen zueinander stehen. Beispielsweise können sie im Rahmen eines spezifischen Fertigungsprozesses in Familien gruppiert werden, um grundlegende (Verhaltens-/Bewegungs-) Muster zu definieren. Familien können beispielsweise einem Auftrag, einer Baugruppe, einem Folgepro- zess von Werkstücken oder einem zugehörigen Ladungsträger (Transportwagen, Palette, Sammelbehälter) zugeordnet sein. Die Familienzugehörigkeit kann dabei dynamisch im laufenden Bearbeitungsvorgang geändert werden. Objekte können dabei verschiedenen Familien gleichzeitig angehören. Ferner können Familien von Objekten eine spezifische Verknüpfung betreffen, beispielsweise alle Ladungsträger, alle Transportmittel, alle Bearbeiter, alle Werkstücke, alle Maschinen etc., oder eine Familie von Objekten kann einen spezifischen Status des Objekts betreffen, beispielsweise einen Ladungsstatus der Mobileinheiten.

Entsprechend kann die Analyse wie die Erfassung von Prozesszuständen auf der Auswertung von derartigen Familien basieren. Über die hierin offenbarte Erweiterung einer Fertigungsanlage mit einer Bildaufnahmevor- richtung-basierten Nachverfolgung und Schnittstellen zum Fertigungssteuerungssystem kann die Position einer Werkstücksammelstelleneinheiten festgestellt und/oder die Bewegung der Hand eines Bedieners beispielsweise mit Infrarot-Bildgebung festgehalten werden.

Ein Bediener, der in einer Schaltzentrale den Bearbeitungsvorgang überwacht und steuert, kann auf seinem Überwachungsmonitor sehen, wo ein spezifischer Auftrag gerade in der Prozesskette steht und wie sein Status gerade ist. Entsprechend kann er auch direkt auf eine Anzeigeeinheit zugreifen, um angezeigte Daten (Werkstückinformation) wie Präferenzen, Ar- beitsschritte etc. anzupassen und einem Bearbeiter vor Ort anzuzeigen. Alternativ oder ergänzend kann dies auch vor Ort mit einer Eingabevorrichtung an der Werkstücksammelstelleneinheit (z. B. Taster, Schalter, Touchpad) erfolgen oder über eine Datenschnittstelle, die einer externen z. B. mobilen Eingabeeinheit Zugang verschafft (Smartphone, Ipad, Smartwatch etc.). Entsprechend kann die Werkstücksammelstelleneinheit z. B. ein Nahfeldfunknetz (Blue- tooth, NFC) aufweisen. Beispielsweise wird die Werkstücksammelstelleneinheit gezielt angesteuert, damit die Signalvorrichtung (z. B. eine hell leuchtende LED) aktiviert wird.

Die Bild-basierte Nachverfolgung kann ferner beispielsweise beim Absortieren eingesetzt werden, indem z. B. der Ort einer Hand (insbesondere eines in Bildern deutlich sichtbaren Handschuhs) nachverfolgt wird. Entnimmt die„Hand" eines Bedieners ein Bauteil vom Restgitter, wird der Bauteilort im MES vom Restgitter auf die Hand gebucht. Bewegt sich die Hand in die Nähe einer Werkstücksammelstelleneinheit, wird im MES gebucht, dass dieses Teil an der zugehörigen Werkstücksammelstelleneinheit abgelegt wurde. Zum einen kann das Nachverfolgungssystem erkennen, dass die Hand mit dem Werkstück in die Nähe kam. Zum anderen kann ein übergeordnetes System (z. B. das MES) die Werkstücksammelstelleneinheit und die Handposition verknüpfen.

In Fig. 7 sind beispielhaft Verfahrensschritte einer industriellen Fertigung eines Endprodukts gezeigt, die mit einem hierin offenbarten Fertigungssteuerungssystem, insbesondere dem MES 3 durchgeführt werden kann.

In einem ersten Schritt 80 erfolgt die Entgegennahme eines Fertigungsauftrags (mit einem Bearbeitungsplan 37) zur Fertigung eines Endprodukts aus einem Werkstück 23 mit dem MES 3, das z. B. in einer Datenverarbeitungsvorrichtung 30A implementiert ist. In einem folgenden Schritt 81 erfolgt die Auswahl einzelner Bearbeitungsschritte mittels des MES 3. In einem weiteren Schritt 82 erfolgt die Auswahl einer Reihenfolge vom MES 3 (oder einem Bediener), in der die Bearbeitungsschritte durchgeführt werden sollen. Die Bearbeitungsschritte können dabei einzelne oder mehrere der folgenden Vorgänge sein: Schneiden, insbesondere Laser- schneiden, Stanzen, Biegen, Bohren, Gewindeschneiden, Schleifen, Zusammenfügen, Schweißen, Nieten, Schrauben, Pressen, Behandeln der Kanten und Oberflächen.

In einem weiteren Schritt 83 erfolgt die datentechnische Zuordnung jedes der Bearbeitungsschritte zu einer Maschine 7 oder einem Arbeitsplatzeinheit. Die Arbeitsplatzeinheit kann ein wie oben beschriebener Arbeitsplatz 26, insbesondere ein Handarbeitsplatz sein.

In einem weiteren Schritt 84 erfolgt die datentechnische Zuordnung des Fertigungsauftrags zu einem nachzuverfolgenden Objektdatensatz, der in der MES 3 für eine Mobileinheit abgelegt ist. Dieser Schritt 84 kann dem in Fig. 6 gezeigten Schritt 53 entsprechen. Schritt 84 kann ins- besondere auch schon früher, z. B. nach einem oder mehreren der zuvor beschriebenen Verfahrensschritte, erfolgen.

In einem weiteren Schritt 85 erfolgt die Fertigung eines Werkstücks 23, das zumindest teilweise ein Teil des Endprodukts ist, insbesondere nach einem ersten der Bearbeitungsschritte an der diesem Bearbeitungsschritt zugewiesenen Maschine 7 oder Arbeitsplatzeinheit. Z. B. wird hier ein Teil des Fertigungsauftrags aus einem Blech geschnitten. Da als nachfolgender Bearbeitungsschritt auch noch ein Fräsen oder Stanzen notwendig sein kann, kann dieses Werkstück 23 noch mehr Material als das Endprodukt, also nur teilweise das Endprodukt bilden bzw. ein Teil von diesem sein.

In einem weiteren Schritt 86 erfolgt die räumliche Zuordnung des gefertigten Werkstücks 23 einer Position in einem Beobachtungsbereich. Dieser Schritt 86 kann dem in Fig. 6 gezeigtem Schritt 59 entsprechen. In einem weiteren Schritt 87 erfolgt das Speichern einer Änderung des Status des Fertigungsauftrags in dem MES 3.

In einem optionalen Schritt 88 erfolgt das Speichern der Position des Werkstücks / nachverfolgten Objekts zu dem Fertigungsauftrag. In einem weiteren Schritt 89 erfolgt der Transport des Werkstücks 23 gemäß dem Fertigungsauftrag zu der nächsten Maschine 7 oder der nächsten Arbeitsplatzeinheit in der vorbestimmten Reihenfolge. Dies kann in Folge einer Anweisung des MES 3 durch eine Person oder durch einen automatisierten Transportprozess erfolgen.

In einem weiteren Schritt 90 wird dieser Bearbeitungsschritt an der ihm zugewiesenen Maschine 7 oder Arbeitsplatzeinheit durchgeführt.

In einem optionalen Schritt 91 erfolgt das Speichern der Position des Werk- stücks/nachverfolgten Objekts für diesen Fertigungsschritt im Fertigungsauftrag.

In einem weiteren Schritt 92 erfolgt das erneute Speichern einer Änderung des Status des Fertigungsauftrags im MES 3. In einem weiteren Schritt 93 wird entschieden, ob mit dem Verfahrensschritt 89, d. h., einem Transport zu einem weiteren Bearbeitungsschritt, fortgefahren werden soll oder ob die Fertigung beendet ist.

Während dieser Fertigungsschritte ist stets eine Positionsbestimmung von nachverfolgten Ob- jekten durch das MES 3 möglich. Damit kann das MES 3 zu jeder Zeit über Daten wie aktuelle Statusdaten und aktuelle Positionsdaten des Werkstücks 23 verfügen. MES 3 und das Bild- aufnahmevorrichtung-basierte Nachverfolgungssystem 5 können insbesondere wie zuvor beschrieben ausgebildet sein. Alle zuvor beschriebenen Verfahrensschritte, die von einer Fertigungssteuerung, einem Ferti- gungssteuerungssystem, einem Bildaufnahmevorrichtung-basierten Nachverfolgungssystem oder vom MES 3 ausgeführt werden, können auch mittels einer oder mehrerer Datenverarbeitungsvorrichtungen, die Mittel zur Durchführung der Verfahrensschritte aufweisen, realisiert sein.

Es wird explizit betont, dass alle in der Beschreibung und/oder den Ansprüchen offenbarten Merkmale als getrennt und unabhängig voneinander zum Zweck der ursprünglichen Offenbarung ebenso wie zum Zweck des Einschränkens der beanspruchten Erfindung unabhängig von den Merkmalskombinationen in den Ausführungsformen und/oder den Ansprüchen angesehen werden sollen. Es wird explizit festgehalten, dass alle Bereichsangaben oder Angaben von Gruppen von Einheiten jeden möglichen Zwischenwert oder jede mögliche Untergruppe von Einheiten zum Zweck der ursprünglichen Offenbarung ebenso wie zum Zweck des Einschränkens der beanspruchten Erfindung offenbaren, insbesondere auch als Grenze einer Bereichs- angäbe.