Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Erkennung von umgefallenen und/o der beschädigten Behältern in einem Behältermassenstrom mit den Merkmalen des Oberbegriffs von Anspruch 1 bzw. 14.

In Getränkeverarbeitungsanlagen ist es üblich, die Behälter zwischen einzelnen Behälterbehand lungsmaschinen als Behältermassenstrom auf einem Transporteur stehend zu transportieren. Da bei kann es gelegentlich Vorkommen, dass einzelne Behälter während des Transports umfallen und somit durch die nachfolgende Behälterbehandlungsmaschine nicht mehr ordnungsgemäß verarbeitet werden können oder einen Stau verursachen. Folglich müssen die umgefallenen Be hälter im Behältermassenstrom erkannt werden, um sie anschließend zu entfernen. Denkbar ist auch, dass beschädigte Behälter im Behältermassenstrom erkannt und davon entfernt werden.

Die DE 201 10 686 U1 offenbart eine Vorrichtung zum Erkennen liegender Gefäße auf einem mehrspurigen Transporteur mittels darüber angeordneter Sensoren. Als Sensoren werden berüh rungslos arbeitende Ultraschallsensoren verwendet.

Die US 2017/0267462 A1 offenbart eine Vorrichtung und ein Verfahren zur Intervention an einem Förderband. Dabei wird das Förderband mit einem Sensor überwacht, der beispielsweise als Ult raschall- oder Lasersensor ausgebildet ist. Liegende Produkte können mit einem Greifwerkzeug entfernt werden.

Des Weiteren wird in der EP 2 295 156 A2 eine Fördereinrichtung mit einer Einrichtung zur Er kennung von umgefallenen Artikeln und Verfahren zu deren Steuerung vorgeschlagen, wobei die geförderten Gegenstände oder Artikel innerhalb eines definierten Bereichs mit einem Laserscan ner optisch erfasst werden.

Die WO 2008/116546 A2 offenbart ein Verfahren zur Überwachung, Steuerung und Optimierung von Abfüllanlagen für Lebensmittel, insbesondere für Getränkeflaschen. Zur Steuerung oder Über wachung der Anlage wird ein optoelektronisches Erkennungssystem mit einer Wärmebildkamera vorgeschlagen, wobei in der zugeordneten Datenverarbeitungsanlage Methoden der Bildanalyse und/oder der Objekterkennung angewendet werden. Nachteilig bei den bekannten Verfahren und Vorrichtungen ist es, dass sie individuelle Lösungen darstellen, die jeweils auf die verschiedenen Anwendungsfälle angepasst werden müssen. Bei spielsweise geschieht dies durch auf den Anwendungsfall angepasste Sensoren und/oder eine spezielle Programmierung der Bildverarbeitung. Darüber hinaus müssen sie üblicherweise auf Behälterparameter genau angepasst werden und sind abhängig von den Umgebungsbedingun gen.

Aufgabe der vorliegenden Erfindung ist es daher, ein Verfahren und eine Vorrichtung zur Erken nung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom bereit zustellen, dass einfacher und flexibler ersetzbar ist.

Zur Lösung der Aufgabenstellung stellt Erfindung ein Verfahren zur Erkennung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom mit den Merkmalen des An spruchs 1 bereit. Vorteilhafte Ausführungsformen der Erfindung sind in den Unteransprüchen ge nannt.

Dadurch, dass der Behältermassenstrom mit der wenigstens einen Kamera als Bilddatenstrom erfasst und der Bilddatenstrom von der Bildverarbeitungseinheit mit dem tiefen neuronalen Netz werk ausgewertet wird, geschieht die Auswertung anhand vorher erlernter Erfahrungswerte des tiefen neuronalen Netzwerks, so dass stehende und umgefallene und/oder beschädigte Behälter erkannt werden. Dadurch, dass es möglich ist, das tiefe neuronale Netzwerk mit Bildern verschie denster Behältertypen und/oder Umgebungsbedingungen zu trainieren, ist es dann beim konkre ten Anwendungsfall nicht mehr notwendig, die Auswertung des Bilddatenstroms anzupassen. Folglich ist das erfindungsgemäße Verfahren besonders flexibel und einfach anwendbar. Zudem wird hier das neuronale Netzwerk zentral für eine Vielzahl verschiedener Getränkeverarbeitungs anlagen und/oder Behältertypen trainiert und gepflegt. Folglich muss das erfindungsgemäße Ver fahren nicht vor Ort bei einem Kunden aufwändig bei einer Inbetriebnahme oder Umrüstung der Getränkeverarbeitungsanlage unter Einsatz von Expertenwissen eingerichtet werden. Zudem ist die Auswertung mit dem tiefen neuronalen Netzwerk besonders zuverlässig. Dadurch lässt sich das Verfahren im unbeaufsichtigten Betrieb, insbesondere beim Nachtbetrieb ohne Personal be sonders zuverlässig einsetzen. Weiterhin bietet das Verfahren den Vorteil eines aktiven Unfall- und Personenschutzes, da umgefallene und/ oder beschädigte Behälter nicht manuell vom Be dienpersonal aus dem Behältermassenstrom entfernt werden müssen. Dies gilt umso mehr, als dass die Behälter im Massenbehälterstrom untereinander mit Staudruck beaufschlagt sind und ein Eingreifen des Bedienpersonals zum Entfernen eines Behälters durch die plötzliche Entlastung des Behälterstroms ein Unfallrisiko wie Quetsch- sowie Schnittgefahr in sich birgt. Das Verfahren zur Erkennung der umgefallenen und/oder beschädigten Behälter kann in einer Getränkeverarbeitungsanlage eingesetzt werden. Das Verfahren kann einem Behälterherstel lungsverfahren, Reinigungsverfahren, Füllverfahren, Verschluss- und/oder Verpackungsverfah ren vorgeordnet oder nachgeordnet sein. Insbesondere kann das Verfahren bei einem Transport von einem ersten Behälterbehandlungsverfahren zu einem nachfolgenden, zweiten Behälterbe handlungsverfahren eingesetzt werden.

Behälter können dazu vorgesehen sein, Getränke, Nahrungsmittel, Hygieneartikel, Pasten, che mische, biologische und/oder pharmazeutische Produkte aufzunehmen. Die Behälter können als Flaschen, insbesondere als Kunststoffflaschen, als Glasflaschen oder (Metall-) Dosen ausgebildet sein. Bei Kunststoffflaschen kann es sich im speziellen um PET-, PEN-, HD-PE- oder PP-Flaschen handeln. Ebenso kann es sich um biologisch abbaubare Behälter oder Flaschen handeln, deren Hauptbestandteile aus nachwachsenden Rohstoffen, wie zum Beispiel Zuckerrohr, Weizen oder Mais bestehen. Denkbar ist, dass die Behälter mit einem Verschluss versehen sind.

Mit den „stehenden Behältern“ können hier Behälter gemeint sein, die mit einer zum Transport vorgesehen Aufstandsfläche auf dem Transporteur stehen. Beispielsweise kann die Aufstandsflä che ein ringförmiger Flächenbereich eines Flaschenbodens sein. Mit den „umgefallenen Behäl tern“ können hier Behälter gemeint sein, die mit einer zum Transport vorgesehenen Aufstandsflä che abweichenden Behälterseite auf dem Transporteur liegen, beispielsweise mit einer Seitenflä che.

Denkbar ist beispielsweise, dass der Transporteur ein Förderband umfasst, auf dem die Behälter stehend in einen Erfassungsbereich der Kamera transportiert werden.

Der Transporteur kann als Massentransporteur ausgebildet sein, mit dem die Behälter mehrreihig transportiert werden. Die Behälter können auf dem Massentransporteur stehend transportiert wer den. Der Massentransporteur kann also wenigstens 1 ,5 der Behälter nebeneinander, vorzugs weise wenigstens zwei oder noch mehr der Behälter quer zu einer Transportrichtung nebeneinan der transportieren. Mit „wenigstens 1,5 der Behälter“ kann hier gemeint sein, dass die Behälter versetzt und/oder in wenigstens zwei miteinander verschränkten Reihen transportiert werden. Mit dem mehrreihigem Transport kann ein Transport in mehreren separaten Behälterreihen nebenei nander oder ein ungeordneter Transport gemeint sein. Der Massentransporteur kann ein Förder band und zwei seitlich daran angeordnete Geländer umfassen, die mit einer Transportbreite von wenigstens 1,5 Behältern quer zu der Transportrichtung beabstandet sind. Dadurch werden die Behälter beim mehrreihigen Transport mit den Geländern auf dem Förderband geführt. Die Ge länder können jedoch auch mit wenigstens zwei Behältern oder noch mehr Behältern beabstandet sein. Denkbar ist auch, dass der Massentransporteur zwischen den beiden Geländern wenigstens eine Führungsschiene umfasst, mit der die Behälter in mehreren separaten Reihen geführt wer den. Das Förderband kann wenigstes ein flexibles Band, eine Gliederbandkette und/oder eine Massenmattenkette umfassen. Denkbar ist auch, dass das Förderband mehrere Gliederbandket ten nebeneinander umfasst, die einzeln angetrieben und/oder angesteuert werden. Dadurch kann der mehrreihige Transport besser gelenkt werden bzw. der beim Massentransport entstehende Staudruck besser verteilt, auf- oder abgebaut werden. Das Förderband kann um zwei Rollen um laufend gelagert und/oder angetrieben sein. Vorzugsweise kann der Massentransporteur einen oder mehrere Antriebe umfassen, insbesondere einen Elektromotor, der das Förderband antreibt.

Die wenigstens eine Kamera kann ein Objektiv und einen Bildsensor umfassen, um den Behälter massenstrom optoelektronisch zu erfassen. Beispielsweise kann der Bildsensor einen CMOS- oder einen CCD-Sensor umfassen. Denkbar ist, dass der Bildsensor einen Zeilensensor oder ei nen Flächensensor umfasst. Die wenigstens eine Kamera kann über eine Datenschnittstelle mit der Bildverarbeitungseinheit verbunden sein, um den Bilddatenstrom zu übertragen. Die Daten schnittstelle kann eine analoge oder eine digitale Datenschnittstelle umfassen.

Die Bildverarbeitungseinheit kann den Bilddatenstrom mit einem Signalprozessor und/oder mit einer CPU verarbeiten. Denkbar ist auch, dass die Bildverarbeitungseinheit dazu eine Speicher einheit, eine oder mehrere Datenschnittstellen, beispielsweise eine Netzwerkschnittstelle, eine Anzeigeeinheit und/odereine Eingabeeinheit umfasst. Die Bildverarbeitungseinheit kann den Bild datenstrom in einzelne Bilder aufteilen, die jeweils einzelnen mit dem tiefen neuronalen Netzwerk ausgewertet werden. Denkbar ist auch, dass die Bildverarbeitungseinheit den Bilddatenstrom mit Bildverarbeitungsalgorithmen auswertet, insbesondere Filtern und dergleichen.

Das tiefe neuronale Netzwerk kann eine Eingabeschicht, eine Ausgabeschicht und wenigstens zwei dazwischenliegende, verdeckte Schichten umfassen. Die Ausgabeschicht kann mit der Ein gabeschicht über die wenigstens zwei verdeckten Schichten verbunden sein. Der Bilddatenstrom kann der Eingabeschicht zugeführt werden, insbesondere Bilder des Bilddatenstroms. Mit der Ausgabeschicht können Signale ausgegeben werden, um für jeden Behälter eine Wahrscheinlich keit anzugeben, ob er steht oder ob er umgefallen und/oder ob er beschädigt ist. Darüber hinaus können mit der Ausgabeschicht Signale ausgegeben werden, an welcher Position auf dem T rans- porteur sich der jeweilige Behälter befindet. Denkbar ist auch, dass mit der Ausgabeschicht Sig nale ausgegeben werden, wie die Behälter jeweils orientiert sind. Die Eingabeschicht, die wenigs tens zwei verdeckten Schichten und/oder die Ausgabeschicht können jeweils neuronale Knoten umfassen und/oder über neuronale Verbindungen miteinander verbunden sein. Das tiefe neuronale Netzwerk kann mit einem Trainingsdatensatz mit Bildern von stehenden und umgefallenen und/oder beschädigten Behältern trainiert werden, sodass das tiefe neuronale Netz werk anhand des Trainingsdatensatzes ein Modell entwickelt, um die stehenden und umgefalle nen und/oder beschädigten Behälter des Behältermassenstroms voneinander zu unterscheiden. Dadurch kann das tiefe neuronale Netzwerk mit einer hohen Anzahl von verschiedenen Fällen trainiert werden, sodass die Auswertung weitestgehend unabhängig von Behältertyp und/oder Umgebungseinflüssen ist. Beispielsweise kann der Trainingsdatensatz Bilder von Behältern un terschiedlicher Größe, Ausrichtung oder Position umfassen. Die Bilder des Trainingsdatensatzes können mit der wenigstens einen Kamera aufgenommen werden. Denkbar ist, dass dies in einer Testanlage oder direkt vor Ort bei einem Betreiber der Getränkeverarbeitungsanlage geschieht. Denkbar ist auch, dass beim Hersteller der Getränkeverarbeitungsanlage eine Datenbank mit Bil dern von stehenden und umgefallenen und/oder beschädigten Behältern angelegt wird, um diese dann mit dem Trainingsdatensatz zu verwenden.

Denkbar ist, dass der Trainingsdatensatz Bilder aus dem Behältermassenstrom der Getränkever arbeitungsanlage eines Getränkeherstellers umfasst und der Trainingsdatensatz zum Hersteller der Getränkeverarbeitungsanlage übertragen wird (z.B. per Internet) und, dass das tiefe neuro nale Netzwerk dann beim Hersteller mit dem Trainingsdatensatz trainiert wird. Dadurch kann das tiefe neuronale Netzwerk zentral von Experten trainiert und/oder geprüft werden.

Der Trainingsdatensatz kann Bilder der stehenden und der umgefallenen und/oder beschädigten Behälter mit verschiedenen Behältertypen umfassen. Dadurch kann das tiefe neuronale Netzwerk besonders gut auf unterschiedliche Behältertypen trainiert werden.

Denkbar ist auch, dass wenigstens eines der Bilder des Trainingsdatensatzes eine Kombination von verschiedenen Behältertypen umfasst. Dadurch können auch verschiedenartige Behälterty pen in einem Behältermassenstrom besonders zuverlässig erkannt und lokalisiert werden.

Der Trainingsdatensatz kann Bilder der stehenden und der umgefallenen und/oder beschädigten Behälter mit verschiedenen Umgebungsverhältnissen, insbesondere Beleuchtungsverhältnissen umfassen. Dadurch können die umgefallenen und/oder beschädigten Behälter unabhängig von den Umgebungsverhältnissen besonders gut erkannt werden. Denkbar ist, dass der Trainingsda tensatz Bilder mit unterschiedlichem Sonnenstand, Beleuchtungsstärken und dergleichen um fasst.

In den Bildern des Trainingsdatensatzes und/oder in Metadaten der Bilder können die stehenden und/oder umgefallenen und/oder beschädigten Behälter gekennzeichnet sein, insbesondere über wenigstens eine umgebende Box (Bounding Box). Dadurch können dem tiefen neuronalen Netz werk besonders viele Informationen über die stehenden und/oder die umgefallenen und/oder die beschädigten Behälter bereitgestellt werden. Zudem ist es mit der umgebenden Box möglich, dass im Trainingsdatensatz Informationen enthalten sind, die die Orientierung und den Ort der stehen den und/oder der umgefallenen und/oder der beschädigten Behälter beschreibt.

Die Bilder des Trainingsdatensatzes können automatisch vervielfältigt werden, um weitere Bilder mit zusätzlichen Kombinationen von stehenden und umgefallenen und/oder beschädigten Behäl tern zu erstellen. Dadurch kann der Aufwand bei der Erstellung des Trainingsdatensatzes erheb lich verringert werden. Denkbar ist, dass bei der Vervielfältigung Bildausschnitte mit jeweils einem stehenden oder umgefallenen und/oder beschädigten Behälter erstellt werden. Die Bildaus schnitte können aus einem Originaldatensatz stammen. Denkbar ist, dass die Bildausschnitte bei der Vervielfältigung individuell gedreht und/oder vergrößert werden. Es ist auch denkbar, dass bei den Bildausschnitten während der Vervielfältigung wenigstens ein Belichtungsparameter verän dert wird. Anschließend können die Bildausschnitte wieder zu den Bildern des Trainingsdatensat zes zusammengesetzt werden. Dadurch können über wenige Originalbilder sehr viele unter schiedliche Bilder des Trainingsdatensatzes bereitgestellt werden. Mit dem Belichtungsparameter kann eine Helligkeit und/oder ein Kontrast eines Bildausschnitts gemeint sein.

Die umgefallenen und/oder beschädigten Behälter können von den stehend transportierten Be hältern des Behältermassenstroms nach der Erkennung und Lokalisation durch das tiefe neuro nale Netzwerk automatisch getrennt werden, insbesondere mit einem Greifarm oder mit einer Weiche. Dadurch können die umgefallenen und/oder beschädigten Behälter ohne Unterbrechung des Behältermassenstroms vom Transporteur entfernt werden. Bei dem Greifarm kann es sich beispielsweise um einen Roboter mit einem Greifwerkzeug handeln.

Denkbar ist, dass der Bilddatenstrom kontinuierlich erfasst wird und mittels eines Schiebefensters in einzelne Bilder unterteilt wird, wobei die einzelnen Bilder anschließend mit dem tiefen neurona len Netzwerk ausgewertet werden. Dadurch kann der Bilddatenstrom besonders einfach zur Ver arbeitung durch das tiefe neuronale Netzwerk bereitgestellt werden. Denkbar ist in diesem Fall, dass die Kamera als Zeilenkamera ausgebildet ist, mit der der Behältermassenstrom kontinuierlich erfasst wird. Mit dem Schiebefenster kann hier ein Schiebefenster-Algorithmus gemeint sein. An ders ausgedrückt kann das Schiebefenster ein Bildbereich des Bilddatenstroms sein, der fortwäh rend um feste Schritte verschoben wird.

Darüber hinaus stellt die Erfindung zur Lösung der Aufgabenstellung eine Vorrichtung zur Erken nung von umgefallenen und/oder beschädigten Behältern in einem Behältermassenstrom mit den Merkmalen des Anspruchs 14 bereit. Vorteilhafte Ausführungsformen der Erfindung sind in den Unteransprüchen genannt.

Dadurch, dass der Behältermassenstrom mit der wenigstens einen Kamera als Bilddatenstrom erfasst und die Bildverarbeitungseinheit das tiefe neuronale Netzwerk zur Auswertung des Bild datenstroms umfasst, geschieht die Auswertung anhand vorher erlernter Erfahrungswerte des tie fen neuronalen Netzwerks, so dass stehende und umgefallene und/oder beschädigten Behälter erkannt werden. Dadurch, dass es möglich ist, das tiefe neuronale Netzwerk mit Bildern verschie denster Behältertypen und/oder Umgebungsbedingungen zu trainieren, ist es dann beim konkre ten Anwendungsfall nicht mehr notwendig, die Auswertung des Bilddatenstroms anzupassen. Folglich ist das erfindungsgemäße Verfahren besonders flexibel und einfach anwendbar. Zudem ist die Auswertung mit dem tiefen neuronalen Netzwerk besonders zuverlässig. Dadurch lässt sich das Verfahren im unbeaufsichtigten Betrieb, insbesondere beim Nachtbetrieb ohne Personal be sonders zuverlässig einsetzen. Weiterhin bietet die Vorrichtung den Vorteil eines aktiven Unfall- und Personenschutzes, da umgefallene und/ oder beschädigte Behälter nicht manuell vom Be dienpersonal aus dem Behältermassenstrom entfernt werden müssen. Dies gilt umso mehr, als dass die Behälter im Massenbehälterstrom untereinander mit Staudruck beaufschlagt sind und ein Eingreifen des Bedienpersonals zum Entfernen eines Behälters durch die plötzliche Entlastung des Behälterstroms ein Unfallrisiko wie Quetsch- sowie Schnittgefahr in sich birgt.

Die Vorrichtung zur Kennung der umgefallenen und/oder beschädigten Behälter in dem Behälter massenstrom kann in einer Getränkeverarbeitungsanlage angeordnet sein. Denkbar ist, dass dem Transporteur wenigstens eine Behälterbehandlungsmaschine vor- und/oder nachgeordnet ist. An ders ausgedrückt kann der Transporteur zwei Behälterbehandlungsmaschinen miteinander ver binden.

Die Vorrichtung kann die zuvor in Bezug auf das Verfahren beschriebenen Merkmale, insbeson dere nach einem der Ansprüche 1-13, einzelnen oder in beliebigen Kombinationen sinngemäß umfassen.

Die Bildverarbeitungseinheit kann ein Speichermedium mit Maschineninstruktionen umfassen, die, wenn sie mit der Bildverarbeitungseinheit ausgeführt werden, den Bilddatenstrom mit dem tiefen neuronalen Netzwerk auswerten. Anders ausgedrückt kann die Bildverarbeitungseinheit das tiefe neuronale Netzwerk umfassen. Denkbar ist, dass das Speichermedium Maschinenin struktionen umfasst, mit denen das zuvor beschriebene Verfahren wenigstens teilweise ausge- führt werden kann. Insbesondere können die Maschineninstruktionen diejenigen Teile des Ver fahrens ausführen, welche mit der Bildverarbeitungseinheit und/oder mit dem tiefen neuronalen Netzwerk durchgeführt werden.

Weitere Merkmale und Vorteile der Erfindung werden nachfolgend anhand der in den Figuren dargestellten Ausführungsbeispiele näher erläutert. Dabei zeigt:

Figur 1 ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung zur Erkennung von um gefallenen Behältern in einem Behältermassenstrom in einer Draufsicht;

Figur 2 zwei beispielhafte Bilder des von der Kamera aus der Figur 1 ausgegebenen Bilddaten stroms;

Figur 3 ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens zur Erkennung von um gefallenen Behältern als Flussdiagramm;

Figur 4 ein Ausführungsbeispiel eines Teilabschnitts des Verfahrens aus der Figur 3 zum Trai ning des tiefen neuronalen Netzwerks; und

Figur 5 ein Ausführungsbeispiel eines T eilabschnitts des Verfahrens aus der Figur 3 zur Aus wertung des Bilddatenstroms mit dem tiefen neuronalen Netzwerk.

In der Figur 1 ist ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung 1 zur Erkennung von umgefallenen Behältern 3 in einem Behältermassenstrom M in einer Draufsicht dargestellt. Zu sehen ist der Transporteur 5, der hier beispielhaft als Förderband ausgebildet ist und auf dem die Behälter 2, 3 des Behältermassenstroms in der Richtung R transportiert werden. Der Trans porteur 5 ist in erster Linie dazu ausgebildet, die Behälter 2 stehend zu transportieren. Zu sehen sind jedoch auch einige umgefallene Behälter 3, die beispielsweise durch Erschütterungen oder beim Führen der Behälter umgefallen sind. Denkbar ist auch, dass die Vorrichtung alternativ oder zusätzlich dazu ausgebildet ist, beschädigte Behälter zu erkennen. Da die umgefallenen und/oder beschädigten Behälter 3 vor einer nachfolgenden Behälterbehandlungsmaschine nicht ordnungs gemäß verarbeitet werden oder einen Stau verursachen können, müssen sie erkannt und vom Transporteur 5 entfernt werden.

Zu sehen ist auch, dass der Transporteur 5 als Massentransporteur ausgebildet ist, mit dem die Behälter 2 mehrreihig transportiert werden. Die Behälter 2 werden im Ausführungsbeispiel unge ordnet nebeneinander transportiert. Dazu umfasst der Transporteur 5 quer zur Richtung R (Trans portrichtung) an beiden Seiten zwei nicht genauer dargestellte Geländer, mit denen die Behälter 2 seitlich geführt werden. Zudem umfasst der Transporteur 5 ein Förderband, beispielsweise eine Gliederbandkette und/oder eine Massenmattenkette, das von einem Antrieb angetrieben wird. Auf einem derartigen Massentransporteur wirken sich die umgefallenen Behälter 3 besonders störend auf den Fluss der anderen Behälter 2 aus und müssen daher erkannt werden. Dieser Umstand gilt insbesondere bevor die Behälter eine Behälterstrom abwärts befindliche Behälterbehand lungsmaschine erreichen.

Dazu ist die Kamera 6 am Transporteur 5 angeordnet, die die stehenden Behälter 2 und die um gefallenen Behälter 3 von schräg oben her erfasst. Die Anordnung der Kamera 6 ist hier nur bei spielhaft gezeigt. Denkbar ist auch, dass mehrere Kameras vorhanden sind, die von schräg oben in dieselbe Richtung oder in entgegengesetzte Richtungen blicken. Denkbar ist auch eine Anord nung direkt von oben senkrecht auf eine Transportoberfläche des Transporteurs 5.

Die Kamera 6 erfasst also den Behältermassenstrom M als Bilddatenstrom und überträgt diesen mittels der Datenschnittstelle 8 zur Bildverarbeitungseinheit 7, um den Bilddatenstrom mit dem neuronalen Netzwerk 71 auszuwerten.

Die Bildverarbeitungseinheit 7 umfasst dazu ein Speichermedium mit Maschineninstruktionen, die, wenn sie mit der Bildverarbeitungseinheit 7 ausgeführt werden, den Bilddatenstrom mit dem tiefen neuronalen Netzwerk 71 auswerten.

Das neuronale Netzwerk 71 ist dazu ausgebildet, die umgefallenen Behälter 3 zu erkennen und zu lokalisieren. Auf Basis der Auswertung können dann die umgefallenen Behälter 3 mit einer hier nicht dargestellten Weiche oder mittels eines Greifarms vom Transporteur 5 entfernt werden.

In der Figur 2 sind zwei beispielhafte Bilder 11 und I2 des von der Kamera 6 aus der Figur 1 ausgegebenen Bilddatenstroms dargestellt.

Denkbar ist, dass die Kamera 6 einen Flächensensor umfasst, mit dem die Bilder 11 , I2 jeweils zu einem Zeitpunkt flächig erfasst werden. Alternativ ist auch denkbar, dass die Kamera 6 einen Zeilensensor umfasst, mit dem der Bilddatenstrom kontinuierlich erfasst und mittels eines Schie befensters in einzelne Bilder 11, I2 unterteilt wird, wobei die einzelnen Bilder 11 , I2 anschließend mit dem tiefen neuronalen Netzwerk 71 ausgewertet werden.

Des Weiteren ist in den Bildern 11, I2 zu erkennen, dass nach der Auswertung durch das tiefe neuronale Netzwerk 71 die stehenden Behälter 2 jeweils mit einer umgebenden Box 21 gekenn zeichnet sind. Darüber hinaus sind auch die umgefallenen Behälter 3 mit einer anderen umge- bende Box 31 gekennzeichnet, die ihn einerseits markiert und andererseits dessen Ort und Ori entierung angibt. Auf Basis dieser Informationen kann dann die genaue Position der umgefallenen Behälter 3 auf dem Transporteur 5 als Signal ausgegeben werden bzw. der/die umgefallene/-n Behälter 3 bis zu der hier nicht dargestellten Weiche signaltechnisch mitverfolgt werden und au tomatisch aussortiert.

In der Figur 3 ist ein Ausführungsbeispiel eines erfindungsgemäßen Verfahrens 100 zur Erken nung von umgefallenen Behältern 3 als Flussdiagramm dargestellt. Zu sehen ist, dass im Schritt 110 zunächst das tiefe neuronale Netzwerk mit einem Trainingsdatensatz mit Bildern von stehen den und umgefallenen Behältern trainiert wird, sodass das tiefe neuronale Netzwerk anhand des Trainingsdatensatzes ein Modell entwickelt. Anhand dieses Modells kann dann das tiefe neuro nale Netzwerk im Betrieb erkennen, was ein stehender Behälter und was ein umgefallener Behäl ter ist.

Das Verfahren 100 wird anhand von umgefallenen Behältern 3 genauer beschrieben. Denkbar ist, dass das Verfahren 100 alternativ oder zusätzlich dazu ausgebildet ist, beschädigte Behälter zu erkennen. Entsprechend werden im Trainingsdatensatz hier nicht genauer dargestellte, beschä digte Behälter trainiert. Diese Behälter können Deformationen aufweisen sowie auch zerbrochene Behälter zeigen.

Der Trainingsdatensatz kann aus einem Satz größer 1000, bevorzugt größer 5000 und besonders bevorzugt größer 10000 Bildern gewonnen werden.

Im Schritt 120 werden die Behälter 2 des Behältermassenstroms auf dem Transporteur 5 stehend transportiert. Dabei kann es gelegentlich Vorkommen, dass einer der Behälter 2 umfällt und dann als umgefallener Behälter 3 auf dem Transporteur 5 liegt.

Um die umgefallenen Behälter 3 zu erkennen, wird zunächst der Behältermassenstrom M mit wenigstens einer Kamera 6 als Bilddatenstrom erfasst (Schritt 130), der anschließend von der Bildverarbeitungseinheit 7 mit dem tiefen neuronalen Netzwerk 71 ausgewertet wird (Schritt 140).

Die umgefallenen Behälter 3 werden von den stehend transportierten Behältern 2 des Behälter massenstroms nach der Erkennung und Lokalisation automatisch getrennt (Schritt 150), beispiels weise mit einem Greifarm oder mit einer Weiche.

In der Figur 4 ist ein Ausführungsbeispiel des Teilabschnitts 110 des Verfahrens 100 aus der Figur 3 zum Training des tiefen neuronalen Netzwerks 110 als Flussdiagramm genauer dargestellt. Zunächst werden im Schritt 111 Bilder von verschiedenen Behältertypen und/oder verschiedenen Beleuchtungsverhältnissen erfasst. Denkbar ist beispielsweise, dass dies auf einer Testanlage geschieht oder, dass Bilder vom Behältermassenstrom M verschiedener Getränkeverarbeitungs anlagen in einer Datenbank gesammelt werden.

Nachfolgend werden die Bilder im Schritt 112 auf ein Standardmaß skaliert. Dadurch können Sie einheitlich ausgewertet werden.

Im Schritt 113 werden die umgefallenen und die stehenden Behälter 2, 3 markiert und klassifiziert. Dies kann manuell, halbautomatisch oder automatisch geschehen. Beispielsweise kann dies ma nuell von einer Bedienperson an einem Bildschirm geschehen oder mit einem besonders rechen intensiven Bildverarbeitungsalgorithmus. Bei der Markierung kann es sich beispielsweise um eine umgebende Box handeln und bei der Klassifizierung um einen Behältertyp oder eine Behälter größe.

Anschließend werden im Schritt 114 die Bilder automatisiert vervielfältigt, um weitere Bilder mit zusätzlichen Kombinationen von stehenden und umgefallenen Behältern 2, 3 zu erstellen. Dabei werden zunächst Bildausschnitte mit jeweils einem stehenden oder einem umgefallenen Behälter 2, 3 erstellt, die dann zur Vervielfältigung individuell gedreht und/oder vergrößert werden. Denkbar ist auch, dass Belichtungsparameter der Bildausschnitte während der Vervielfältigung verändert werden. Anschließend können die Bildausschnitte in verschiedensten Kombinationen als weitere Bilder zusammengesetzt werden, aus denen dann im Schritt 115 der Trainingsdatensatz erstellt wird.

Im nachfolgenden Schritt 116 werden mittels des tiefen neuronalen Netzwerks 71 Merkmale au tomatisch extrahiert. Dabei kommt beispielsweise ein mehrstufiges Filterverfahren des Trainings datensatzes zum Einsatz. Denkbar ist, dass dabei Kantenfilter oder dergleichen verwendet wer den, um die äußere Grenze jedes einzelnen Behälters 2, 3 extrahieren.

Mit der Extraktion von Merkmalen kann hier ganz allgemein ein Verfahren zum Erkennen und/oder Lokalisieren von Unterscheidungsmerkmalen der umgefallenen Behälter 3 gegenüber den ste henden Behältern 2 in den Bildern des Trainingsdatensatzes gemeint sein. Alternativ zur automa tischen Extraktion mit dem tiefen neuronalen Netzwerk 71 kann dies auch manuell durch eine Bedienperson geschehen. Beispielsweise können die extrahierten Merkmale einen Behälterver schluss, eine Kontur eines stehenden bzw. umgefallenen Behälters 2,3, ein Behälteretikett und/o der Lichtreflektionen umfassen. Die extrahierten Merkmale können jeweils eine Merkmalsklassifi zierung, eine 2D- und/oder 3D-Koordinate umfassen. Nachfolgend wird im Schritt 117 das tiefe neuronale Netzwerk 71 mit dem Trainingsdatensatz trainiert. Dabei werden dem tiefen neuronalen Netzwerk 71 iterativ Bilder des Trainingsdatensat zes mit den extrahierten Merkmalen sowie den zugehörigen Markierungen und Klassifizierungen der umgefallenen und stehenden Behälter 2, 3 vorgegeben. Daraus entwickelt das tiefe neuronale Netzwerk 71 im Schritt 118 ein Modell, mit dem die umgefallenen und die stehenden Behälter 2, 3 erkannt werden können.

Im nachfolgenden Schritt 119 kann dann das Modell mittels des Trainingsdatensatzes ohne Vor gabe der Markierungen und Klassifizierungen verifiziert werden. Dabei wird verglichen, ob das tiefe neuronale Netzwerk 71 die zuvor vorgegebenen Markierungen und Klassifizierungen tatsäch lich in dem Trainingsdatensatz erkennt. Ebenso können weitere Bilder mit umgefallenen und ste henden Behälter 2, 3 dazu herangezogen werden, die das tiefe neuronale Netzwerk 71 nicht trai niert wurde.

In der Figur 5 ist der Teilschritt 140 des Verfahrens 100 aus der Figur 3 zur Auswertung des Bilddatenstroms mit dem tiefen neuronalen Netzwerk 71 als Flussdiagramm genauer dargestellt.

Zu sehen ist, dass die Bilder des Bilddatenstroms aus der Figur 1 zunächst skaliert werden. Dadurch arbeitet die Auswertung unabhängig von der tatsächlichen Konfiguration der Kamera.

Anschließend werden im Schritt 142 die Merkmale extrahiert. Dies geschieht in gleicher Art und Weise wie im Schritt 116 in Bezug auf die Figur 4 beschrieben.

Anschließend erkennt das tiefe neuronale Netzwerk im Schritt 143 die Orientierung und den Ort des jeweiligen Behälters 2, 3 und gibt eine Wahrscheinlichkeit an, ob dieser Behälter 2, 3 liegend oder stehend auf dem Transporteur 5 transportiert wird.

Diese Information wird anschließend im Schritt 144 visualisiert und gemäß der Figur 2 an einem Bildschirm ausgegeben. Dadurch kann eine Bedienperson überprüfen, ob die Erkennung ord nungsgemäß abläuft.

Des Weiteren wird bei einem umgefallenen Behälter 3 im Schritt 145 ein Signal ausgegeben, um diesen vom Transporteur 5 zu entfernen, beispielsweise mit einer Weiche oder einem Greifarm.

Dadurch, dass der Behältermassenstrom M mit der wenigstens einen Kamera 6 als Bilddaten strom erfasst und der Bilddatenstrom von der Bildverarbeitungseinheit 7 mit dem tiefen neurona len Netzwerk 71 ausgewertet wird, können die Bilder des Bilddatenstroms anhand vorher erlernter Erfahrungswerte des tiefen neuronalen Netzwerks 71 ausgewertet werde, um die stehenden und umgefallenen Behälter 2, 3 jeweils zu klassifizieren. Dadurch, dass es möglich ist, das tiefe neu ronale Netzwerk 71 mit Bildern verschiedenster Behältertypen und/oder Umgebungsbedingungen zu trainieren, ist es beim konkreten Anwendungsfall nicht mehr notwendig, die Auswertung des Bilddatenstroms anzupassen. Folglich ist das erfindungsgemäße Verfahren besonders flexibel und einfach anwendbar.

Es versteht sich, dass in den zuvor beschriebenen Ausführungsbeispielen genannte Merkmale nicht auf diese Kombination beschränkt sind, sondern auch einzelnen oder in beliebigen anderen Kombinationen möglich sind.