Die automatische Schüttgutsortierung ermöglicht es, mithilfe digitaler Bildgewinnung und Bildverarbeitung Schüttgüter mit hohem Durchsatz anhand optisch erfassbarer Merkmale in verschiedene Fraktionen (beispielsweise Gut- und Schlechtfraktion) zu separieren. Beispielsweise sind Bandsortiersysteme bekannt, die zellenförmige bildgebende Sensoren (z.B. Zeilenkameras) für die Bildgewinnung einsetzen. Die Bildgewinnung durch den Zeilensensor erfolgt dabei auf dem Förderband oder vor einem problemangepassten Hintergrund und synchron zur Bandbewegung. Die Materialausschleusung einer Fraktion (also der Schlechtfraktion bzw. der Schlechtobjekte) erfolgt in der Regel durch eine pneumatische Ausblaseinheit oder durch eine mechanische Auswurfvorrichtung (vgl. z.B. H. Demmer„Optische Sortieranlagen", BHM Heft 12, Springer, 2003). Alternativ zu einem Förderband kann der Materialtransport auch über den freien Fall oder in einem kontrollierten Luftstrom erfolgen. Aufgrund baulicher Beschränkungen sowie der benötigten Rechenzeit für die Bildauswertung in einem Rechner kann der Beobachtungszeitpunkt eines auszuschleusenden Objekts, der nachfolgend als t ₀ bezeichnet wird, nicht mit dem Ausschleus- bzw. Ausblaszeitpunkt übereinstimmen. Die Ausblaseinheit ist daher räumlich von der Sichtlinie der Zeilenkamera getrennt. Für eine korrekte Ausschleusung eines Schlechtobjekts müssen daher der Ausblaszeitpunkt (der nachfolgend als tb bzw., da geschätzt, als tb, bezeichnet wird) und auch die Position des auszuschleusenden Objekts (die nachfolgend als Xb(tb) bzw., da geschätzt, als Xb(tb) bezeichnet ist) geschätzt werden. Der Fettdruck „x" kennzeichnet hierbei, dass es sich in der Regel um eine mehrdimensionale Ortsposition handelt, wobei nachfolgend hierfür alternativ auch die Bezeichnung x verwendet wird. Bei den im Stand der Technik durchgeführten Abschätzungen wird jedoch vorausgesetzt, dass das auszublasende Objekt keine Eigenbewegung relativ zum Band aufweist und sich somit mit dem Geschwindigkeitsvektor Vband des Förderbandes bewegt. Der Ausschleusungszeitpunkt tb und der Ausschleusungsort Xb(tb) werden dann durch eine lineare Vorhersage auf Basis des Geschwindigkeitsvektors des Förderbandes Vb _an d und der gemessenen Objektposition x(t ₀ ) zum Beobachtungszeitpunkt t ₀ geschätzt.

Viele Schüttgüter erweisen sich jedoch aufgrund ihrer Geometrie und ihres Gewichts als unkooperativ und zeigen relativ zum Transportband eine zusätzliche Eigenbewegung (beispielsweise Erbsen, Pfeffer, rundliche Granulate). Zudem kann es aufgrund eines unterschiedlichen Luftwiderstands (auch das Gewicht bzw. die Dichte kann hier eine Rolle spielen) der einzelnen Objekte zu einer Beeinflussung der Flugbahn kommen. Dadurch wird die konstante lineare Bewegungsannahme des Schüttgutes gemäß Vband verletzt und die Objektposition Xb(tb) zum geschätzten Ausblaszeitpunkt tb falsch vorhergesagt. Als Folge davon findet keine Ausschleusung der detektierten Schlechtobjekte bzw. der Schlechtfraktion statt und zudem wird möglicherweise fälschlicherweise Gutmaterial ausgeschleust. Für unkooperative Schüttgüter ist daher oft keine optische Sortierung mit den nach dem Stand der Technik bekannten optischen Sortiersystemen auf Zeilensensorbasis möglich.

Um dieses Problem zu umgehen, sind aus dem Stand der Technik (DE 10 2004 008 642 AI und DE 69734198 T2) spezielle Systeme für die Sortierung unkooperativer Materialien bekannt, die jedoch einen hohen Aufwand für eine mechanische Materialberuhigung betreiben (über mechanische Mittel wird eine Eigenbewegung des Schüttguts auf dem Transportband unterdrückt). Diese Systeme weisen jedoch einen hohen technischen Realisierungsund Wartungsaufwand auf (beispielsweise die Verwendung speziell profilier- ter Transportbänder und Vibrationsrinnen).

Ausgehend vom Stand der Technik ist es daher die Aufgabe der vorliegenden Erfindung ein Fördersystem zum Transport eines eine Vielzahl einzelner Objekte umfassenden Materialstroms (sowie eine darauf basierende Anlage zur Schüttgutsortierung) und ein entsprechendes Transportverfahren zur Verfügung zu stellen, mit denen eine hochgenaue Vorhersage der Ortsposition auch unkooperativer Schüttgutobjekte und somit eine optimierte automatische Schüttgutsortierung auch für solche Objekte ermöglicht ist. Diese Aufgabe wird durch ein Fördersystem gemäß Anspruch 1, durch eine

Anlage zur Schüttgutsortierung gemäß Anspruch 13 sowie durch ein Transportverfahren gemäß Anspruch 15 gelöst. Vorteilhafte Ausgestaltungsvarianten lassen sich dabei jeweils den abhängigen Patentansprüchen entnehmen. Nachstehend wird die Erfindung zunächst allgemein, dann anhand von Ausführungsbeispielen im Detail beschrieben. Die einzelnen in den Ausführungsbeispielen in Kombination miteinander gezeigten Merkmale der Erfindung müssen dabei nicht genau in den gezeigten Kombinationen realisiert werden. Insbesondere können einzelne der gezeigten Merkmale der Ausführungsbei- spiele auch weggelassen werden oder gemäß der Struktur der abhängigen

Ansprüche mit weiteren Merkmalen der Erfindung auch auf andere Art und Weise kombiniert werden. Bereits einzelne der gezeigten Merkmale können für sich eine Verbesserung des Standes der Technik darstellen. Ein erfindungsgemäßes Fördersystem ist in Anspruch 1 beschrieben.

Für unterschiedliche Objekte können deren Positionen auch zu unterschiedlichen Zeitpunkten bestimmt werden. In der Regel werden aber für alle Objekte dieselben Zeitpunkte, an denen jeweils deren Ortspositionen bestimmt wer- den, gewählt (die Zeitpunkte werden beispielsweise über den Zeitpunkt der

Aufnahme von Kamerabildern einer optischen Erfassungseinheit des Systems festgelegt). Für unterschiedliche Objekte können die definierten Zeitpunkte, für die jeweils der Aufenthaltsort des jeweiligen Objekts (anhand der diesem Objekt zugehörigen, bereits bestimmten Ortspositionen) berechnet wird, unterschiedlich sein. Der jeweilige Aufenthaltsort kann aber auch für alle erfass- ten Objekte für ein und denselben späteren Zeitpunkt berechenbar bzw. vorhersagbar sein. Erfindungsgemäß wird somit eine Vorhersage ermöglicht, um die Ortsposition eines jeden erfassten Objekts zu einem - gesehen vom Zeitpunkt der letzten Ortspositionsbestimmung dieses Objekts - in der Zukunft liegenden Zeitpunkt hochgenau abzuschätzen.

Die einzelnen Objekte können dabei auf Basis dem Fachmann an sich bekannter Bildverarbeitungsverfahren (so kann ein aufgenommenes Kamerabild der Objekte einer Bildvorverarbeitung wie beispielsweise einer Kantendetektion unterzogen werden und anschließend eine Segmentierung durchgeführt wer- den) in bei der optischen Erfassung erzeugten (in der Regel digitalen) Bildaufnahmen des Materialstroms bzw. der Objekte darin lokalisiert, identifiziert und voneinander unterschieden werden, um die Ortspositionen eines definierten Objekts zu den verschiedenen Zeitpunkten zu bestimmen und um damit den Weg dieses Objekts zu verfolgen (Objektverfolgung). Auf Basis der Identifikation und der Unterscheidung der einzelnen Objekte in einer optisch erfassten Bildserie kann für jedes Objekt aus den zu unterschiedlichen Zeitpunkten bestimmten Ortspositionen dieses Objekts ein Bewegungspfad für das Objekt bestimmt werden. Beispielsweise anhand dieses Bewegungspfades kann dann der zukünftige Aufenthaltsort abgeschätzt bzw. berechnet werden (ggfs. auf Basis eines mit dem Bewegungspfad bzw. den einzelnen Objektpositionen zu unterschiedlichen Zeitpunkten bestimmten oder ausgewählten Bewegungsmodells für das gerade betrachtete Objekt).

Somit sind erfindungsgemäß die einzelnen Objekte im Materialstrom identifi- zierbar und anhand der mehrfach zu unterschiedlichen Zeitpunkten bestimmten Position eines Objekts kann dessen Aufenthaltsort zu einem in naher Zukunft liegenden Zeitpunkt (also z.B. kurz nach Verlassen des Förderbandes auf Höhe der Ausblaseinheit) hochgenau bestimmt werden. Zum Transport des Materialstroms kann das erfindungsgemäße Fördersystem eine Fördereinheit aufweisen, bei der es sich um ein Förderband handeln kann. Ebenso kann die

Erfindung jedoch bei Fördersystemen, die auf Basis des freien Falls oder eines kontrollierten Luftstroms arbeiten, eingesetzt werden.

Erste vorteilhafterweise realisierbare Merkmale der Erfindung zeigt Anspruch 2.

Das Bestimmen solcher Bewegungspfade wird im Rahmen der Erfindung nachfolgend auch als Objektverfolgung (bzw. Englisch:„tracking") bezeichnet. Das Bestimmen der Bewegungspfade erfolgt bevorzugt rechnergestützt in einem Rechnersystem des Fördersystems, also mikroprozessorbasiert.

Weitere vorteilhafterweise realisierbare Merkmale beschreibt Anspruch 3.

Ein für ein Objekt ausgewähltes Bewegungsmodell kann dabei der Modellierung zukünftiger Objektbewegungen dieses Objekts dienen. Die Bewegungs- modelle können in einer Datenbank im Speicher des Rechnersystems des Fördersystems abgelegt werden. Ein solches Bewegungsmodell kann Bewegungsgleichungen umfassen, deren Parameter durch Regressions-Verfahren (beispielsweise Methode der kleinsten Quadrate, least-squares-fit) oder durch ein um eine Parameteridentifikation erweitertes Kaiman-Filter anhand der be- stimmten Ortspositionen bzw. des bestimmten Bewegungspfads des jeweiligen Objekts bestimmbar sind. Dabei ist es möglich, das Bewegungsmodell erst nach Vorliegen aller während der optischen Erfassung aufgenommenen und bestimmten Ortspositionen eines Objekts auszuwählen. Alternativ dazu kann das Bewegungsmodell in Echtzeit noch während der Aufnahme der einzelnen Bilder zur aufeinanderfolgenden Bestimmung der einzelnen Ortspositionen ausgewählt bzw. gewechselt werden (d.h. während die einzelnen Bildaufnahmen noch durchgeführt werden, kann ggfs. ein Überwechseln auf ein anderes Bewegungsmodell für das gerade betrachtete Objekt erfolgen, wenn z.B. ein Fit-Verfahren zeigt, dass dieses andere Bewegungsmodell den Bewegungsver- lauf des Objekts genauer wiedergibt).

Weitere vorteilhafterweise realisierbare Merkmale beschreibt Anspruch 4.

Die Klassifizierung muss dabei nicht auf Basis oder unter Verwendung der bei der optischen Erfassung (insbesondere: aus den aufeinanderfolgenden Kameraaufnehmen) bestimmten Ortspositionen erfolgen (auch wenn die Informati- on über die bestimmten Ortspositionen vorteilhaft in die Klassifizierung einfließen kann, siehe auch nachfolgend). So kann die Klassifizierung eines anhand seiner Ortspositionen zu unterschiedlichen Zeitpunkten bzw. Bewegungspfades identifizierten Objekts auch beispielsweise rein anhand von ge- ometrischen Merkmalen (z.B. Umriss oder Form) dieses Objekts erfolgen, wobei die geometrischen Merkmale über geeignete Bildverarbeitungsverfahren (z.B. Bildvorverarbeitung wie Kantendetektion mit nachfolgender Segmentierung) aus den bei der optischen Erfassung gewonnenen Bildern bestimmt werden können.

Die Klassifizierung kann insbesondere in genau zwei Klassen, eine Klasse von Gutobjekten und eine Klasse von Schlechtobjekten (die auszuschleusen sind), erfolgen. Die Klassifizierung kann somit anhand bei der optischen Erfassung aufgenommener Bilder der Objekte geschehen, indem diese Bilder mit geeig- neten Bildverarbeitungsmethoden ausgewertet werden und so zum Beispiel

Objektform, Objektposition und/oder Objektorientierung zu unterschiedlichen Zeitpunkten bestimmt wird.

Nachfolgend wird unter der Pose bzw. der räumlichen Lage eines Objekts die Kombination aus seiner Ortsposition (bzw. der Position seines Schwerpunktes) und seiner Orientierung verstanden. Dabei kann es sich um eine zweidimensionale Lage handeln (z.B. relativ zur Ebene eines Förderbandes des Fördersystems - die Koordinate senkrecht dazu wird dann nicht beachtet), aber auch um eine dreidimensionale Lage, also um die Ortsposition und die Orientierung des dreidimensionalen Objekts im Raum.

Weitere vorteilhafterweise erfindungsgemäß realisierbare Merkmale lassen sich den Ansprüchen 5 und 6 entnehmen. Bei der bestimmten zweidimensionalen Ortsposition handelt es sich vorzugsweise um die Position in der Ebene eines beweglichen Förderbandes, jedoch relativ zu den unbeweglichen Elementen des Fördersystems: Es kann somit eine Positionsbestimmung im unbeweglichen Weltkoordinatensystem erfolgen, in dem nicht nur die unbeweglichen Elemente des Fördersystems ruhen, sondern auch z.B. die optische Erfassungsvorrichtung (Kamera). Weitere vorteilhafterweise realisierbare Merkmale sind im Anspruch 7 beschrieben.

Es ist somit möglich, für die einzelnen zu erfassenden Objekte jeweils nicht nur die Ortsposition, sondern zusätzlich auch ihre Orientierung im Raum

(und/oder ihre Form), insgesamt also ihre Pose, zu den mehreren unterschiedlichen Zeitpunkten zu bestimmen. Auch diese so bestimmten Orientierungsinformationen können zum Berechnen der Aufenthaltsorte zu dem/den definierten Zeitpunkt(en) nach dem jeweils spätesten der unterschiedlichen Zeit- punkte eingesetzt werden.

Dabei muss nicht zusätzlich zum Bestimmen dieser Aufenthaltsorte auch ein Bestimmen der Orientierung der Objekte zu dem/den definierten Zeitpunkten) nach dem jeweils spätesten der unterschiedlichen Zeitpunkte erfol- gen. Gemäß Anspruch 8 ist dies aber möglich.

Auch in die Bestimmung der Bewegungspfade können die bestimmten Orientierungen (zusätzlich zu den bestimmten Ortspositionen) mit einfließen. Auch das Bestimmen des/der Bewegungsmodells/e und/oder das Klassifizieren der Objekte kann/können unter zusätzlicher Verwendung der bestimmten Orientierungsinformationen erfolgen.

Weitere vorteilhafterweise realisierbare Merkmale sind im Anspruch 9 beschrieben.

Der/Die Flächensensor(en) kann/können insbesondere (eine) Kamera(s) sein. Vorzugsweise können CCD-Kameras eingesetzt werden, auch die Verwendung von CMOS-Sensoren ist möglich. Weitere vorteilhafterweise realisierbare Merkmale sind im Anspruch 8 beschrieben.

In den einzelnen aufgenommenen Abbildern kann jeweils die Form dieses/dieser Objekte(s) über Bildverarbeitungsmaßnahmen (z.B. Bildvorverar- beitung wie z.B. Kantendetektion mit anschließender Segmentierung und anschließendem Objektverfolgungsalgorithmus) bestimmt werden. Das dreidi- mensionale Abbild eines Objekts kann durch geeignete Algorithmen

(siehe z.B. R. Szeliski, Computer Vision: Algorithms and Applications, Ist Edition, Springer, 2010; oder A. Blake, M. Isard„Active Contours", Springer, 1998) aus den beispielsweise per Objektverfolgung in den einzelnen Abbildern identifizierten Formen eines einzelnen Objekts generiert werden.

Weitere vorteilhafterweise realisierbare Merkmale des erfindungsgemäßen Fördersystems lassen sich den Ansprüchen 11 und 12 entnehmen. Vorteilhafterweise realisierbare Merkmale der erfindungsgemäßen Anlage zur Schüttgutsortierung finden sich im Anspruch 14.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen beschrieben. Dabei zeigen:

Figur 1 einen grundlegenden Beispielaufbau einer erfindungsgemäßen Anlage zur Schüttgutsortierung unter Einsatz eines erfindungsgemäßen Fördersystems.

Figuren 2 bis 4 die Arbeitsweise der in Figur 1 gezeigten Anlage zur Berechnung des zukünftigen Aufenthaltsortes von Objekten des Materialstroms.

Figur 5 den prinzipiellen Aufbau einer weiteren Anlage zur Schüttgutsortierung gemäß der Erfindung.

Figur 6 die Arbeitsweise dieser Anlage.

Die in Figur 1 gezeigte Anlage zur Schüttgutsortierung umfasst ein Fördersystem mit einer hier als Förderband ausgebildeten Fördereinheit 2, einer oberhalb der Einheit 2 und am Abwurfende derselben positionierten (und das Ab- wurfende erfassenden) Flächenkamera (CCD-Kamera) 3 und flächigen Leuchtmitteln 5 zur Beleuchtung des Sichtfeldes der Flächenkamera. Die Bildgewinnung durch den Flächensensor (Kamera) 3 erfolgt hierbei auf dem Förderband 2 oder vor einem problemangepassten Hintergrund 7 und erfolgt synchron zur Bandbewegung.

Die Anlage umfasst darüber hinaus eine Sortiereinheit, von der hier nur die Ausblaseinheit 4 dargestellt ist. Gezeigt ist zudem ein Rechnersystem 6, mit dem alle nachfolgend beschriebenen Berechnungen der Anlage bzw. des Fördersystems durchgeführt werden. Die einzelnen Objekte Ol, 02, 03 ... im Materialstrom M werden somit vermittels des Förderbandes 2 durch den Erfassungsbereich der Kamera 3 transportiert und dort hinsichtlich ihrer Objektpositionen durch Bildauswertungsalgorithmen im Rechnersystem 6 erfasst und bewertet. Anschließend erfolgt durch die Ausblaseinheit 4 eine Separierung in die Schlecht-Fraktion (Schlecht- Objekte SOI und S02) und in die Gut-Fraktion (Gut-Objekte GOl, G02, G03

.·)·

Erfindungsgemäß kommt somit ein Flächensensor (Flächenkamera) 3 zum Einsatz. Die Bildgewinnung am Schüttgut bzw. Materialstrom M (bzw. den einzelnen Objekten Ol, ... desselben) erfolgt durch die Kamera 3 auf dem Förderband 2 und/oder vor einem problemangepassten Hintergrund 7. Die Bildaufnahmerate ist an die Geschwindigkeit des Förderbandes 2 angepasst oder durch einen Weggeber (nicht gezeigt) synchronisiert. Erfindungsgemäß wird auf die Gewinnung einer Bildfolge (statt einer Momentaufnahme) des Schüttgutstroms zu unterschiedlichen Zeiten (kurz hintereinander) abgezielt mittels mehrerer Flächenabtastungen bzw. Flächenaufnahmen des Materialstroms M durch die Flächenkamera 3 wie folgt (vgl. Figuren 2 bis 4).

In Figur 2 ist das Sichtfeld 3' der Kamera 3 auf das Förderband 2 mit dem Schüttgut bzw. den Objekten O desselben in Aufsicht dargestellt (Figur 1 skizziert dieses Sichtfeld 3' der Kamera 3 in Seitenansicht). Das Ausschleusen erfolgt durch die Ausblaseinheit 4 (deren Ausblasbereich 4' in Figur 2 in Aufsicht dargestellt ist). Alternativ zum Förderband 2 könnte der Materialtransport auch im freien Fall oder in einem kontrollierten Luftstrom erfolgen (hier nicht gezeigt) wenn die Einheiten 3 bis 7 entsprechend umpositioniert werden.

Im Rahmen der Erfindung kann die Datengewinnung somit auf Basis einer (oder auch mehrerer) bildgebender Flächensensoren wie der Flächenkamera 3 erfolgen. Dies ermöglicht eine Positionsbestimmung und auch eine Messung physikalischer Eigenschaften der Einzelpartikel bzw. Objekte Ol, ... des Schüttguts M zu den mehreren unterschiedlichen Zeitpunkten, wie es in Figur 2 skizziert ist. Als bildgebende Flächensensoren können auch bildgebende Sensoren außerhalb des sichtbaren Wellenlängenbereichs und bildgebende Hyperspektralsensoren eingesetzt werden. Zudem kann die Positionsbestimmung auch durch einen (oder mehrere) 3D-Sensor(en) erfolgen, der/die Positionsmessungen der Einzelobjekte im Raum statt in der Ebene des Förderbandes 2 liefern kann/können. Wie die Figuren 2 bis 4 zeigen, kann in der vorliegenden Erfindung eine prä- diktive Multiobjektverfolgung zum Einsatz kommen. Durch eine in Bezug auf Vband geeignet hohe Taktung der Kamera (also der Anzahl aufgenommener Kamerabilder pro Zeiteinheit) bzw. der Bildgewinnung können die Objektpositionen x(t)=(x(t),y(t)) im kartesischen Koordinatensystem x, y, z (mit der xy- Ebene als Ebene, in der sich das Förderband 2 bewegt) zu mehreren verschiedenen Zeitpunkten t gemessen werden. Die Messung der Objektpositionen x(t_ ₅ ), x(t_ ₄ ), x(t_ ₃ ), ... erfolgt zu den verschiedenen, aufeinanderfolgenden (in der Regel in konstanten Zeitabständen aufeinanderfolgenden) Zeitpunkten t_ ₅ , t_ ₄ , t_ ₃ , wobei t ₀ den letzten Zeitpunkt der Beobachtung des den einge- zeichneten Bewegungspfad 1 aufweisenden Objekts kennzeichnet, bevor dieses Objekt das Sichtfeld 3' der Kamera 3 verlässt. Aus diesen verschiedenen gemessenen Ortspositionen zu den verschiedenen Zeitpunkten ergeben sich für die einzelnen optisch erfassten Objekte (geeignete Erkennungsalgorithmen der Bildverarbeitung ermöglichen die Verfolgung der einzelnen Objekte (vgl. hier z.B. A. Yilmaz, 0. Javed, and M. Shah, "Object tracking: A survey,"

ACM Computing surveys (CSUR), vol. 38, no. 4, p. 13, 2006 oder B. Jähne, Digitale Bildverarbeitung und Bildgewinnung, 7., neu bearbeitete Auflage 2012, Springer, 2012) jeweils Bewegungspfade durch Aneinanderreihung der einzelnen erfassten und bestimmten Objektpositionen x. Dies ist in Figur 2 mit dem Bewegungspfad 1 für ein einzelnes Objekt O für dessen Bewegung zwischen den Zeitpunkten t_ ₅ und t ₀ , zwischen denen dieses Objekt im Erfassungsbereich 3' der Kamera 3 durch Einzelbildaufnahmen erfasst worden ist, gezeigt. Somit steht statt einer einzelnen Messung x(t ₀ ) des Orts eines Objekts Ol, 02, ... der beobachtete Bewegungspfad 1 mit x(t ₀ ), x(t-i), x(t_ ₂ ), x(t_ ₃ ), ... eines Ob- jekts Ol, 02, ... für die Schätzung bzw. Berechnung des Aufenthaltsortes dieses Objekts zu einem (oder auch mehreren) definierten Zeitpunkt(en) nach dem spätesten Zeitpunkt t ₀ , zu dem für dieses Objekt in der Serie der aufgenommenen Kamerabilder die Ortsposition bestimmt worden ist, zur Verfügung. Somit kann insbesondere für einen späteren Zeitpunkt tb, zu dem sich dieses Objekt im Ausblasbereich 4' der Ausblaseinheit 4 befindet, der Aufent- haltsort hochgenau abgeschätzt werden. Mit der aus dem Bewegungspfad 1 berechneten bzw. abgeschätzten Ausblasposition Xb(tb) kann die Ausblaseinheit 4 zum Ausblaszeitpunkt tb aufgrund der hochgenau bestimmten Ausblasposition dieses Objekt (sofern es sich um ein Schlecht-Objekt handelt) zielgerichtet aus dem Materialstrom M entfernen.

Zudem liefert das eingesetzte prädiktive Multiobjektverfolgungsverfahren zusätzlich eine Unsicherheitsangabe zu den geschätzte Größen in Form einer Varianz (Ausblaszeitpunkt) bzw. Kovarianzmatrix (Ausblasposition). Figuren 3 und 4 zeigen das erfindungsgemäß einsetzbare Vorgehen zur prädik- tiven Multiobjektverfolgung genauer. Zeitlich kann dieses Vorgehen in zwei Phasen, eine Verfolgungs- bzw. Trackingphase und eine Prädiktionsphase, unterteilt werden (wobei die Prädiktionsphase zeitlich gesehen nach der Trackingphase erfolgt). Figur 4 verdeutlicht, dass die Trackingphase sich aus Fil- ter- und Prädiktionsschritten zusammensetzt und die Prädiktionsphase sich auf Prädiktionsschritte beschränkt. Wie in Figur 3 verdeutlicht, ist die erste Phase (Trackingphase) dem Sichtfeld 3' der Flächenkamera 3 zugeordnet. Während ein bestimmtes Objekt aus der Menge der Objekte Ol, 02, ... im Materialstrom M diesen Bereich 3' durchläuft, kann es in den einzelnen, zu den Zeitpunkten t_ ₅ , t_ ₄ , t_ ₃ , ... aufgenommenen Kamerabildern identifiziert werden und es kann schritthaltend eine Ortspositionsbestimmung erfolgen. Zusätzlich zur Bestimmung der Ortsposition kann dabei auch eine Bestimmung der Orientierung des Objekts in den Kamerabildern erfolgen, so dass im ersten erfindungsgemäßen Schritt jeweils nicht nur die Ortsposition sondern auch die Orientierung der Objekte zu mehreren unterschiedlichen Zeitpunkten (also die Objektpose) bestimmt wird, wonach dann in dem zweiten erfindungsgemäßen Schritt anhand der zu den unterschiedlichen Zeitpunkten bestimmten Ortsposen für die einzelnen Objekte jeweils der Aufenthaltsort zu mindestens einem definierten Zeitpunkt (dem Ausblaszeitpunkt) nach der Aufnahme des letzten Kamerabildes berechnet werden kann. Figur 4 zeigt dieses Vorgehen der prädiktiven Multiobjektverfolgung schematisch. Für das Verfolgen (Tracking) der Objekte in der Trackingphase (Figur 4a) können rekursive Schätzverfahren eingesetzt werden. Alternativ können für das Tracking jedoch auch nicht-rekursive Schätzmethoden eingesetzt werden. Die rekursiven Verfahren (z.B. Kaiman-Filtermethoden) setzen sich aus einer

Abfolge von Filter- und Prädiktionsschritten zusammen. Sobald ein Objekt in den Kameradaten zum ersten Mal erfasst wird, schließen sich Prädiktions- und Filterschritte an. Durch die Prädiktion wird die aktuelle Positionsschätzung bis zur nächsten Bildaufnahme (z.B. durch eine lineare Bewegungsvorsage) fort- geschrieben. Im anschließenden Filterschritt wird die verfügbare Positionsschätzungen anhand der gemessenen Kameradaten (also auf Basis der aufgenommenen Bilddaten) aktualisiert bzw. korrigiert. Hierzu kann ein Kaiman- Filter genutzt werden. Es können auch mehrere Prädiktions- bzw. Filterschritte aufeinander folgen.

Zugleich können in der Trackingphase Parameter von Bewegungsgleichungen geschätzt werden, wobei die Bewegungsgleichungen ein Bewegungsmodell für die Bewegung eines einzelnen Objektes beschreiben können. Auf diese Weise kann anhand der aufgenommenen, also optisch erfassten Informatio- nen (also des Bewegungspfads der einzelnen aufgenommenen Ortspositionen bzw., sofern auch die Lage erfasst wird, des Bewegungs- und Orientierungs- änderungspfades, der sich aus den zu den mehreren unterschiedlichen Zeitpunkten aufgenommenen Objektposen ergibt) der zukünftige Bewegungspfad des betrachteten Objekts hochgenau abgeschätzt werden und somit auch dessen Aufenthaltsort zum späteren, potentiellen (sofern es sich um ein

Schlecht-Objekt handelt) Ausblaszeitpunkt t _b . Beispiele von Parametern der Bewegungsgleichungen, die auf Grundlage der Bildfolgen geschätzt werden können, sind Beschleunigungswerte in allen Raumrichtungen, Rotationsachsen und -richtungen. Diese Parameter können durch das Tracking in den Bild- folgen erfasst werden und legen ein Bewegungsmodell für jedes Partikel fest, das z.B. auch Rotations- und Ouerbewegungen umfasst.

In der der Trackingphase (in der sich das betrachtete Objekt im Bilderfassungsbereich der Kamera 3, also im Bereich 3' befindet) nachfolgenden Prä- diktionsphase (während der sich das betrachtete Objekt, nachdem es den

Abbildungsbereich der Kamera 3 gerade verlassen hat, außerhalb des Bereichs 3' und im Bereich 3" zwischen diesem Bereich 3' einerseits und dem Ausblasbereich 4' andererseits fortbewegt und somit nicht mehr von der Kamera 3 erfasst werden kann), können die bestimmten Bewegungsgleichungen herangezogen werden, um für das gerade betrachtete Objekt (also bei entspre- chender Rechnerleistung für jedes erfasste Objekt im Materialstrom M) eine

Schätzung bzw. Berechnung der nachfolgenden Ortsposition (bzw. auch der Pose) vorherzusagen.

Nachdem das zu verfolgende Objekt das Sichtfeld 3' der Kamera 3 verlassen hat, schließt sich somit die Prädiktionsphase an. Diese zweite Phase der Objektverfolgung kann aus einem oder mehreren Prädiktionsschritten bestehen, die auf den zuvor in der Trackingphase ermittelten Bewegungsmodellen (z.B. geschätzten Rotationsbewegungen) beruhen. Das Ergebnis dieser Prädiktionsphase ist eine Schätzung des Aufenthaltsortes zu einem späteren Zeit- punkt (wie beispielsweise des Ausblaszeitpunktes tb und des Aufenthaltsortes zu diesem Zeitpunkt, also der Ausblasposition Xb(tb)) . Das Verfolgen der Objekte erfolgt also in zwei Phasen. Die Trackingphase setzt sich aus Folgen von Filter- und Prädiktionsschritten zusammen. Filterschritte beziehen sich auf das Verarbeiten von Kamerabildern zur Verbesserung der aktuellen Positions- Schätzungen und Prädiktionsschritte schreiben die Positionsschätzungen bis zum nächsten Kamerabild, also nächsten Filterschritt, fort. Die an die Trackingphase anschließende Prädiktionsphase besteht nur aus Prädiktionsschritten, da aufgrund fehlender Kameradaten kein Filterschritt mehr durchgeführt werden kann.

Die Trackingphase kann auf verschiedene Weisen durchgeführt werden: Entweder nicht-rekursiv, wobei aus jedem Bild die aktuellen Objektpositionen oder Objektlagen ermittelt werden (hierbei müssen keine Bewegungsmodelle benutzt werden. Alle über die Zeit gewonnenen Objektpositionen können gesammelt werden, um daraus Trajektorien für die einzelnen Objekte zu bestimmen. Auch eine rekursive Verarbeitung ist möglich, so dass nur die aktuelle Positionsschätzung eines Objekts vorgehalten werden muss. Hierbei werden die Bewegungsmodelle genutzt (Prädiktionsschritte), um die Objektbewegung zwischen Kameramessungen vorherzusagen und somit verschiedene Filterschritte in Beziehung zu setzen. In einem Filterschritt dient die Prädiktion der Ergebnisse des vorangegangenen Filterschritts als Vorwissen. In diesem Fall findet eine Gewichtung zwischen den prädizierten und den aus dem aktuellen Kamerabild ermittelten Positionen statt. Auch ist es möglich, rekursiv mit einer Adaption der Bewegungsmodelle zu arbeiten: Hierbei erfolgt eine simultane Schätzung von Objektpositionen bzw. -lagen und Modellparame- tern. Durch die Betrachtung von Bildfolgen können z.B. Beschleunigungswerte als Modellparameter bestimmt werden. Die Bewegungsmodelle werden somit während der Trackingphase erst identifiziert. Dabei kann es sich um ein festes Modell für alle Objekte oder um individuelle Bewegungsmodelle handeln. Das Bezugszeichen bezeichnet die Extrapolation des in der Trackingphase bestimmten Bewegungspfades 1 eines Objektes über den Erfassungszeitraum dieses Objekts durch die Kamera 3 hinaus, also die vorhergesagte Bewegungsbahn des Objektes nach Verlassen des Erfassungsbereiches der Kamera 3', also insbesondere auch zum Zeitpunkt des Vorbeifluges an der Ausblasein- heit 4 (bzw. durch den Erfassungsbereich 4' derselben).

Die Prädiktionsphase kann die zuvor in der Trackingphase ermittelten Modellinformationen direkt nutzen und besteht aus reinen Prädiktionsschritten, da Kameradaten nicht mehr zur Verfügung stehen und somit keine Filterschritte mehr erfolgen können. Die Prädiktionsphase kann weiter unterteilt werden, beispielsweise in eine Phase, in der die Objekte sich noch auf dem Förderband befinden, und eine Flugphase nach Verlassen des Bandes. Für die Prädiktion der Bewegungen können in beiden Phasen zwei verschiedene Bewegungsmodelle genutzt werden (beispielweise ein zweidimensionales Bewegungsmodell auf dem Förderband und ein dreidimensionales Bewegungsmodell in der sich anschließenden Flugphase).

Eine Möglichkeit, um die Kamerabilddaten für die Objektverfolgung (Tracking) aufzubereiten besteht darin, die Daten durch Bildvorverarbeitungsverfahren und Segmentierungsverfahren in eine Menge von Objektpositionen zu überführen. Einsetzbare Bildvorverarbeitungsverfahren und Segmentierungsverfahren sind beispielsweise inhomogene Punktoperationen zur Entfernung von Beleuchtungsinhomogenitäten und bereichsorientierte Segmentierungsverfahren wie sie in der Literatur (B. Jähne, Digitale Bildverarbeitung und Bildge- winnung, 7., neu bearbeitete Auflage 2012, Springer, 2012; oder J. Beyerer, F.

P. Leon, and C. Frese„Automatische Sichtprüfung: Grundlagen, Methoden und Praxis der Bildgewinnung und Bildauswertung", 2013th ed. Springer, 2012) beschrieben sind.

Die Zuordnung von Messungen zu prioren Schätzungen kann angepasst an die zur Verfügung stehenden Rechenkapazitäten im Rechnersystem 6 beispielsweise explizit durch eine Nächster-Nachbar-Suche oder auch implizit durch assoziationsfreie Methoden erfolgen. Entsprechende Verfahren sind z.B. in R. P. S. Mahler„Statistical Multisource-Multitarget Information Fusion", Boston, Mass.: Artech House, 2007, beschrieben.

Zur simultanen Schätzung von Objektpositionen und Modellparametern können beispielsweise Kaiman-Filtermethoden oder andere Verfahren zur (nicht linearen) Filterung und Zustandsschätzung verwendet werden, wie sie beispielsweise in F. Sawo, V. Klumpp, U. D. Hanebeck,„Simultaneous State and Parameter Estimation of Distributed-Parameter Physical Systems based on Sliced Gaussian Mixture Filter", Proceedings of the llth International Conference on Information Fusion (Fusion 2008), 2008, beschrieben sind.

Die Ermittlung von Bewegungsmodellparametern hat hierbei zwei Funktionen:

1. Zunächst werden diese Parameter sowohl in der Tracking- als auch in der Prädiktionsphase zur Berechnung des/der Prädiktionsschritte(s) herangezogen, um eine präzise Vorhersage von Ausblaszeitpunkt und -position zu ermöglichen (beispielsweise kann während der Tracking- phase die vom Modell vorhergesagte Position eines Objekts mit der tatsächlich in dieser Phase gemessenen Objektposition verglichen werden und die Parameter des Modells können ggfs. angepasst werden).

2. Darüber hinaus erweitern die Modellparameter den Merkmalsraum, auf dessen Grundlage die Klassifikation und die anschließende An- steuerung der Ausblaseinheit erfolgen können. Insbesondere können Schüttgüter hierdurch zusätzlich zu den optisch erkennbaren Merkmalen anhand von Unterschieden im Bewegungsverhalten klassifiziert und entsprechend sortiert werden.

Alternativ zum in Figur 1 gezeigten Aufbau kann beispielsweise auch der in Figur 5 skizzierte Aufbau verwendet werden, der dem in Figur 1 gezeigten sehr ähnlich ist, so dass hier nur die Unterschiede beschrieben werden. In Figur 5 werden statt einer einzelnen Flächenkamera 3 mehrere einzelne, entlang des Förderbandes 2 und oberhalb desselben angeordnete Zeilenkameras verwendet (Zeilenausrichtung senkrecht zur Transportrichtung x und zur Lotrichtung z der Kameras 3a bis 3c auf die Ebene des Förderbandes xy, also in y- Richtung). Die z-Richtung entspricht hier der Aufnahmerichtung der Kamera 3 (Figur 1) bzw. der mehreren Kameras 3a bis 3c (Figur 5). Wie Figur 5 zeigt, können somit auch mehrere, räumlich entlang des Förderbandes 2 zueinander mit vorzugsweise konstanten Abständen versetzte Zeilenkameras (oder auch mehrere Flächenkameras mit einer oder mehrerer Regions-Of-Interest, ROIs) einschließlich der den Kameras jeweils zugeordneten Beleuchtungen 5 eingesetzt werden. Die Zeilenkameras oder die Flächenkameras können dabei sowohl über dem Transportband 2 als auch über der Flugbahn des Schüttgutes vor einem problemangepassten Hintergrund 7 (dies gilt im gezeigten Beispiel für die in Transportrichtung x des Bandes 2 gesehen letzte Kamera 3c) angebracht werden. Die dadurch erzielte Bildgewinnung ist in Figur 6 skizziert, im Gegensatz zu Figur 5 (die nur drei Zeilenkameras 3a bis 3c zeigt) hier für insgesamt sechs unterschiedliche, entlang der Transportrichtung x hintereinander angeordnete Zeilenkameras (deren Erfassungsbereiche mit 3a' bis 3f bezeichnet sind).

Durch die Nutzung mehrerer Zeilenkameras 3a bis 3c (Figur 5) bzw. 3a bis 3f (Figur 6) und Verfahren zur Multiobjektverfolgung kann die Position ein und desselben Objektes zu mehreren Zeitpunkten beim Durchqueren der Zeilen- kamerasichtfelder 3a' bis 3f bestimmt werden, wodurch in wie zuvor beschriebener Art und Weise ein Bewegungspfad 1 gewonnen werden kann.

Gegenüber dem Stand der Technik weist die vorliegende Erfindung eine Reihe wesentlicher Vorteile auf.

Durch die Bestimmung des Bewegungspfades 1 eines jeden Objektes Ol, 02, ... ist eine deutlich verbesserte Vorhersage bzw. Schätzung (Berechnung) des Ausblaszeitpunktes tb und der Ausblasposition Xb(tb) möglich, auch wenn die konstante lineare Bewegungsannahme des Schüttgutes durch die Geschwindigkeit Vband nicht erfüllt wird. Dadurch kann der mechanische Aufwand für die Materialberuhigung unkooperativer Schüttgüter erheblich reduziert werden.

Für extrem unkooperative Materialien wie beispielsweise kugelförmiges Schüttgut wird es durch die vorliegende Erfindung in vielen Fällen sogar über- haupt erst möglich, eine optische Sortierung der beschriebenen Art durchzuführen.

Vor dem Hintergrund, dass Endkunden, insbesondere im Lebensmittelbereich, eine Vielzahl unterschiedlicher Schüttgutprodukte M auf ein und derselben Sortieranlage sortieren lassen, kann ein breites Produktspektrum verarbeitet werden, ohne dass durch Fördergurtwechsel (beispielsweise Einsatz von Fördergurten mit unterschiedlich stark strukturierter Oberfläche) oder andere mechanische Veränderungen eine Anpassung an unkooperatives Schüttgutmaterial erfolgen muss.

Zudem ermöglicht das Verfahren zur Multiobjektverfolgung eine verbesserte optische Charakterisierung und Merkmalsgewinnung aus den Bilddaten der einzelnen Objekte 0 des beobachteten Schüttgutstroms M. Da sich die unkooperativen Objekte aufgrund ihrer zusätzlichen Eigenbewegung in der Regel in unterschiedlichen dreidimensionalen Lagen der Kamera präsentieren, können Bildmerkmale verschiedener Objektansichten zu einem erweiterten Objektmerkmal über die einzelnen Beobachtungszeitpunkte kumuliert werden. Beispielsweise kann dadurch auch die dreidimensionale Form eines Objektes geschätzt und als Merkmal für die Sortierung verwendet werden. Die Extrapo- lation der dreidimensionalen Form eines Objektes aus den aufgenommenen

Bilddaten kann dabei wie in der Literatur beschrieben (siehe z.B. S. J. D. Prince „Computer vision models, learning, and inference", New York, Cambridge University Press, 2012) z. B. anhand der visuellen Hülle der einzelnen Objekte in unterschiedlichen Posen (Shape-from-Silhouettes-Verfahren) erfolgen.

Dadurch wird eine verbesserte Unterscheidung von Objekten mit orientierungsabhängiger Erscheinung erreicht. In manchen Fällen kann dadurch auf eine weitere Kamera für eine Zweiseitenprüfung verzichtet werden. Die erweiterten Objektmerkmale können zudem auch für eine verbesserte Bewe- gungsmodellierung im Rahmen des prädiktiven Trackings eingesetzt werden, indem beispielsweise die dreidimensionale Form für die Vorhersage der Flug- bahn berücksichtigt wird.

Darüber hinaus kann das identifizierte Modell, das den Bewegungspfad 1 eines bestimmten Objektes charakterisiert, selbst als Merkmal für eine Klassifi- kations- oder Sortierentscheidung verwendet werden. Der anhand der einzelnen Kameraaufnahmen bestimmte Bewegungspfad 1 sowie auch der nach Verlassen des Abtastbereiches 3', also der auf Basis des Bewegungspfads 1 geschätzte zukünftige Bewegungspfad , werden von den geometrischen Eigenschaften sowie dem Gewicht des Objektes beeinflusst und bieten demnach eine Rückschlussmöglichkeit auf die Zugehörigkeit zu einer Schüttgutfraktion.

Einen weiteren technischen Vorteil für die Schüttgutsortierung liefert die Auswertung der zusätzlichen Unsicherheitsbeschreibungen für den geschätz- ten Ausblaszeitpunkt und die Ausblasposition. Diese ermöglicht eine ange- passte Ansteuerung der pneumatischen Ausblaseinheit für jedes

auszuschleusende Objekt. Sind die geschätzten Größen mit einer großen Unsicherheit behaftet, kann ein größeres Ausblasfenster gewählt werden, um die Ausschleusung eines Schlechtobjekts zu gewährleisten. Umgekehrt kann die Größe des Ausblasfenster und somit die Anzahl der angesteuerten Düsen bei

Schätzungen mit geringer Unsicherheit verkleinert werden. Dadurch kann beim Sortierprozess der Verbrauch von Druckluft reduziert werden, wodurch Kosten und Energie eingespart werden können. Durch die mehrfache Positionsbestimmung von Objekten des Schüttgutstroms zu verschiedenen Zeitpunkten sowie die Auswertung einer Bildfolge statt einer Momentbildaufnahme (dies kann auch eine mehrfache Messung, Berechnung und Kumulation von Objektmerkmalen zu verschiedenen Zeitpunkten sowie eine Nutzung von identifizierten Bewegungsmodellen als Merkmal für eine Objektklassifikation betreffen) wird im allgemeinen eine deutlich verbesserte Trennung bei der automatischen Sortierung beliebiger Schüttgüter erzielt. Zudem kann im Vergleich zum Stand der Technik für die Sortierung unkooperativer Materialien der mechanische Aufwand für eine Materialberuhigung erheblich reduziert werden. Darüber hinaus kann die vorliegende Erfindung für die Sortierung komplex geformter Schüttgüter eingesetzt werden, die aus mehreren verschiedenen Ansichten geprüft werden müssen, wobei nur eine einzelne Flächenkamera an fester Position zum Einsatz kommt.

Durch die Nutzung eines identifizierten Bewegungsmodells als Unterscheidungsmerkmal können zusätzlich Schüttgüter mit gleichem Aussehen, aber objektspezifischem Bewegungsverhalten (z.B. durch unterschiedliche Massen oder Oberflächenstrukturen) klassifiziert und automatisch sortiert werden.