KRUEGER CHRISTOF (DE)
LOOS HARTMUT (DE)
EBLING JULIA (DE)
KRUEGER CHRISTOF (DE)
LOOS HARTMUT (DE)
US20090034846A1 | 2009-02-05 | |||
US5581625A | 1996-12-03 | |||
US5953055A | 1999-09-14 |
S A VELASTIN AND P REMAGNINO (EDS.): "Intelligent Distributed Video Surveillance Systems", 2006, THE INSTITUTION OF ELECTRICAL ENGINEERS IEE, London, ISBN: 9780863415043, pages: 209 - 224, XP002609569
Ansprüche 1. Vorrichtung (1 ) zur Erkennung einer Schlange (2) von Objekten (10) in einem Überwachungsbereich mit einer Schnittstelle (6), welche mit einer Bildquelle (7) verbindbar ist, wobei die Schnittstelle (6) ausgebildet ist, mindestens ein Überwachungsbild (3) des Überwachungsbereiches von der Bildquelle zu übernehmen, wobei das Überwachungsbild (3) einen Szenenhintergrund des Überwachungsbereiches mit möglichen Objekten (10) zeigt, mit einer Auswerteeinrichtung (5), welche ausgebildet ist, die Schlange (2) der Objekte (10) in dem mindestens einen Überwachungsbild (3) zu erkennen, wobei die Auswerteeinrichtung (5) ein Objektdetektormodul (8) aufweist, welches ausgebildet ist, eine Vielzahl der Objekte (10) auf Basis des Überwachungsbildes (3) zu detektieren, wobei die Vielzahl der detektierten Objekte (10) die Basis zur Erkennung der Schlange (2) der Objekte (10) bildet, dadurch gekennzeichnet, dass das Objektdetektormodul (8) ausgebildet ist, die Objekte (10) in dem Überwachungsbild (3) mit dem Szenenhintergrund zu erkennen und/oder dass das Objektdetektormodul (8) inhaltssensitive Detektoren (9) zur Detektion der Objekte (10) aufweist. 2. Vorrichtung (1 ) nach Anspruch 1 , dadurch gekennzeichnet, dass die inhaltssensitiven Detektoren (9) eine Vielzahl von Vergleichsmerkmalen sowie Klassifikationsregeln für die Vergleichsmerkmale umfassen. 3. Vorrichtung (1 ) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Auswerteeinrichtung (5) ein Modellierungsmodul (1 1 ) aufweist, welches ausgebildet ist, die Schlange (2) auf Basis der detektierten Objekte (10) zu modellieren. 4. Vorrichtung (1 ) nach Anspruch 3, dadurch gekennzeichnet, dass das Modellierungsmodul (1 1 ) ausgebildet ist, ein berechnetes und/oder vordefiniertes Warteschlangenmodell auf die Vielzahl der Objekte (10) zu legen. 5. Vorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (5), insbesondere das Modellierungsmodul (1 1 ) ausgebildet ist, die Schlange (2) auf Basis eines einzigen Überwachungsbildes (3) zu erkennen. 6. Vorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (5) ein Bewegungsanalysemodul (13) aufweist, welches ausgebildet ist, auf Basis von mindestens zwei Überwachungsbildern (3) die Bewegungsrichtung der detektierten Objekte (10) und/oder die Bewegungsrichtung von Lücken zwischen den Objekten (10) und/oder den Bewegungsfluss in der Überwachungsszene als Zusatzinformation zu erfassen, wobei die Auswerteeinrichtung (5), insbesondere das Modellierungsmodul (1 1 ) ausgebildet ist, die Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange (2) zu verwenden. 7. Vorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objektdetektormodul (8) ausgebildet ist, eine Orientierung der Objekte (10) als Zusatzinformation zu detektieren, wobei die Auswerteeinrichtung (5), insbesondere das Modellierungsmodul (1 1 ) ausgebildet ist, die Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange (2) zu verwenden. 8. Vorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (5) ein Umgebungsmodul (15) aufweist, welches zur Übernahme und/oder Erkennung einer Grundebene des Überwachungsbereiches in dem mindestens einen Überwachungsbereich als Zusatzinformation ausgebildet ist, wobei die Auswerteeinrichtung (5), insbesondere das Modellierungsmodul (1 1 ) ausgebildet ist, die Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange (2) zu verwenden. 9. Vorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (5) ein Tiefenkartenmodul (16) aufweist, welches zur Übernahme und/oder Erkennung einer Tiefenkarte als Zusatzinformation ausgebildet ist, wobei die Auswerteeinrichtung (5), insbesondere das Modellierungsmodul (1 1 ) ausgebildet ist, die Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange (2) zu verwenden. 10. Vorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das mindestens eine Überwachungsbild (3) oder ein weiteres Überwachungsbild (3) als ein Wärmebild ausgebildet ist. 1 1 . Verfahren zur Erkennung einer Schlange (2) von Objekten (10) in einem Überwachungsbereich, wobei mindestens ein Überwachungsbild (3) des Überwachungsbereichs von einer Bildquelle (7) an eine Auswerteeinrichtung (5) übergeben wird, wobei das Überwachungsbild (3) einen Szenenhintergrund des Überwachungsbereichs mit möglichen Objekten (10) zeigt, wobei die Auswerteeinrichtung (5) die Schlange (2) der Objekte (10) in dem mindestens einen Überwachungsbild (3) erkennt, wobei ein Objektdetektormodul (8) der Auswerteeinrichtung (5) eine Vielzahl der Objekte (10) auf Basis des Überwachungsbildes (3) detektiert, wobei die Vielzahl der detektierten Objekte (10) die Basis zur Erkennung der Schlange (2) der Objekte bildet, dadurch gekennzeichnet, dass das Objektdetektormodul (8) die Objekte (10) in dem Überwachungsbild (3) mit dem Szenenhintergrund erkennt und/oder dass das Objektdetektionsmodul (8) die Objekte (10) mittels inhaltssensitiver Detektoren (9) erkennt. 12. Verfahren nach Anspruch 11 , gekennzeichnet durch die Verwendung der Vorrichtung (1 ) nach einem der Ansprüche 1 bis 10. 13. Computerprogramm mit Programmcode-Mitteln, um alle Schritte von dem Verfahren gemäß Anspruch 11 durchzuführen, wenn das Programm auf einem Computer und/oder der Vorrichtung (1 ) gemäß einer der Ansprüche 1 bis 10 ausgeführt wird. |
Titel
Vorrichtung zur Erkennung einer Obiektschlanqe, Verfahren sowie
Computerprogramm Stand der Technik
Die Erfindung betrifft eine Vorrichtung zur Erkennung einer Schlange von Objekten in einem Überwachungsbereich mit einer Schnittstelle, welche mit einer Bildquelle verbindbar ist, wobei die Schnittstelle ausgebildet ist, mindestens ein Überwachungsbild des Überwachungsbereiches von der Bildquelle zu übernehmen, wobei das Überwachungsbild einen Szenenhintergrund des Überwachungsbereiches mit möglichen Objekten zeigt, mit einer
Auswerteeinrichtung, welche ausgebildet ist, die Schlange der Objekte in dem mindestens einen Überwachungsbild zu erkennen, wobei die
Auswerteeinrichtung ein Objektdetektormodul aufweist, welches ausgebildet ist, eine Vielzahl der Objekte auf Basis des Überwachungsbildes zu detektieren und wobei die Vielzahl der detektierten Objekte die Basis zur Erkennung der
Schlange der Objekte bildet. Die Erfindung betrifft auch ein entsprechendes Verfahren sowie ein Computerprogramm.
Im täglichen Leben sind Menschen oftmals gezwungen, sich in eine
Warteschlange einzureihen, um beispielsweise an einer Kasse zu bezahlen, am Flughafen abgefertigt zu werden etc. Warteschlangen treten in vielerlei
Szenarien auf und bilden sich, wenn die Ankunftsrate von Objekten die
Abfertigungsrate übersteigt. Oftmals ist die Ankunftsrate der Objekte nicht bekannt und variiert mit der Zeit. Dies gilt in vielen Fällen ebenfalls für die Abfertigungsrate. Somit ist die Länge der Warteschlange eine Unbekannte, die nicht berechnet werden kann, sondern in anderer Weise bestimmt werden muss. Es ist möglich, bei einer festen Abfertigungsrate, wie bei einem Fahrgeschäft in einem Vergnügungspark, die Form der Schlange durch Absperrung vorzugeben, wobei die voraussichtliche Wartezeit dann mit Hilfe empirischer Methoden bestimmt werden kann. Durch fest angebrachte Tafeln entlang der Schlange kann die voraussichtliche Wartezeit dem Wartenden dann angezeigt werden.
Eine andere Möglichkeit zur Bestimmung einer Warteschlange ist gegeben, wenn der Wartebereich klar definierte Ein- und Ausgänge besitzt, so dass die Anzahl der Objekte im Wartebereich zum Beispiel durch Lichtschranken oder
Drehkreuze bestimmt werden kann. Innerhalb des Wartebereich kann dann jedoch keine weitere Aussage über die Form und Anzahl der Warteschlangen getroffen werden.
Aufgrund der variierenden Ausführungsformen einer Warteschlange wird diese gewöhnlich nicht automatisiert erfasst, sondern üblicherweise manuell analysiert.
Bildet sich zum Beispiel an einem Supermarkt eine lange Schlange, so dass die voraussichtliche Wartezeit für die Kunden über einen Schwellwert steigt, kann dieser Umstand durch das Kassenpersonal festgestellt werden und eine weitere Kasse geöffnet werden.
Im druckschriftlichen Stand der Technik offenbart die Druckschrift US 5,581 ,625 ein Stereokamerasystem zum Zählen von Objekten in einer Schlange. Bei dem System wird eine Tiefeninformation der Objekte durch die Stereokamera erfasst, um die Objekte zu zählen.
Die Druckschrift US 5,953,055, die wohl den nächstkommenden Stand der Technik bildet, betrifft dagegen ein System und ein Verfahren zur Detektion und zur Analyse von Schlangen. In dieser Druckschrift wird vorgeschlagen, zunächst ein eingelerntes Hintergrundbild von einem Überwachungsbild zu subtrahieren und die verbleibenden Bildpixel mit Informationen als Schlange zu werten.
Offenbarung der Erfindung
Es wird eine Vorrichtung zur Erkennung einer Schlange mit den Merkmalen des Anspruches 1 , ein Verfahren mit den Merkmalen des Anspruches 1 1 und ein
Computerprogramm mit den Merkmalen des Anspruches 13 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen ergeben sich aus den
Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren.
Im Rahmen der Erfindung wird eine Vorrichtung vorgeschlagen, welche zur Erkennung einer Schlange von Objekten in einem Überwachungsbereich geeignet und/oder ausgebildet ist. Unter einer Schlange, vorzugsweise einer Warteschlange, von Objekten wird eine Ansammlung dieser Objekte verstanden, welche in einer geradlinigen oder gekrümmten Aufreihung optional ergänzend mit mehreren Abzweigungen, Zwischenlücken, Ansammlungen und/oder Ballungen angeordnet ist. Somit wird unter dem Begriff Schlange vorzugsweise jede geordnete oder quasi geordnete Anordnung der Objekte verstanden, welche an einem oder mehreren Zielorten anstehen. Bei dem Zielort kann es sich beispielsweise um eine Kasse, einen Eingang, einen Ausgang oder einen funktionalen Bereich, wie zum Beispiel eine Essensausgabe, ein Automat etc. handeln.
Die Vorrichtung umfasst bevorzugt eine Datenverarbeitungseinrichtung, welche die Erkennungsfunktionen umsetzt, und weist mindestens eine Schnittstelle auf, welche mit einer Bildquelle verbindbar ist. Die Verbindung kann kabelgebunden oder kabellos erfolgen. Die Bildquelle ist vorzugsweise als eine
Überwachungskamera, insbesondere als eine Monobildkamera, ausgebildet. Dies eröffnet die Möglichkeit, die Vorrichtung in einem Echtzeitbetrieb zu betreiben. Alternativ oder ergänzend ist die Bildquelle als ein Bildspeicher ausgebildet, welcher abgespeicherte Bilder zur Verfügung stellt. Über die
Schnittstelle kann der Vorrichtung mindestens ein Überwachungsbild des Überwachungsbereiches übergeben werden, wobei das Überwachungsbild einen Szenenhintergrund des Überwachungsbereiches mit möglichen Objekten zeigt. Der Szenenhintergrund des Überwachungsbereiches wird durch den natürlich vorkommenden Hintergrund, wie zum Beispiel eine Straße, Regale in einem Laden etc. gebildet.
Zur Erkennung der Schlange in dem mindestens einen Überwachungsbild weist die Vorrichtung eine Auswerteeinrichtung auf. Die Auswerteeinrichtung zeigt ein
Objektdetektormodul, das ausgebildet ist, eine Vielzahl der Objekte auf Basis des Überwachungsbildes zu detektieren, wobei die Vielzahl der detektierten Objekte die Basis zur Erkennung der Schlange der Objekte bildet. In einer bevorzugten Ausführungsform der Erfindung werden die Objekte als separate Objekte oder Einzelobjekte von dem Objektdetektormodul erkannt.
Erfindungsgemäß wird vorgeschlagen, dass das Objektdetektormodul ausgebildet ist, die Objekte in dem Überwachungsbild mit dem
Szenenhintergrund zu erkennen. Die Erfindung ermöglicht somit, auf die
Hintergrundsubtraktion zu verzichten, wie dies aus dem Stand der Technik bekannt ist. Die Hintergrundsubtraktion stellt einen kritischen Schritt bei der
Bildanalyse dar, da dabei oftmals idealisiert von einem statischen Hintergrund ausgegangen wird, wobei bei realer Betrachtung der Hintergrund meist nur quasi statisch ist. Beispielsweise kann das Hintergrundbild durch ein vorbeifahrendes Auto, eine Lichtänderung oder andere Störungen stark beeinflusst werden.
Demgegenüber ist es von Vorteil, wenn auf diesen fehleranfälligen Schritt verzichtet wird und die Objekte unmittelbar in dem Überwachungsbild vor dem Szenenhintergrund erkannt werden.
Alternativ oder ergänzend weist das Objektdetektormodul inhaltsensitive
Detektoren zur Detektion der Objekte auf. Unter inhaltsensitiven Detektoren werden Detektoren verstanden, die die Objekte durch Inhaltsanalyse des Überwachungsbildes auffinden. Diese Vorgehensweise eröffnet die Möglichkeit, dass die Objekte in dem Überwachungsbild vor dem Szenenhintergrund gesucht und detektiert werden können. Rein prinzipiell ist es jedoch auch möglich, dass diese Detektoren in einem vorverarbeiteten Überwachungsbild eingesetzt werden, in dem der Szenenhintergrund bereits subtrahiert ist, wie dies aus dem Stand der Technik bekannt ist.
Der Vorteil der Erfindung ist somit darin zu sehen, dass die Analyse des
Überwachungsbildes auf einem anderen Weg und dadurch im Hinblick auf die
Detektoren und/oder auf die fehlende Hintergrundsubtraktion störunanfälliger durchgeführt werden kann.
Bei einer bevorzugten Realisierung der Erfindung ist der oder die
inhaltssensitiven Detektoren zur Verwendung einer Vielzahl von
Vergleichsmerkmalen sowie Klassifikationsregeln für die Vergleichsmerkmale ausgebildet. Die Vergleichsmerkmale können komplex sein, so dass
beispielsweise das Bild oder die Form eines Arms, eines Beins etc. als
Vergleichsmerkmal eingesetzt wird. Alternativ oder ergänzend können die Vergleichsmerkmale auch auf einfachen geometrischen Formen, wie zum waagerechte Linien, senkrechte Linien, runde Formen für Köpfe etc. basieren.
Aus der Literatur sind eine Vielzahl von Merkmalen bzw. Merkmalssystemen für die Bildverarbeitung bekannt, die entsprechend für die Objekte gewählt werden können. Ferner umfasst der oder die inhaltsensitiven Detektoren
Klassifikationsregeln, welche die Ergebnisse der Vergleichsmerkmale
zusammenfassen, um eine Gesamtaussage "Objekt gefunden - nicht gefunden" zu ermöglichen. Die Klassifikationsregeln können analytische Regeln umfassen, welche beispielsweise einprogrammiert werden. Hier ist vorstellbar, dass als Klassifikationsregel Plausibilitätsprüfungen verwendet werden, z.B. dass jeder Mensch nur maximal zwei Arme besitzt, so dass ein Objekt mit mehr als zwei Armen verworfen wird. Alternativ oder ergänzend können die
Klassifikationsregeln auch eingelernt werden, auch hierzu sind eine Vielzahl von Möglichkeiten (z.B. Boostverfahren, neuronale Netze etc.) bekannt.
Insbesondere ist der oder die inhaltsensitiven Detektoren ausgebildet, einzelne Objekte, vorzugsweise auch bei gegenseitiger oder anderer Verdeckung und/oder Überdeckung zu detektieren und zu lokalisieren.
Optional ergänzend kann vorgesehen sein, dass das Objektdetektormodul und/oder die Auswerteeinrichtung ausgebildet ist, weitere Ereignisse im
Zusammenhang mit Schlangen zu erkennen, wie zum Beispiel Umfallen,
Hindernisse, Vordrängeln, Streit etc.
Bei einer möglichen Weiterbildung der Erfindung weist die Auswerteeinrichtung ein Modellierungsmodul auf, welches ausgebildet ist, die Schlange auf Basis der detektierten Objekte zu modellieren. Nachdem die Objekte in dem
Überwachungsbild nicht nur detektiert, sondern vorzugsweise auch lokalisiert wurden, kann durch das Modellierungsmodul die Schlange modelliert werden. Insbesondere ist das Modellierungsmodul ausgebildet, beliebig gekrümmte und/oder verzeigte Schlangenformen zu modellieren. Prinzipiell kann vorgesehen sein, dass Zusatzinformationen, wie zum Beispiel ein Endpunkt der Schlange, als
Experten- oder a priori-Wissen manuell eingebbar ist. Alternativ oder ergänzend arbeitet das Modellierungsmodul jedoch ohne Kenntnis der Position oder Existenz der Schlange.
Besonders bevorzugt weist das Modellierungsmodul eine Vielzahl von
Warteschlangenmodellen auf, die verschiedene Versionen von Warteschlangen abdecken. Das Modellierungsmodul ist dazu ausgebildet, ein derartiges
Warteschlangenmodell auf die Vielzahl der Objekte zu legen und/oder an deren Verteilung anzupassen. Die Warteschlangenmodelle können sich durch die Verlaufsform (z.B. gekrümmt oder gerade), der Anzahl oder Existenz von Verzweigungen, Ansammlungen etc. unterscheiden.
Bei einer besonders bevorzugten Ausführungsform der Erfindung ist die
Auswerteeinrichtung programmtechnisch und/oder schaltungstechnisch ausgebildet, die Schlange auf Basis eines einzigen Überwachungsbildes zu erkennen und/oder zu bilden. In dieser Ausführungsform zeigen sich Vorteile gegenüber dem Stand der Technik, welcher mindestens zwei Bilder, nämlich das Überwachungsbild und das Hintergrundbild, zur Erkennung der Schlange benötigt. Bei einer Weiterbildung der Erfindung kann vorgesehen sein, dass die
Auswerteeinrichtung ein Bewegungsanalysemodul aufweist, welches
Bewegungsinformationen analysiert und als Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange bereitstellt. Die Auswerteeinrichtung, insbesondere das Modellierungsmodul, ist ausgebildet, die Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange zu verwenden. Das
Bewegungsanalysemodul ist beispielsweise ausgebildet, die Bewegungsrichtung der detektierten Objekte in der Warteschlange zu erkennen und/oder die
Bewegungsrichtung von Lücken zwischen den Objekten zu detektieren. Hierbei wird insbesondere die Fortpflanzung der Zwischenräume zum Ende bzw. Ziel der Warteschlange untersucht. Alternativ oder ergänzend kann auch der
Bewegungsfluss, insbesondere als optischer Fluss (optical flow), in der
Überwachungsszene als Zusatzinformation genutzt werden.
Bei einer weiteren möglichen Ausführungsform der Erfindung ist das
Objektdetektormodul ausgebildet, eine Orientierung der Objekte als
Zusatzinformation zu detektieren. Auch diese Zusatzinformation kann durch die Auswerteeinrichtung und/oder das Modellierungsmodul zu Erkennung und/oder Verifizierung der Schlange verwendet werden. Beispielsweise ist es bei
Personen möglich, eine Gesichtserkennung und/oder HauWHautfarbeerkennung durchzuführen und auf diese Weise auf die Orientierung der Personen abzuleiten. Durch die Orientierung der Personen kann die Schlangenform leichter detektiert bzw. modelliert werden, da Personen sehr oft in Richtung des Endes, also dem Ziel oder dem Ausgang, der Schlange schauen. Bei Autos ist es beispielsweise möglich, Kühler, Nummernschild und/oder Windschutzscheibe zu detektieren und auf diese Weise eine Orientierung zu erfassen. Gerade bei Autos wird die Schlangendetektion besonders erleichtert, da diese sich in der
Warteschlange nicht wie Personen umdrehen etc. können und somit die
Aussagekraft der Orientierung höher ist.
Bei einer anderen Ergänzung der Erfindung kann vorgesehen sein, dass die Auswerteeinrichtung ein Umgebungsmodul aufweist, welches zur Übernahme und/oder Erkennung einer Grundebene der Überwachungsszene in dem mindestens einen Überwachungsbereich als Zusatzinformation ausgebildet ist. Durch die erfasste Grundebene kann die Lokalisierung der Objekte verbessert werden und folglich die Schlange einfacher erkannt und/oder verifiziert werden.
Als eine optionale Verbesserung ist auch die Möglichkeit eines
Tiefenkartenmoduls zu sehen, welches eine Tiefenkarte als Zusatzinformation der Überwachungsszene bzw. des Überwachungsbereiches bereitstellt, wobei die Auswerteeinrichtung ausgebildet ist, die Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange zu verwenden. Beispielsweise kann eine derartige Tiefenkarte aus einem Stereokamerasystem oder aus anderen speziellen Sensoren aufgebaut werden.
Eine weitere Möglichkeit zur Verbesserung der Aussagekraft besteht darin, dass das Überwachungsbild oder ein weiteres Überwachungsbild als ein Wärmebild ausgebildet ist, so dass Wärmeinformationen, zum Beispiel Kopf/Gesicht/Hände bei Personen und/oder Motorhaube/Auspuff bei Autos einfach erkannt werden kann und diese Zusatzinformation ebenfalls zur Erkennung und/oder
Verifizierung der Schlange - z.B. indem die Orientierung der Objekte bestimmt wird - eingesetzt werden kann. Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren sowie ein
Computerprogramm mit den Merkmalen des Anspruches 1 1 bzw. 13.
Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung sowie der beigefügten Figuren. Dabei zeigen:
Figur 1 eine schematische Blockdarstellung einer Vorrichtung zur
Erkennung einer Warteschlange als ein erstes Ausführungsbeispiel der Erfindung;
Figuren 2 a - c ein Überwachungsbild zur Veranschaulichung des
erfindungsgemäßen Verfahrens; Figur 3 a - d in stark schematisierter Darstellung Warteschlangen bei
verschiedenen Situationen zur Illustration des Verfahrens.
Die Figur 1 zeigt in einer stark schematisierten Darstellung eine Vorrichtung 1 zur Erkennung einer Schlange von Objekten in einem Überwachungsbereich. Die Vorrichtung 1 kann als ein Personalcomputer oder andere digitale
Verarbeitungseinheit ausgebildet sein und dient insbesondere dazu,
Warteschlangen von Personen zu erkennen.
Beispielsweise zeigt die Figur 2a eine Warteschlange 2 von Einzelpersonen in einer Draufsicht von oben in einem Überwachungsbild 3. Mit Hilfe der
Vorrichtung 1 ist es möglich, die Warteschlange 2 zu erkennen, wie dies in der Figur 2b durch die durchgezogene Linie 4 über der Warteschlange 2 visualisiert ist. Die Vorrichtung 1 kann ein Bewertungsmodul 12 aufweisen, welches nach der
Erkennung der Warteschlange 2 Kenngrößen der Warteschlange 2, wie zum Beispiel Länge der Schlange, Anzahl der wartenden Menschen, durchschnittliche Wartezeit, Verlauf der Schlange, Anzahl der Objekte/Personen in der
Warteschlange 2 etc. bereitstellt. Die Vorrichtung 1 umfasst eine Auswerteeinrichtung 5 sowie eine Schnittstelle 6, über die die Auswerteeinrichtung 5 mit einer Bildquelle 7 verbunden bzw.
verbindbar ist. Die Bildquelle 7 kann beispielsweise als eine
Überwachungskamera ausgebildet sein, die auf den Überwachungsbereich gerichtet ist. Insbesondere kann als Bildquelle 7 eine Überwachungskamera verwendet werden, wie sie bereits oftmals in Supermärkten etc. installiert ist, so dass hier bei einer Integration des Warteschlangenerkennungssystem keine zusätzlichen Hardwarekosten für die Überwachungskamera auftreten. Alternativ kann die Bildquelle 7 auch als ein Bildspeicher ausgebildet sein, welcher gespeicherte Überwachungsbilder 3 bereitstellt, die die Warteschlange 2 in einem Überwachungsbereich zeigen.
Nach der Übergabe mindestens eines der Überwachungsbilder 3 an die
Auswerteeinrichtung 5 wird das Überwachungsbild 3 durch ein
Objektdetektormodul 8 auf Suchobjekte 10, in dem Fall der Figur 2 auf Personen, untersucht. Hierzu weist das Objektdetektormodul einen oder mehrere
Detektoren 9 auf, welche eine inhaltssensitive Objektdetektion innerhalb des Überwachungsbildes 3 vornehmen. Insbesondere sind die Detektoren 9 so ausgebildet, dass die Suche nach den Objekten 10 ohne eine
Hintergrundsubtraktion, also auf dem Überwachungsbild 3 mit
Szenenhintergrund (in diesem Fall der Platz) durchführbar ist. Die Detektoren 9 suchen die Objekte 10 zum Beispiel durch die Verwendung einer Vielzahl von Vergleichsmerkmalen, welchen mittels Klassifikationsregeln ausgewertet werden. Derartige inhaltssensitive Objektdetektoren sind in der Bildverarbeitung bekannt.
Nach Erkennung einiger, einer Mehrzahl oder aller Objekte 10 in dem
Überwachungsbild 3 werden die Informationen über die Objekte 10 an ein Modellierungsmodul 1 1 übergeben. Das Modellierungsmodul 1 1 ist ausgebildet, die Existenz und die Verteilung der Objekte 10 in dem Überwachungsbild 3 mit Modellen von Warteschlangen zu fusionieren, so dass auf Basis der Erkennung der Objekte 10 eine Warteschlange modelliert wird. Die vorbereiteten Modelle sind dabei für alle Schlangenformen, geradlinig, gekrümmt, verzweigt, mit Lücken, mit Ballungen etc., ausgebildet. Die Modelle können als analytische Modelle, zum Beispiel in Form von Funktionen, oder auch als Formen vorgeben sein. Nach der Erkennung und/oder Modellierung der Warteschlange in dem
Modellierungsmodul 1 1 werden die Daten zu der Warteschlange 2 an das Ergebnismodul 12 weitergereicht, welches die Warteschlange 2 hinsichtlich der Anzahl der Wartenden, der Wartezeit etc. analysiert und diese Kenngrößen der Warteschlange 2 ausgibt.
Die geschilderte Vorrichtung 1 kann beispielsweise in Supermärkten, vor Ticketschaltern etc. eingesetzt werden, um automatisiert - bei Überschreitung einer vorgegebenen Schlangenlänge oder Wartedauer - weitere Kassen oder Schalter zu öffnen. Ferner ist es möglich, dass Informationen über die detektierte
Schlangenform vom Marketing ausgenutzt wird, um in den ermittelten
Wartebereichen Produkte oder Werbungen zu platzieren.
In der dargestellten Grundform ist es möglich, eine Warteschlange 2 bereits durch Analyse eines einzigen Überwachungsbildes 3 zu erkennen.
Durch Hinzunahme von weiteren Funktionsmodulen ist es möglich, die
Detektionsgenauigkeit der Vorrichtung 1 zu verbessern. Diese weiteren
Funktionsmodule sind Zusatzoptionen, welche nicht zwingend notwendig erscheinen:
Ein Bewegungsanalysemodul 13 ist ausgebildet, Bewegungsinformationen aus dem Überwachungsbild 3 bzw. aus mindestens zwei Überwachungsbildern 3 als eine Zusatzinformation zu ermitteln:
Beispielsweise können Bewegungsmuster der Warteschlange 2 durch Analyse der Bewegung der Objekte 10 selbst oder durch Analyse des optischen Flusses in dem Überwachungsbild 3 erkannt werden. Es ist möglich, die Bewegung der Objekte 10 in der Schlange 2 zu erfassen, wie es schematisch durch Pfeile 14 in der Figur 2c angedeutet ist. Alternativ oder ergänzend können die
Zwischenräume zwischen den Objekten 10 beobachtet und deren Fortpflanzung zum Ende der Warteschlange 2 hin analysiert werden. Die Bewegungsrichtung der Objekte 10, der Zwischenräume oder des optischen Flusses ergibt einen deutlichen Hinweis auf die Form der Warteschlange 2. Ein Umgebungsmodul 15 ist ausgebildet, eine Grundebene der beachteten Szene zu erkennen oder durch Benutzereingabe zu erlangen. Durch Kenntnis der Grundebene der beobachteten Szene kann dieser ein 3D-Modell zugeordnet werden, so dass die Positionen der Objekte 10 genauer definiert werden können. Auch diese Grundebene stellt eine Zusatzinformation dar.
In einem Tiefenkartenmodul 16, welches beispielsweise als Eingabe die Bilder einer Stereokamera oder von speziellen Sensoren nutzt, kann die genaue Lage der Objekte 10 als eine weitere Zusatzinformation erhalten werden.
Weitere Möglichkeiten zur Erlangung von Zusatzinformationen sind der Einsatz von Infrarotkameras, um zum Beispiel Wärmeinformationen von Kopf, Gesicht und Händen bei Personen oder Motorhaube/Auspuff bei Autos als Objekten zu erkennen. Diese Wärmeinformationen können zur Verbesserung der Detektion der Objekte 10 oder zur Erkennung einer Orientierung der Objekte 10 dienen.
Auch diese Informationen stellen Zusatzinformationen dar.
Die genannten Zusatzinformationen werden einzeln oder gemeinsam oder in beliebiger Auswahl bei dem Modellierungsmodul 1 1 eingesetzt, um die
Modellierung der Warteschlange 2 zu verbessern. Zur Verbesserung der
Modellierung ist es ergänzend oder alternativ auch möglich, dass ein Benutzer explizit die Form oder den Zielpunkt von einer zu erwartenden Warteschlange angibt. In den Figuren 3a - d sind verschiedene Situationen einer Warteschlange 2 dargestellt, um eine Auswahl von unterschiedlichen Versionen der
Warteschlange 2 darzustellen. So können sich gemäß der Figur 3a Personen als Objekte 10 in einer Warteschlange 2 ballen. Gemäß Figur 2b können Lücken zwischen den Personen als Objekte 10 auftreten. Diese Lücken können auch zur Erkennung der Bewegungsrichtung der Warteschlange 2 eingesetzt werden.
Weiterhin können wie in der Figur 3 c gezeigt Aufspaltungen oder
Verzweigungen der Objekte 10 innerhalb der Schlage 2 auftreten.
Die Figur 3 d illustriert die Möglichkeit, dass die Auswertung der Orientierung der Personen 10 in der Schlange 2, sowie deren Bewegungsrichtung, dargestellt durch Pfeile, bei der Erkennung der Warteschlange 2 helfen können. Die Bewegungsrichtung wird beispielsweise durch einen Vergleich von einem Überwachungsbild 3 zu einem Zeitpunkt z = t und einem Überwachungsbild 3 zu einem Zeitpunkt z = t+x, insbesondere durch eine Objektverfolgung, bestimmt. Die Bestimmung kann z.B. durch das Bewegungsanalysemodul 13 erfolgen. Die Orientierung der Objekte 10 kann durch den Einsatz von speziellen Sensoren, wie z.B. Wärmebildkameras, unmittelbar erfasst werden. Alternativ oder ergänzend kann die Orientierung auch durch das Objektdetektormodul 8 erfolgen. Bewegungsrichtung und/oder Orientierung der Objekte 10 können als Zusatzinformation zur Erkennung der Warteschlange 2 in dem
Modellierungsmodul 11 eingesetzt werden.
Next Patent: PORTABLE LIGHT MANIPULATOR