Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
APPARATUS FOR IDENTIFICATION OF AN OBJECT QUEUE, METHOD AND COMPUTER PROGRAMME
Document Type and Number:
WIPO Patent Application WO/2011/020641
Kind Code:
A1
Abstract:
In daily life, people are often forced to join a queue in order, for example, to pay at a checkout or to be dealt with at an airport, etc. Because of the various forms of a queue, these are not usually recorded automatically, but are analyzed manually. For example, if a long queue is formed at a supermarket, as a result of which the predicted waiting time for the customers rises above a threshold value, this situation can be identified by the checkout personnel, and a further checkout can be opened. A device 1 is proposed for identification of a queue 2 of objects 10 in a monitoring area, having an interface 6 which can be connected to an image source 7, with the interface 6 being designed to observe at least one monitoring image 3 of the monitoring area of the image source, wherein the monitoring image 3 shows a scene background of the monitoring area with possible objects 10, having an evaluation device 5 which is designed to identify the queue 2 of the objects 10 in the at least one monitoring image, wherein the evaluation device 5 has an object detector module 8 which is designed to detect a plurality of objects 10 on the basis of the monitoring image 3, wherein the plurality of the detected objects 10 forms the basis for identification of the queue 2 of the objects 10, wherein the object detector module 8 is designed to identify the objects 8 in the monitoring image with the scene background and/or wherein the object detector module 8 has content‑sensitive detectors 9 for detection of the objects 10.

Inventors:
EBLING JULIA (DE)
KRUEGER CHRISTOF (DE)
LOOS HARTMUT (DE)
Application Number:
PCT/EP2010/059434
Publication Date:
February 24, 2011
Filing Date:
July 02, 2010
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
BOSCH GMBH ROBERT (DE)
EBLING JULIA (DE)
KRUEGER CHRISTOF (DE)
LOOS HARTMUT (DE)
International Classes:
G06K9/00
Foreign References:
US20090034846A12009-02-05
US5581625A1996-12-03
US5953055A1999-09-14
Other References:
HINZ S ET AL: "Car detection in aerial thermal images by local and global evidence accumulation", PATTERN RECOGNITION LETTERS, ELSEVIER, AMSTERDAM, NL LNKD- DOI:10.1016/J.PATREC.2005.08.013, vol. 27, no. 4, 1 March 2006 (2006-03-01), pages 308 - 315, XP025053294, ISSN: 0167-8655, [retrieved on 20060301]
S A VELASTIN AND P REMAGNINO (EDS.): "Intelligent Distributed Video Surveillance Systems", 2006, THE INSTITUTION OF ELECTRICAL ENGINEERS IEE, London, ISBN: 9780863415043, pages: 209 - 224, XP002609569
Attorney, Agent or Firm:
ROBERT BOSCH GMBH (DE)
Download PDF:
Claims:
Ansprüche

1. Vorrichtung (1 ) zur Erkennung einer Schlange (2) von Objekten (10) in

einem Überwachungsbereich mit einer Schnittstelle (6), welche mit einer Bildquelle (7) verbindbar ist, wobei die Schnittstelle (6) ausgebildet ist, mindestens ein Überwachungsbild (3) des Überwachungsbereiches von der Bildquelle zu übernehmen, wobei das Überwachungsbild (3) einen Szenenhintergrund des

Überwachungsbereiches mit möglichen Objekten (10) zeigt, mit einer Auswerteeinrichtung (5), welche ausgebildet ist, die Schlange (2) der Objekte (10) in dem mindestens einen Überwachungsbild (3) zu erkennen, wobei die Auswerteeinrichtung (5) ein Objektdetektormodul (8) aufweist, welches ausgebildet ist, eine Vielzahl der Objekte (10) auf Basis des Überwachungsbildes (3) zu detektieren, wobei die Vielzahl der detektierten Objekte (10) die Basis zur Erkennung der Schlange (2) der Objekte (10) bildet, dadurch gekennzeichnet, dass das Objektdetektormodul (8) ausgebildet ist, die Objekte (10) in dem Überwachungsbild (3) mit dem Szenenhintergrund zu erkennen und/oder dass das Objektdetektormodul (8) inhaltssensitive Detektoren (9) zur Detektion der Objekte (10) aufweist.

2. Vorrichtung (1 ) nach Anspruch 1 , dadurch gekennzeichnet, dass die inhaltssensitiven Detektoren (9) eine Vielzahl von Vergleichsmerkmalen sowie Klassifikationsregeln für die Vergleichsmerkmale umfassen. 3. Vorrichtung (1 ) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die

Auswerteeinrichtung (5) ein Modellierungsmodul (1 1 ) aufweist, welches ausgebildet ist, die Schlange (2) auf Basis der detektierten Objekte (10) zu modellieren. 4. Vorrichtung (1 ) nach Anspruch 3, dadurch gekennzeichnet, dass das

Modellierungsmodul (1 1 ) ausgebildet ist, ein berechnetes und/oder vordefiniertes Warteschlangenmodell auf die Vielzahl der Objekte (10) zu legen. 5. Vorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch

gekennzeichnet, dass die Auswerteeinrichtung (5), insbesondere das Modellierungsmodul (1 1 ) ausgebildet ist, die Schlange (2) auf Basis eines einzigen Überwachungsbildes (3) zu erkennen. 6. Vorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch

gekennzeichnet, dass die Auswerteeinrichtung (5) ein

Bewegungsanalysemodul (13) aufweist, welches ausgebildet ist, auf Basis von mindestens zwei Überwachungsbildern (3) die Bewegungsrichtung der detektierten Objekte (10) und/oder die Bewegungsrichtung von Lücken zwischen den Objekten (10) und/oder den Bewegungsfluss in der

Überwachungsszene als Zusatzinformation zu erfassen, wobei die

Auswerteeinrichtung (5), insbesondere das Modellierungsmodul (1 1 ) ausgebildet ist, die Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange (2) zu verwenden.

7. Vorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch

gekennzeichnet, dass das Objektdetektormodul (8) ausgebildet ist, eine Orientierung der Objekte (10) als Zusatzinformation zu detektieren, wobei die Auswerteeinrichtung (5), insbesondere das Modellierungsmodul (1 1 ) ausgebildet ist, die Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange (2) zu verwenden.

8. Vorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswerteeinrichtung (5) ein Umgebungsmodul

(15) aufweist, welches zur Übernahme und/oder Erkennung einer

Grundebene des Überwachungsbereiches in dem mindestens einen

Überwachungsbereich als Zusatzinformation ausgebildet ist, wobei die Auswerteeinrichtung (5), insbesondere das Modellierungsmodul (1 1 ) ausgebildet ist, die Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange (2) zu verwenden.

9. Vorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch

gekennzeichnet, dass die Auswerteeinrichtung (5) ein Tiefenkartenmodul

(16) aufweist, welches zur Übernahme und/oder Erkennung einer

Tiefenkarte als Zusatzinformation ausgebildet ist, wobei die

Auswerteeinrichtung (5), insbesondere das Modellierungsmodul (1 1 ) ausgebildet ist, die Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange (2) zu verwenden.

10. Vorrichtung (1 ) nach einem der vorhergehenden Ansprüche, dadurch

gekennzeichnet, dass das mindestens eine Überwachungsbild (3) oder ein weiteres Überwachungsbild (3) als ein Wärmebild ausgebildet ist.

1 1 . Verfahren zur Erkennung einer Schlange (2) von Objekten (10) in einem Überwachungsbereich, wobei mindestens ein Überwachungsbild (3) des Überwachungsbereichs von einer Bildquelle (7) an eine Auswerteeinrichtung

(5) übergeben wird, wobei das Überwachungsbild (3) einen

Szenenhintergrund des Überwachungsbereichs mit möglichen Objekten (10) zeigt, wobei die Auswerteeinrichtung (5) die Schlange (2) der Objekte (10) in dem mindestens einen Überwachungsbild (3) erkennt, wobei ein

Objektdetektormodul (8) der Auswerteeinrichtung (5) eine Vielzahl der

Objekte (10) auf Basis des Überwachungsbildes (3) detektiert, wobei die Vielzahl der detektierten Objekte (10) die Basis zur Erkennung der Schlange (2) der Objekte bildet, dadurch gekennzeichnet, dass das

Objektdetektormodul (8) die Objekte (10) in dem Überwachungsbild (3) mit dem Szenenhintergrund erkennt und/oder dass das Objektdetektionsmodul

(8) die Objekte (10) mittels inhaltssensitiver Detektoren (9) erkennt.

12. Verfahren nach Anspruch 11 , gekennzeichnet durch die Verwendung der Vorrichtung (1 ) nach einem der Ansprüche 1 bis 10.

13. Computerprogramm mit Programmcode-Mitteln, um alle Schritte von dem Verfahren gemäß Anspruch 11 durchzuführen, wenn das Programm auf einem Computer und/oder der Vorrichtung (1 ) gemäß einer der Ansprüche 1 bis 10 ausgeführt wird.

Description:
Beschreibung

Titel

Vorrichtung zur Erkennung einer Obiektschlanqe, Verfahren sowie

Computerprogramm Stand der Technik

Die Erfindung betrifft eine Vorrichtung zur Erkennung einer Schlange von Objekten in einem Überwachungsbereich mit einer Schnittstelle, welche mit einer Bildquelle verbindbar ist, wobei die Schnittstelle ausgebildet ist, mindestens ein Überwachungsbild des Überwachungsbereiches von der Bildquelle zu übernehmen, wobei das Überwachungsbild einen Szenenhintergrund des Überwachungsbereiches mit möglichen Objekten zeigt, mit einer

Auswerteeinrichtung, welche ausgebildet ist, die Schlange der Objekte in dem mindestens einen Überwachungsbild zu erkennen, wobei die

Auswerteeinrichtung ein Objektdetektormodul aufweist, welches ausgebildet ist, eine Vielzahl der Objekte auf Basis des Überwachungsbildes zu detektieren und wobei die Vielzahl der detektierten Objekte die Basis zur Erkennung der

Schlange der Objekte bildet. Die Erfindung betrifft auch ein entsprechendes Verfahren sowie ein Computerprogramm.

Im täglichen Leben sind Menschen oftmals gezwungen, sich in eine

Warteschlange einzureihen, um beispielsweise an einer Kasse zu bezahlen, am Flughafen abgefertigt zu werden etc. Warteschlangen treten in vielerlei

Szenarien auf und bilden sich, wenn die Ankunftsrate von Objekten die

Abfertigungsrate übersteigt. Oftmals ist die Ankunftsrate der Objekte nicht bekannt und variiert mit der Zeit. Dies gilt in vielen Fällen ebenfalls für die Abfertigungsrate. Somit ist die Länge der Warteschlange eine Unbekannte, die nicht berechnet werden kann, sondern in anderer Weise bestimmt werden muss. Es ist möglich, bei einer festen Abfertigungsrate, wie bei einem Fahrgeschäft in einem Vergnügungspark, die Form der Schlange durch Absperrung vorzugeben, wobei die voraussichtliche Wartezeit dann mit Hilfe empirischer Methoden bestimmt werden kann. Durch fest angebrachte Tafeln entlang der Schlange kann die voraussichtliche Wartezeit dem Wartenden dann angezeigt werden.

Eine andere Möglichkeit zur Bestimmung einer Warteschlange ist gegeben, wenn der Wartebereich klar definierte Ein- und Ausgänge besitzt, so dass die Anzahl der Objekte im Wartebereich zum Beispiel durch Lichtschranken oder

Drehkreuze bestimmt werden kann. Innerhalb des Wartebereich kann dann jedoch keine weitere Aussage über die Form und Anzahl der Warteschlangen getroffen werden.

Aufgrund der variierenden Ausführungsformen einer Warteschlange wird diese gewöhnlich nicht automatisiert erfasst, sondern üblicherweise manuell analysiert.

Bildet sich zum Beispiel an einem Supermarkt eine lange Schlange, so dass die voraussichtliche Wartezeit für die Kunden über einen Schwellwert steigt, kann dieser Umstand durch das Kassenpersonal festgestellt werden und eine weitere Kasse geöffnet werden.

Im druckschriftlichen Stand der Technik offenbart die Druckschrift US 5,581 ,625 ein Stereokamerasystem zum Zählen von Objekten in einer Schlange. Bei dem System wird eine Tiefeninformation der Objekte durch die Stereokamera erfasst, um die Objekte zu zählen.

Die Druckschrift US 5,953,055, die wohl den nächstkommenden Stand der Technik bildet, betrifft dagegen ein System und ein Verfahren zur Detektion und zur Analyse von Schlangen. In dieser Druckschrift wird vorgeschlagen, zunächst ein eingelerntes Hintergrundbild von einem Überwachungsbild zu subtrahieren und die verbleibenden Bildpixel mit Informationen als Schlange zu werten.

Offenbarung der Erfindung

Es wird eine Vorrichtung zur Erkennung einer Schlange mit den Merkmalen des Anspruches 1 , ein Verfahren mit den Merkmalen des Anspruches 1 1 und ein

Computerprogramm mit den Merkmalen des Anspruches 13 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen ergeben sich aus den

Unteransprüchen, der nachfolgenden Beschreibung sowie den beigefügten Figuren.

Im Rahmen der Erfindung wird eine Vorrichtung vorgeschlagen, welche zur Erkennung einer Schlange von Objekten in einem Überwachungsbereich geeignet und/oder ausgebildet ist. Unter einer Schlange, vorzugsweise einer Warteschlange, von Objekten wird eine Ansammlung dieser Objekte verstanden, welche in einer geradlinigen oder gekrümmten Aufreihung optional ergänzend mit mehreren Abzweigungen, Zwischenlücken, Ansammlungen und/oder Ballungen angeordnet ist. Somit wird unter dem Begriff Schlange vorzugsweise jede geordnete oder quasi geordnete Anordnung der Objekte verstanden, welche an einem oder mehreren Zielorten anstehen. Bei dem Zielort kann es sich beispielsweise um eine Kasse, einen Eingang, einen Ausgang oder einen funktionalen Bereich, wie zum Beispiel eine Essensausgabe, ein Automat etc. handeln.

Die Vorrichtung umfasst bevorzugt eine Datenverarbeitungseinrichtung, welche die Erkennungsfunktionen umsetzt, und weist mindestens eine Schnittstelle auf, welche mit einer Bildquelle verbindbar ist. Die Verbindung kann kabelgebunden oder kabellos erfolgen. Die Bildquelle ist vorzugsweise als eine

Überwachungskamera, insbesondere als eine Monobildkamera, ausgebildet. Dies eröffnet die Möglichkeit, die Vorrichtung in einem Echtzeitbetrieb zu betreiben. Alternativ oder ergänzend ist die Bildquelle als ein Bildspeicher ausgebildet, welcher abgespeicherte Bilder zur Verfügung stellt. Über die

Schnittstelle kann der Vorrichtung mindestens ein Überwachungsbild des Überwachungsbereiches übergeben werden, wobei das Überwachungsbild einen Szenenhintergrund des Überwachungsbereiches mit möglichen Objekten zeigt. Der Szenenhintergrund des Überwachungsbereiches wird durch den natürlich vorkommenden Hintergrund, wie zum Beispiel eine Straße, Regale in einem Laden etc. gebildet.

Zur Erkennung der Schlange in dem mindestens einen Überwachungsbild weist die Vorrichtung eine Auswerteeinrichtung auf. Die Auswerteeinrichtung zeigt ein

Objektdetektormodul, das ausgebildet ist, eine Vielzahl der Objekte auf Basis des Überwachungsbildes zu detektieren, wobei die Vielzahl der detektierten Objekte die Basis zur Erkennung der Schlange der Objekte bildet. In einer bevorzugten Ausführungsform der Erfindung werden die Objekte als separate Objekte oder Einzelobjekte von dem Objektdetektormodul erkannt.

Erfindungsgemäß wird vorgeschlagen, dass das Objektdetektormodul ausgebildet ist, die Objekte in dem Überwachungsbild mit dem

Szenenhintergrund zu erkennen. Die Erfindung ermöglicht somit, auf die

Hintergrundsubtraktion zu verzichten, wie dies aus dem Stand der Technik bekannt ist. Die Hintergrundsubtraktion stellt einen kritischen Schritt bei der

Bildanalyse dar, da dabei oftmals idealisiert von einem statischen Hintergrund ausgegangen wird, wobei bei realer Betrachtung der Hintergrund meist nur quasi statisch ist. Beispielsweise kann das Hintergrundbild durch ein vorbeifahrendes Auto, eine Lichtänderung oder andere Störungen stark beeinflusst werden.

Demgegenüber ist es von Vorteil, wenn auf diesen fehleranfälligen Schritt verzichtet wird und die Objekte unmittelbar in dem Überwachungsbild vor dem Szenenhintergrund erkannt werden.

Alternativ oder ergänzend weist das Objektdetektormodul inhaltsensitive

Detektoren zur Detektion der Objekte auf. Unter inhaltsensitiven Detektoren werden Detektoren verstanden, die die Objekte durch Inhaltsanalyse des Überwachungsbildes auffinden. Diese Vorgehensweise eröffnet die Möglichkeit, dass die Objekte in dem Überwachungsbild vor dem Szenenhintergrund gesucht und detektiert werden können. Rein prinzipiell ist es jedoch auch möglich, dass diese Detektoren in einem vorverarbeiteten Überwachungsbild eingesetzt werden, in dem der Szenenhintergrund bereits subtrahiert ist, wie dies aus dem Stand der Technik bekannt ist.

Der Vorteil der Erfindung ist somit darin zu sehen, dass die Analyse des

Überwachungsbildes auf einem anderen Weg und dadurch im Hinblick auf die

Detektoren und/oder auf die fehlende Hintergrundsubtraktion störunanfälliger durchgeführt werden kann.

Bei einer bevorzugten Realisierung der Erfindung ist der oder die

inhaltssensitiven Detektoren zur Verwendung einer Vielzahl von

Vergleichsmerkmalen sowie Klassifikationsregeln für die Vergleichsmerkmale ausgebildet. Die Vergleichsmerkmale können komplex sein, so dass

beispielsweise das Bild oder die Form eines Arms, eines Beins etc. als

Vergleichsmerkmal eingesetzt wird. Alternativ oder ergänzend können die Vergleichsmerkmale auch auf einfachen geometrischen Formen, wie zum waagerechte Linien, senkrechte Linien, runde Formen für Köpfe etc. basieren.

Aus der Literatur sind eine Vielzahl von Merkmalen bzw. Merkmalssystemen für die Bildverarbeitung bekannt, die entsprechend für die Objekte gewählt werden können. Ferner umfasst der oder die inhaltsensitiven Detektoren

Klassifikationsregeln, welche die Ergebnisse der Vergleichsmerkmale

zusammenfassen, um eine Gesamtaussage "Objekt gefunden - nicht gefunden" zu ermöglichen. Die Klassifikationsregeln können analytische Regeln umfassen, welche beispielsweise einprogrammiert werden. Hier ist vorstellbar, dass als Klassifikationsregel Plausibilitätsprüfungen verwendet werden, z.B. dass jeder Mensch nur maximal zwei Arme besitzt, so dass ein Objekt mit mehr als zwei Armen verworfen wird. Alternativ oder ergänzend können die

Klassifikationsregeln auch eingelernt werden, auch hierzu sind eine Vielzahl von Möglichkeiten (z.B. Boostverfahren, neuronale Netze etc.) bekannt.

Insbesondere ist der oder die inhaltsensitiven Detektoren ausgebildet, einzelne Objekte, vorzugsweise auch bei gegenseitiger oder anderer Verdeckung und/oder Überdeckung zu detektieren und zu lokalisieren.

Optional ergänzend kann vorgesehen sein, dass das Objektdetektormodul und/oder die Auswerteeinrichtung ausgebildet ist, weitere Ereignisse im

Zusammenhang mit Schlangen zu erkennen, wie zum Beispiel Umfallen,

Hindernisse, Vordrängeln, Streit etc.

Bei einer möglichen Weiterbildung der Erfindung weist die Auswerteeinrichtung ein Modellierungsmodul auf, welches ausgebildet ist, die Schlange auf Basis der detektierten Objekte zu modellieren. Nachdem die Objekte in dem

Überwachungsbild nicht nur detektiert, sondern vorzugsweise auch lokalisiert wurden, kann durch das Modellierungsmodul die Schlange modelliert werden. Insbesondere ist das Modellierungsmodul ausgebildet, beliebig gekrümmte und/oder verzeigte Schlangenformen zu modellieren. Prinzipiell kann vorgesehen sein, dass Zusatzinformationen, wie zum Beispiel ein Endpunkt der Schlange, als

Experten- oder a priori-Wissen manuell eingebbar ist. Alternativ oder ergänzend arbeitet das Modellierungsmodul jedoch ohne Kenntnis der Position oder Existenz der Schlange.

Besonders bevorzugt weist das Modellierungsmodul eine Vielzahl von

Warteschlangenmodellen auf, die verschiedene Versionen von Warteschlangen abdecken. Das Modellierungsmodul ist dazu ausgebildet, ein derartiges

Warteschlangenmodell auf die Vielzahl der Objekte zu legen und/oder an deren Verteilung anzupassen. Die Warteschlangenmodelle können sich durch die Verlaufsform (z.B. gekrümmt oder gerade), der Anzahl oder Existenz von Verzweigungen, Ansammlungen etc. unterscheiden.

Bei einer besonders bevorzugten Ausführungsform der Erfindung ist die

Auswerteeinrichtung programmtechnisch und/oder schaltungstechnisch ausgebildet, die Schlange auf Basis eines einzigen Überwachungsbildes zu erkennen und/oder zu bilden. In dieser Ausführungsform zeigen sich Vorteile gegenüber dem Stand der Technik, welcher mindestens zwei Bilder, nämlich das Überwachungsbild und das Hintergrundbild, zur Erkennung der Schlange benötigt. Bei einer Weiterbildung der Erfindung kann vorgesehen sein, dass die

Auswerteeinrichtung ein Bewegungsanalysemodul aufweist, welches

Bewegungsinformationen analysiert und als Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange bereitstellt. Die Auswerteeinrichtung, insbesondere das Modellierungsmodul, ist ausgebildet, die Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange zu verwenden. Das

Bewegungsanalysemodul ist beispielsweise ausgebildet, die Bewegungsrichtung der detektierten Objekte in der Warteschlange zu erkennen und/oder die

Bewegungsrichtung von Lücken zwischen den Objekten zu detektieren. Hierbei wird insbesondere die Fortpflanzung der Zwischenräume zum Ende bzw. Ziel der Warteschlange untersucht. Alternativ oder ergänzend kann auch der

Bewegungsfluss, insbesondere als optischer Fluss (optical flow), in der

Überwachungsszene als Zusatzinformation genutzt werden.

Bei einer weiteren möglichen Ausführungsform der Erfindung ist das

Objektdetektormodul ausgebildet, eine Orientierung der Objekte als

Zusatzinformation zu detektieren. Auch diese Zusatzinformation kann durch die Auswerteeinrichtung und/oder das Modellierungsmodul zu Erkennung und/oder Verifizierung der Schlange verwendet werden. Beispielsweise ist es bei

Personen möglich, eine Gesichtserkennung und/oder HauWHautfarbeerkennung durchzuführen und auf diese Weise auf die Orientierung der Personen abzuleiten. Durch die Orientierung der Personen kann die Schlangenform leichter detektiert bzw. modelliert werden, da Personen sehr oft in Richtung des Endes, also dem Ziel oder dem Ausgang, der Schlange schauen. Bei Autos ist es beispielsweise möglich, Kühler, Nummernschild und/oder Windschutzscheibe zu detektieren und auf diese Weise eine Orientierung zu erfassen. Gerade bei Autos wird die Schlangendetektion besonders erleichtert, da diese sich in der

Warteschlange nicht wie Personen umdrehen etc. können und somit die

Aussagekraft der Orientierung höher ist.

Bei einer anderen Ergänzung der Erfindung kann vorgesehen sein, dass die Auswerteeinrichtung ein Umgebungsmodul aufweist, welches zur Übernahme und/oder Erkennung einer Grundebene der Überwachungsszene in dem mindestens einen Überwachungsbereich als Zusatzinformation ausgebildet ist. Durch die erfasste Grundebene kann die Lokalisierung der Objekte verbessert werden und folglich die Schlange einfacher erkannt und/oder verifiziert werden.

Als eine optionale Verbesserung ist auch die Möglichkeit eines

Tiefenkartenmoduls zu sehen, welches eine Tiefenkarte als Zusatzinformation der Überwachungsszene bzw. des Überwachungsbereiches bereitstellt, wobei die Auswerteeinrichtung ausgebildet ist, die Zusatzinformation zur Erkennung und/oder Verifizierung der Schlange zu verwenden. Beispielsweise kann eine derartige Tiefenkarte aus einem Stereokamerasystem oder aus anderen speziellen Sensoren aufgebaut werden.

Eine weitere Möglichkeit zur Verbesserung der Aussagekraft besteht darin, dass das Überwachungsbild oder ein weiteres Überwachungsbild als ein Wärmebild ausgebildet ist, so dass Wärmeinformationen, zum Beispiel Kopf/Gesicht/Hände bei Personen und/oder Motorhaube/Auspuff bei Autos einfach erkannt werden kann und diese Zusatzinformation ebenfalls zur Erkennung und/oder

Verifizierung der Schlange - z.B. indem die Orientierung der Objekte bestimmt wird - eingesetzt werden kann. Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren sowie ein

Computerprogramm mit den Merkmalen des Anspruches 1 1 bzw. 13.

Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung sowie der beigefügten Figuren. Dabei zeigen:

Figur 1 eine schematische Blockdarstellung einer Vorrichtung zur

Erkennung einer Warteschlange als ein erstes Ausführungsbeispiel der Erfindung;

Figuren 2 a - c ein Überwachungsbild zur Veranschaulichung des

erfindungsgemäßen Verfahrens; Figur 3 a - d in stark schematisierter Darstellung Warteschlangen bei

verschiedenen Situationen zur Illustration des Verfahrens.

Die Figur 1 zeigt in einer stark schematisierten Darstellung eine Vorrichtung 1 zur Erkennung einer Schlange von Objekten in einem Überwachungsbereich. Die Vorrichtung 1 kann als ein Personalcomputer oder andere digitale

Verarbeitungseinheit ausgebildet sein und dient insbesondere dazu,

Warteschlangen von Personen zu erkennen.

Beispielsweise zeigt die Figur 2a eine Warteschlange 2 von Einzelpersonen in einer Draufsicht von oben in einem Überwachungsbild 3. Mit Hilfe der

Vorrichtung 1 ist es möglich, die Warteschlange 2 zu erkennen, wie dies in der Figur 2b durch die durchgezogene Linie 4 über der Warteschlange 2 visualisiert ist. Die Vorrichtung 1 kann ein Bewertungsmodul 12 aufweisen, welches nach der

Erkennung der Warteschlange 2 Kenngrößen der Warteschlange 2, wie zum Beispiel Länge der Schlange, Anzahl der wartenden Menschen, durchschnittliche Wartezeit, Verlauf der Schlange, Anzahl der Objekte/Personen in der

Warteschlange 2 etc. bereitstellt. Die Vorrichtung 1 umfasst eine Auswerteeinrichtung 5 sowie eine Schnittstelle 6, über die die Auswerteeinrichtung 5 mit einer Bildquelle 7 verbunden bzw.

verbindbar ist. Die Bildquelle 7 kann beispielsweise als eine

Überwachungskamera ausgebildet sein, die auf den Überwachungsbereich gerichtet ist. Insbesondere kann als Bildquelle 7 eine Überwachungskamera verwendet werden, wie sie bereits oftmals in Supermärkten etc. installiert ist, so dass hier bei einer Integration des Warteschlangenerkennungssystem keine zusätzlichen Hardwarekosten für die Überwachungskamera auftreten. Alternativ kann die Bildquelle 7 auch als ein Bildspeicher ausgebildet sein, welcher gespeicherte Überwachungsbilder 3 bereitstellt, die die Warteschlange 2 in einem Überwachungsbereich zeigen.

Nach der Übergabe mindestens eines der Überwachungsbilder 3 an die

Auswerteeinrichtung 5 wird das Überwachungsbild 3 durch ein

Objektdetektormodul 8 auf Suchobjekte 10, in dem Fall der Figur 2 auf Personen, untersucht. Hierzu weist das Objektdetektormodul einen oder mehrere

Detektoren 9 auf, welche eine inhaltssensitive Objektdetektion innerhalb des Überwachungsbildes 3 vornehmen. Insbesondere sind die Detektoren 9 so ausgebildet, dass die Suche nach den Objekten 10 ohne eine

Hintergrundsubtraktion, also auf dem Überwachungsbild 3 mit

Szenenhintergrund (in diesem Fall der Platz) durchführbar ist. Die Detektoren 9 suchen die Objekte 10 zum Beispiel durch die Verwendung einer Vielzahl von Vergleichsmerkmalen, welchen mittels Klassifikationsregeln ausgewertet werden. Derartige inhaltssensitive Objektdetektoren sind in der Bildverarbeitung bekannt.

Nach Erkennung einiger, einer Mehrzahl oder aller Objekte 10 in dem

Überwachungsbild 3 werden die Informationen über die Objekte 10 an ein Modellierungsmodul 1 1 übergeben. Das Modellierungsmodul 1 1 ist ausgebildet, die Existenz und die Verteilung der Objekte 10 in dem Überwachungsbild 3 mit Modellen von Warteschlangen zu fusionieren, so dass auf Basis der Erkennung der Objekte 10 eine Warteschlange modelliert wird. Die vorbereiteten Modelle sind dabei für alle Schlangenformen, geradlinig, gekrümmt, verzweigt, mit Lücken, mit Ballungen etc., ausgebildet. Die Modelle können als analytische Modelle, zum Beispiel in Form von Funktionen, oder auch als Formen vorgeben sein. Nach der Erkennung und/oder Modellierung der Warteschlange in dem

Modellierungsmodul 1 1 werden die Daten zu der Warteschlange 2 an das Ergebnismodul 12 weitergereicht, welches die Warteschlange 2 hinsichtlich der Anzahl der Wartenden, der Wartezeit etc. analysiert und diese Kenngrößen der Warteschlange 2 ausgibt.

Die geschilderte Vorrichtung 1 kann beispielsweise in Supermärkten, vor Ticketschaltern etc. eingesetzt werden, um automatisiert - bei Überschreitung einer vorgegebenen Schlangenlänge oder Wartedauer - weitere Kassen oder Schalter zu öffnen. Ferner ist es möglich, dass Informationen über die detektierte

Schlangenform vom Marketing ausgenutzt wird, um in den ermittelten

Wartebereichen Produkte oder Werbungen zu platzieren.

In der dargestellten Grundform ist es möglich, eine Warteschlange 2 bereits durch Analyse eines einzigen Überwachungsbildes 3 zu erkennen.

Durch Hinzunahme von weiteren Funktionsmodulen ist es möglich, die

Detektionsgenauigkeit der Vorrichtung 1 zu verbessern. Diese weiteren

Funktionsmodule sind Zusatzoptionen, welche nicht zwingend notwendig erscheinen:

Ein Bewegungsanalysemodul 13 ist ausgebildet, Bewegungsinformationen aus dem Überwachungsbild 3 bzw. aus mindestens zwei Überwachungsbildern 3 als eine Zusatzinformation zu ermitteln:

Beispielsweise können Bewegungsmuster der Warteschlange 2 durch Analyse der Bewegung der Objekte 10 selbst oder durch Analyse des optischen Flusses in dem Überwachungsbild 3 erkannt werden. Es ist möglich, die Bewegung der Objekte 10 in der Schlange 2 zu erfassen, wie es schematisch durch Pfeile 14 in der Figur 2c angedeutet ist. Alternativ oder ergänzend können die

Zwischenräume zwischen den Objekten 10 beobachtet und deren Fortpflanzung zum Ende der Warteschlange 2 hin analysiert werden. Die Bewegungsrichtung der Objekte 10, der Zwischenräume oder des optischen Flusses ergibt einen deutlichen Hinweis auf die Form der Warteschlange 2. Ein Umgebungsmodul 15 ist ausgebildet, eine Grundebene der beachteten Szene zu erkennen oder durch Benutzereingabe zu erlangen. Durch Kenntnis der Grundebene der beobachteten Szene kann dieser ein 3D-Modell zugeordnet werden, so dass die Positionen der Objekte 10 genauer definiert werden können. Auch diese Grundebene stellt eine Zusatzinformation dar.

In einem Tiefenkartenmodul 16, welches beispielsweise als Eingabe die Bilder einer Stereokamera oder von speziellen Sensoren nutzt, kann die genaue Lage der Objekte 10 als eine weitere Zusatzinformation erhalten werden.

Weitere Möglichkeiten zur Erlangung von Zusatzinformationen sind der Einsatz von Infrarotkameras, um zum Beispiel Wärmeinformationen von Kopf, Gesicht und Händen bei Personen oder Motorhaube/Auspuff bei Autos als Objekten zu erkennen. Diese Wärmeinformationen können zur Verbesserung der Detektion der Objekte 10 oder zur Erkennung einer Orientierung der Objekte 10 dienen.

Auch diese Informationen stellen Zusatzinformationen dar.

Die genannten Zusatzinformationen werden einzeln oder gemeinsam oder in beliebiger Auswahl bei dem Modellierungsmodul 1 1 eingesetzt, um die

Modellierung der Warteschlange 2 zu verbessern. Zur Verbesserung der

Modellierung ist es ergänzend oder alternativ auch möglich, dass ein Benutzer explizit die Form oder den Zielpunkt von einer zu erwartenden Warteschlange angibt. In den Figuren 3a - d sind verschiedene Situationen einer Warteschlange 2 dargestellt, um eine Auswahl von unterschiedlichen Versionen der

Warteschlange 2 darzustellen. So können sich gemäß der Figur 3a Personen als Objekte 10 in einer Warteschlange 2 ballen. Gemäß Figur 2b können Lücken zwischen den Personen als Objekte 10 auftreten. Diese Lücken können auch zur Erkennung der Bewegungsrichtung der Warteschlange 2 eingesetzt werden.

Weiterhin können wie in der Figur 3 c gezeigt Aufspaltungen oder

Verzweigungen der Objekte 10 innerhalb der Schlage 2 auftreten.

Die Figur 3 d illustriert die Möglichkeit, dass die Auswertung der Orientierung der Personen 10 in der Schlange 2, sowie deren Bewegungsrichtung, dargestellt durch Pfeile, bei der Erkennung der Warteschlange 2 helfen können. Die Bewegungsrichtung wird beispielsweise durch einen Vergleich von einem Überwachungsbild 3 zu einem Zeitpunkt z = t und einem Überwachungsbild 3 zu einem Zeitpunkt z = t+x, insbesondere durch eine Objektverfolgung, bestimmt. Die Bestimmung kann z.B. durch das Bewegungsanalysemodul 13 erfolgen. Die Orientierung der Objekte 10 kann durch den Einsatz von speziellen Sensoren, wie z.B. Wärmebildkameras, unmittelbar erfasst werden. Alternativ oder ergänzend kann die Orientierung auch durch das Objektdetektormodul 8 erfolgen. Bewegungsrichtung und/oder Orientierung der Objekte 10 können als Zusatzinformation zur Erkennung der Warteschlange 2 in dem

Modellierungsmodul 11 eingesetzt werden.