LOOS, Hartmut (Hausbergring 76, Hildesheim, 31141, DE)
KOENIG, Matthias (Zierenbergstr. 10, Hildesheim, 31137, DE)
EBLING, Julia (Kurt-Schumacher-Str. 83, Hildesheim, 31139, DE)
LOOS, Hartmut (Hausbergring 76, Hildesheim, 31141, DE)
KOENIG, Matthias (Zierenbergstr. 10, Hildesheim, 31137, DE)
| Ansprüche
1. Vorrichtung (1) zur Erkennung und/oder Klassifizierung von einem Bewegungsmuster in einer Bildsequenz von einer überwachungsszene mit einer Vielzahl von bewegten Objekten
mit einer Schnittstelle (2) zur Einspielung der Bildsequenz und
mit einem Berechnungsmodul (5) zur Bestimmung eines optischen Flussfeldes (10) in der überwachungsszene durch Auswertung der Bildsequenz,
gekennzeichnet durch
ein Erkennungsmodul (6), welches programmtechnisch und/oder schaltungstechnisch ausgebildet ist, das optische Flussfeld und/oder Teilbereiche davon mit einem oder mehreren Mustern zu vergleichen, um das
Bewegungsmuster in der Bildsequenz zu erkennen.
2. Vorrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass das Bewegungsmuster als globales Bewegungsmuster ausgebildet ist, das die Bewegungen in der gesamten überwachungsszene beschreibt.
3. Vorrichtung (1) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Bewegungsmuster als lokales Bewegungsmuster ausgebildet ist, das die Bewegung in einem Teilbereich der überwachungsszene beschreibt, wobei der Teilbereich mehrere der bewegten Objekte aufweist und/oder aufweisen kann.
4. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, gekennzeichnet durch ein Klassifikationsmodul (7), welches ausgebildet ist, auf Basis des erkannten Bewegungsmusters die überwachungsszene einer insbesondere realen überwachungssituation zuzuordnen.
5. Vorrichtung (1) nach Anspruch 4, dadurch gekennzeichnet, dass das Klassifikationsmodul (7) eine beliebige Auswahl der nachfolgenden Zuordnungen aufweist:
- ein Bewegungsmuster mit auf einen gemeinsamen Punkt (12) gerichteten Flusslinien (11) wird der überwachungssituation „Versammeln" zugeordnet;
- ein Bewegungsmuster mit von einem gemeinsamen Punkt (11) weggerichteten Flusslinien (11) wird der überwachungssituation „Verstreuen" zugeordnet;
- ein Bewegungsmuster mit um einen gemeinsamen Punkt (12) laufenden Flusslinien (11) wird der überwachungssituation „Ausweichen" zugeordnet.
6. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Berechnungsmodul (5) ausgebildet ist, in dem Fall einer fehlenden oder ungenügenden übereinstimmung bei dem Mustervergleich statistische Kenngrößen des Flussfelds zu ermitteln.
7. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Muster als zwei- oder dreidimensionales Datenfeld ausgebildet ist.
8. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennungsmodul (6) ausgebildet ist, das Bewegungsmuster durch Anwendung eines Klassifikationsverfahrens zu erkennen.
9. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennungsmodul (6) ausgebildet ist, das Bewegungsmuster auf Basis mehrerer gefundener Muster zu erkennen.
10. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das oder die Muster als lineare verschiebungsinvariante Muster ausgebildet sind.
11. Vorrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Erkennungsmodul (6) ausgebildet ist, den Mustervergleich über eine Cliffordfaltung umzusetzen.
12. Verfahren (1) zur Erkennung und zur Klassifizierung eines oder des Bewegungsmusters, vorzugsweise unter Verwendung der Vorrichtung nach einem der vorhergehenden Ansprüche, mit den Schritten:
- Berechnung eines oder des optischen Flussfeldes (10) in einer oder der Bildsequenz von einer oder der überwachungsszene mit bewegten Objekten;
- Vergleich des optischen Flussfeldes (10) mit einem oder mehreren Mustern, um das Bewegungsmuster in der Bildsequenz zu erkennen.
13. Verfahren nach Anspruch 12, gekennzeichnet durch den Schritt: - Zuordnung des erkannten Bewegungsmusters zu einer insbesondere realen
überwachungssituation.
14. Computerprogramm mit Programmcode-Mitteln, um alle Schritte des Verfahrens nach einem der Ansprüche 12 oder 13 durchzuführen, wenn das Programm auf einem Computer und/oder einer Vorrichtung von jedem
Beliebigen der Ansprüche 1 bis 11 ausgeführt wird. |
Beschreibung
Titel
Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer
Bildsequenz von einer überwachungsszene, Verfahren sowie Computerprogramm
Stand der Technik
Die Erfindung betrifft eine Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer überwachungsszene, wobei die
Vorrichtung eine Schnittstelle zur Einspielung der Bildsequenz und ein Berechnungsmodul zur Bestimmung eines optischen Flussfeldes in der überwachungsszene durch Auswertung der Bildsequenz aufweist. Weiterhin betrifft die Erfindung ein entsprechendes Verfahren und ein Computerprogramm.
Videoüberwachungssysteme dienen beispielsweise zur überwachung von öffentlichen Plätzen, Bahnhöfen, Straßen, Industrieanlagen, Gebäuden oder dergleichen. Die Videoüberwachungssysteme umfassen meist eine oder mehrere überwachungskameras, welche auf überwachungsszenen ausgerichtet sind und Bilddatenströme in Form von Bildsequenzen an ein Auswertezentrum übermitteln. Während es früher üblich war, die
Bildsequenzen durch geschultes überwachungspersonal auszuwerten, werden in der Zwischenzeit vermehrt automatisierte Auswertungen auf Basis der digitalen Bildverarbeitung durchgeführt. Die Vorteile von derartigen automatisierten Auswertungen liegen insbesondere darin, dass zum einen die Personalkosten deutlich verringert sind und zum anderen die überwachungsqualität stets gleichbleibend ist.
Ein oftmals praktizierter Ansatz zur Erkennung und/oder Klassifizierung von Bewegungsmustern in überwachungsszenen ist es, bewegte Objekte vom (im wesentlichen statischen) Szenenhintergrund zu trennen, über die Zeit zu verfolgen und bei relevanten Bewegungen Alarm auszulösen. Die verwendeten Verfahren werten im
ersten Schritt für die sogenannte Objektsegmentierung typischerweise die Bildunterschiede zwischen dem aktuellen Kamerabild und einem sogenannten Szenenreferenzbild aus, das den statischen Szenenhintergrund modelliert, um bewegte Objekte zu detektieren.
Ein anderer Ansatz analysiert dagegen den sogenannten optischen Fluss in der überwachungsszene durch Auswertung der Bildsequenz. Bei der Berechnung des optischen Flusses werden die Translationsbewegungen von Pixeln oder Bildbereichen von einem Bild zu einem nachfolgenden Bild der Bildsequenz ausgewertet und auf Basis dieser Translationsbewegungen ein Vektorfeld erstellt, welches für die untersuchten Pixel bzw. Bereiche jeweils eine Translationsrichtung sowie eine Translationsgeschwindigkeit bereitstellt. Bei diesem Ansatz wird eine Objektsegmentierung durchgeführt, indem Objekte, welche hinsichtlich der Translationsvektoren, also hinsichtlich des optischen Flusses, übereinstimmen, zu einem gemeinsamen Objekt zugehörig klassifiziert werden.
Offenbarung der Erfindung
Erfindungsgemäß wird eine Vorrichtung zur Erkennung und/oder Klassifizierung von Bewegungsmustern in einer Bildsequenz von einer überwachungsszene mit den Merkmalen des Anspruchs 1 , ein entsprechendes Verfahren mit den Merkmalen des
Anspruchs 12 und ein Computerprogramm mit den Merkmalen des Anspruchs 14 vorgeschlagen. Bevorzugte oder vorteilhafte Ausführungsformen der Erfindung ergeben sich durch die Unteransprüche, die nachfolgende Beschreibung und/oder die beigefügten Figuren.
Die erfindungsgemäße Vorrichtung zeichnet sich gegenüber dem bekannten Stand der Technik insbesondere dadurch aus, dass die Bewegungsmuster nicht unbedingt über den Zwischenweg einer Objektsegmentierung und einer nachfolgenden Objektverfolgung erkannt und dann klassifiziert werden, sondern, dass das optische Flussfeld selbst auf charakteristische Bewegungsmuster durch einen Vergleich mit vorgegebenen und/oder vorgebbaren Mustern, insbesondere Flussmasken, untersucht wird. Während im Stand der Technik somit ein Einzelobjektansatz verfolgt wird, schlägt die Erfindung einen Mehrobjektansatz vor, welcher zugleich sämtliche bewegten Objekte in der überwachungsszene und/oder in einem Teilbereich der überwachungsszene analysiert.
Die Vorrichtung ist vorzugsweise als ein Videoüberwachungssystem ausgebildet, welches beispielsweise als eine Datenverarbeitungseinrichtung, Computer, DSP, Microcontroller, FPGA, ASIC oder dergleichen realisiert ist und/oder eine oder mehrere Schnittstellen zur Einspielung von Bildsequenzen einer oder mehrerer überwachungsszenen aufweist. Die Schnittstellen sind mit einer Mehrzahl von Kameras,
Recordern und/oder anderen Speichermedien verbunden und/oder verbindbar, auf denen die Bildsequenzen bereitgestellt werden bzw. bereitstellbar sind. Die erfmdungsgemäße Vorrichtung eignet sich insbesondere aufgrund einer vergleichsweise geringen Rechenleistungsanforderung für den Echtzeiteinsatz, kann jedoch auch bereits gespeicherte Bildsequenzen insbesondere „Off-Line" analysieren.
Die überwachungsszene kann - wie zum Beispiel bereits in der Einleitung dargestellt - als Straßenszene, Kreuzung, öffentliches Gebäude, Bahnhof, etc. ausgebildet sein. Vorzugsweise zeigt die überwachungsszene eine Mehrzahl von bewegten Objekten, die insbesondere als Menschen, z.B. Passanten, aber auch als Fahrzeuge oder dergleichen ausgebildet sein können. Die Bildsequenz umfasst eine Mehrzahl von insbesondere zeitlich äquidistant aufgenommenen Bilder der überwachungsszene, wobei die Bilder eine beliebige Spezifikation aufweisen können, so zum Beispiel als Färb-, Graustufen-, Schwarzweiß-, Infrarot- und/oder UV-Bild realisiert sind.
Die erfindungsgemäße Vorrichtung weist ein Berechnungsmodul auf, welches programmtechnisch und/oder schaltungstechnisch zur Bestimmung eines optischen Flussfeldes in der überwachungsszene durch Auswertung der Bildsequenz ausgebildet ist. Das optische Flussfeld - auch optischer Fluss oder „optical flow" genannt - ist als ein Vektorfeld darstellbar, das die vorzugsweise zweidimensionale Bewegungsrichtung und/oder Bewegungsgeschwindigkeit für jeden oder jeden ausgewählten Bildpunkt, für jedes oder jedes ausgewählte Pixel und/oder für jeden oder jeden ausgewählten Bildbereich der Bilder einer Bildsequenz angibt. Die Berechnung des optischen Flussfeldes kann über differentielle Methoden, jedoch auch über jede beliebige andere bekannte Methode erfolgen.
Erfindungsgemäß wird vorgeschlagen, dass die Vorrichtung ein Erkennungsmodul aufweist, welches programmtechnisch und/oder schaltungstechnisch ausgebildet ist, das optische Flussfeld und/oder Teilbereiche davon, mit einem oder mehreren Mustern zu vergleichen, um ein Bewegungsmuster in der Bildsequenz zu erkennen.
Insbesondere erfolgt die Erkennung des Bewegungsmusters ohne die Zwischenschritte der Objektsegmentierung - und -Verfolgung, so dass zum einen Ungenauigkeiten bei der Analyse vermieden und zum anderen Rechenzeit eingespart werden kann. Die vorgeschlagene Erfindung nutzt somit die Informationen, die durch Berechnung der
Bewegung von kleinen Bildbereichen gewonnen werden, wobei ein Bildbereich auch aus einem einzigen Pixel bestehen kann. Für die Berechnung dieser optischen Flussfelder ist es auch nicht nötig, ein Szenenreferenzbild zu haben, da nur die aktuellen Kamerabilder verwendet werden. Vorzugsweise wird auch die Entwicklung der Flussfelder über die Zeit betrachtet.
Ein weiterer nutzbarer Vorteil der Erfindung liegt darin, dass das zugrundeliegende Verfahren anwendbar ist, auch wenn in der überwachungsszene so viele bewegte Objekte auftreten, dass diese sich gegenseitig überdecken, verschmelzen und/oder, dass eine Objektsegmentierung z.B. über ein Szenenreferenzbild nicht oder nicht mehr mit der notwendigen Zuverlässigkeit möglich ist. Damit erlaubt die Erfindung die Erkennung von Bewegungsmustern in den Bildsequenzen auch bei überbevölkerten überwachungsszenen. Insbesondere ist die Erfindung geeignet, Bewegungsmuster zu erkennen, die durch ein massenpsychologisches und/oder gruppendynamisches Verhalten begründet sind, also insbesondere durch das gemeinsame Verhalten von großen
Menschenansammlungen. Beispiele für derartige Bewegungsmuster sind Zusammenströmen, Auseinanderströmen, um ein Zentrum Herumströmen etc..
Bei einer bevorzugten Ausführungsform der Erfindung ist das Bewegungsmuster als ein globales Bewegungsmuster ausgebildet, welches die Bewegung in der gesamten
überwachungsszene beschreibt. Diese Ausführungsform ist besonders geeignet, wenn die überwachungsszene eine Menschenmenge zeigt und ein gemeinsames Verhalten der Menschen in der Menschenmenge über die Analyse des Bewegungsmusters klassifiziert werden soll.
Bei einer anderen Ausführungsalternative ist das Bewegungsmuster als ein lokales Bewegungsmuster ausgebildet, das die Bewegung in einem Teilbereich der überwachungsszene beschreiben. Der Teilbereich kann bei einer möglichen Ausführungsalternative durch einen Benutzer eingestellt sein, so dass beispielsweise eine Rolltreppe als Teilbereich ausgewählt wird, oder bei einer anderen möglichen
Ausführungsalternative automatisiert ermittelt werden, indem beispielsweise Teilbereiche ausgewählt werden, in denen gegenüber anderen Teilbereichen der überwachungsszene mehr Objektbewegungen nachgewiesen werden. Es ist jedoch bevorzugt, dass der Teilbereich der überwachungsszenen eine Vielzahl von bewegten Objekten aufweist, um die Vorteile der Erfindung am besten ausnützen zu können.
Bei einer Weiterbildung der Erfindung weist die Vorrichtung ein Klassifikationsmodul auf, welches unter Berücksichtigung des oder der erkannten Bewegungsmuster der überwachungsszenen eine überwachungssituation zuordnet. Insbesondere erfährt die erfindungsgemäße Vorrichtung eine anwendungsspezifische Ausprägung, indem die
überwachungsszene als reale überwachungsszene einer realen überwachungssituation zugeordnet wird. Im Allgemeinen können derartige reale überwachungssituationen beliebig ausgebildet sein, zum Beispiel als eine Menschenschlange, eine regulär befahrene Straße, ein bestimmungsgemäß benutzter Kreisverkehr etc.. Damit eignet sich die Erfindung reale überwachungssituationen, vorzugsweise Gefahrensituationen wie zum Beispiel gestürzte Personen, Fluchtverhalten, Panik und Situationen, welche Schaulustige anlocken, insbesondere in überbevölkerten überwachungsszenen automatisch zu erkennen und eine Reaktion auszulösen, wie zum Beispiel die Aussendung eines Alarmrufs. Vorzugsweise ist jedoch vorgesehen, dass das Klassifikationsmodul eine beliebige Auswahl der nachfolgenden Zuordnungen aufweist:
Ein Bewegungsmuster mit auf einem gemeinsamen Punkt gerichteten Flusslinien, also eine Konvergenz, wird der überwachungssituation „Versammeln" zugeordnet. Ein derartige überwachungssituation entsteht beispielsweise beim Anströmen von bewegten Objekten, insbesondere Menschen oder Schaulustigen zu einem gemeinsamen Zentrum.
Ein Bewegungsmuster mit von einem gemeinsamen Punkt weggerichteten Flusslinien, also einer Divergenz, wird der überwachungssituation „Verstreuen" zugeordnet. Eine derartige überwachungssituation entseht beim Auseinanderströmen von bewegten Objekten, zum Beispiel bei einer Flucht von Personen vor einem zentralen Punkt.
Ein Bewegungsmuster mit um einen gemeinsamen Punkt laufenden Flusslinien wird der überwachungssituation „Ausweichen" zugeordnet und ist ein Beispiel für eine
überwachungssituation, wobei die überwachungsszene ein Hindernis aufweist, welches von den bewegten Objekten umgangen wird.
Für den Fall, dass das Berechnungsmodul mit den vorhandenen Mustern keine oder nur eine ungenügende übereinstimmung bei dem Mustervergleich feststellen kann, ist das
Berechnungsmodul ausgebildet, statistische Kenngrößen des optischen Flussfeldes zu ermitteln. Diese Ausführungsform ist besonders nützlich, wenn bei einem optischen Flussfeld keine Struktur oder Bewegungsmodell feststellbar ist. Durch die Ermittlung von statistischen Kenngrößen wird geprüft, ob der überwachungsszene die überwachungssituation Chaos oder einer Panik zugeordnet werden kann. Auch bei erkannten Bewegungsmustern ist die Vorrichtung vorzugsweise so ausgebildet, dass die erkannten Bewegungsmuster mit statistischen oder anderen Kenngrößen bestätigt oder verizifϊziert werden.
Bei einer bevorzugten Realisierung der Vorrichtung ist das Muster als zwei- oder dreidimensionales Datenfeld ausgebildet. Es kann dabei vorgesehen sein, dass die Größe des Musters der Größe eines Bildes der Bildsequenz entspricht. Alternativ kann vorgesehen sein, dass die Größe des Musters der Größe eines Teilbereiches, insbesondere des zu untersuchenden Teilbereichs des Bildes und damit auf die relevante überwachungsszene beschränkt ist. Bei einer möglichen Alternative ist das Muster als
Fenster ausgebildet, mit dem das optische Flussfeld, zum Beispiel gleitend, abgefahren wird.
Bei einer bevorzugten Ausbildung der Erfindung wird das Bewegungsmuster durch Anwendung eines Klassifikationsverfahrens erkannt. Bei einem derartigen
Klassifikationsverfahren wird das optische Flussfeld in einer ersten Klassifikationsstufe mit einem ersten Muster, in einer zweiten Klassifikationsstufe mit einem zweiten Muster und in einer n-ten Klassifikationsstufe mit einem n-ten Muster verglichen. Ein Bewegungsmuster wird somit durch eine Mehrzahl von positiv klassifizierten Einzelmustern erkannt. Zur Ersparung von Rechenzeit kann beispielsweise vorgesehen sein, dass sobald ein Muster einer Klassifikationsstufe in dem optischen Flussfeld nicht gefunden werden kann, dieses Muster verworfen wird.
Bei weiteren Ausführungsformen ist das Klassifikationsverfahren als ein Klassifikationsbaum ausgebildet, wobei die Verzweigungen des Baumes durch Klassifikationsstufen gebildet werden.
Nachdem bei der Anwendung von mehreren Mustern auf das optische Flussfeld als
Ergebnis eine Bewertung der übereinstimmung der mehreren Muster mit dem optischen Flussfeld vorliegt, ist es bevorzugt, dass das Bewegungsmuster auf Basis von mehreren gefundenen Mustern erkannt wird. Die Zuordnung der mehreren Muster zu einem Bewegungsmuster kann beispielsweise automatisiert durch ein Lernverfahren umgesetzt werden.
Bei einer Implementierung ist bzw. sind die Muster als lineare, verschiebungsinvariante Muster ausgebildet und/oder wird der Mustervergleich über eine Clifford-Faltung umgesetzt. Die besonderen Vorteile einer Clifford-Faltung und die Anwendung auf Vektorfelder ergeben sich beispielsweise aus der Dissertationsschrift der Erfinderin Julia
Ebling mit dem Titel „Visualization and Analysis of Flowfields based on Clifford- Convolution", Universität Leipzig, Diss.,.
Ein weiterer Gegenstand der Erfindung betrifft ein Verfahren zur Erkennung und/oder Klassifizierung eines oder des Bewegungsmusters in einer Bildsequenz von einer oder der überwachungsszene mit den Merkmalen des Anspruchs 12, welches vorzugsweise auf der soeben beschriebenen Vorrichtung bzw. auf der Vorrichtung gemäß der vorhergehenden Ansprüche ausgeführt wird.
Bei dem Verfahren wird in einem ersten Schritt das optische Flussfeld in der Bildsequenz der überwachungsszene berechnet und in einem zweiten Schritt das optische Flussfeld mit einem oder mehreren Mustern verglichen, um ein oder das Bewegungsmuster in der Bildsequenz bzw. in der überwachungsszene zu erkennen. Ein weiterer, optionaler Schritt besteht darin, dass dem erkannten Bewegungsmuster eine überwachungssituation zugeordnet wird.
Ein weiterer Gegenstand betrifft ein Computerprogramm mit Programmcode-Mitteln mit den Merkmalen des Anspruchs 15.
Kurze Beschreibung der Zeichnungen
Weitere Merkmale, Vorteile und Wirkung der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie den beigefügten Figuren. Dabei zeigen:
Figur 1 eine Blockdarstellung eines Videoüberwachungssystems als ein erstes Ausführungsbeispiel der Erfindung;
Figur 2 eine schematisierte Darstellung als ein erstes Beispiel für ein optisches
Flussfeld mit einem ersten Bewegungsmuster;
Figur 3 eine schematisierte Darstellung als ein zweites Beispiel für ein optisches
Flussfeld mit einem zweiten Bewegungsmuster;
Figur 4 eine schematisierte Darstellung als ein drittes Beispiel für ein optisches
Flussfeld mit einem dritten Bewegungsmuster;
Figur 5 eine schematisierte Darstellung als ein viertes Beispiel für ein optisches Flussfeld mit einem vierten Bewegungsmuster.
Ausführungsform(en) der Erfindung
Die Figur 1 zeigt in einer schematischen Blockdarstellung ein Videoüberwachungssystem
1 , welches zur überwachung von Plätzen, Gebäuden, Kreuzungen, Verkehrsknotenpunkten und dergleichen einsetzbar und beispielsweise als Computersystem ausgebildet ist.
Das Videoüberwachungssystem 1 ist über eine Schnittstelle 2 mit einer oder mehreren
überwachungskamera(s) 3 sowie einer oder mehreren Videorecorder(n) 4 verbunden. Die überwachungskameras 3 sind zur überwachung der genannten überwachungsszenen positioniert und leiten den Bilddatenstrom entweder zunächst zur Zwischenspeicherung in den oder die Videorecorder 4 oder direkt in das Videoüberwachungssystem 1.
Ausgehend von der Schnittstelle 2 werden die Bilddatenströme, welche Bildsequenzen der überwachungsszene entsprechen, zunächst an ein Berechnungsmodul 5 übergeben. Das Berechnungsmodul 5 ist programmtechnisch und/oder schaltungstechnisch ausgebildet, um aus einer Bildsequenz einer überwachungsszene ein optisches Flussfeld bzw. ein sich zeitlich veränderndes optisches Flussfeld zu erzeugen. Das optische
Flussfeld wird beispielsweise für die Translationsbewegungen von Pixeln oder Bildbereichen in den Bildern der Bildsequenz über mindestens zwei und vorzugsweise mehr als zehn Bilder erstellt. Es kann auch vorgesehen sein, dass das optische Flussfeld quasi gleitend für die Bildsequenz erstellt wird, indem für die Berechnung des aktuellen optischen Flussfelds jeweils das älteste Bild aus der Berechnung für das optische
Flussfeld entfernt wird und durch das neueste Bild der Bildsequenz ersetzt wird (FiFo).
Das erzeugte optische Flussfeld wird an ein Erkennungsmodul 6 übergeben, welches ausgebildet ist, das optische Flussfeld mit Mustern oder Mustermasken aus einem Musterspeicher 7 zu vergleichen, wobei die Muster in dem Musterspeicher 7 so konzipiert sind, dass Bewegungsmuster in der Bildsequenz bzw. in der überwachungsszene erkannt werden können. Die Muster in dem Musterspeicher 7 können hierfür als zwei- oder dreidimensionale Datenfelder ausgebildet sein und von der Größe eine ähnliche Größe wie ein Bild der Bildsequenz oder wie ein Teilbereich eines Bildes der Bildsequenz aufweisen. Zur Erkennung eines Bewegungsmusters in dem optischen Flussfeld kann ein einziges Muster aus dem Musterspeicher 7 auf das optische Flussfeld angewandt werden, alternativ werden mehrere Muster aus dem Musterspeicher 7 auf das optische Flussfeld angewandt und das Bewegungsmuster anhand von Klassifikationsprozeduren, Entscheidungsbäumen, etc. erkannt.
Nachdem ein Bewegungsmuster erkannt wurde, wird dieses an ein Klassifizierungsmodul 8 übergeben, wobei das Klassifizierungsmodul 8 gestaltet ist, um dem erkannten Bewegungsmuster eine bestimmte reale überwachungssituation, wie zum Beispiel Flucht, Zusammenströmen, Chaos, Panik etc. zuzuordnen. Sobald die Zuordnung des Bewegungsmusters zu der überwachungssituation vollendet ist, kann optional über ein Benachrichtigungsmodul 9 eine Nachricht an ein überwachungspersonal abgesetzt werden.
Das auf dem Videoüberwachungssystem 1 ablaufende Verfahren umfasst somit die Schritte der Annahme von Bildern bzw. Bildsequenzen einer überwachungsszene, der
Berechnung des optischen Flussfeldes für das aktuelle Bild der Bildsequenz, optional eine zeitliche Filterung des optischen Flussfeldes, um Störungen zu unterdrücken und die Bestimmung von überwachungssituationen über den Vergleich des oder der optischen Flussfelder mit vorgegebenen Flussmasken oder Muster, welche typische Bewegungsmuster beschreiben, eine Analyse der berechneten ähnlichkeiten, optional eine statistische Analyse der Bewegungsrichtungen für weitere Informationen und zur Absicherung der Ergebnisse und schließlich die Klassifikation der überwachungssituation gegebenenfalls für verschiedene Bildbereiche.
Die Figur 2 zeigt in einer stark schematisierten Darstellung ein erstes Beispiel für ein optisches Flussfeld 10 mit einem Bewegungsmuster wie es beim Anströmen von Personen, wie zum Beispiel Schaulustigen, entsteht. Wie der Figur zu entnehmen ist, sind alle oder die meisten der Bewegungsvektoren 11 auf ein gemeinsames Zentrum 12 gerichtet, so dass dieses Bewegungsmuster in einfacher Weise automatisiert durch das Erkennungsmodul 6 erkannt werden kann. Das Bewegungsmuster ist beispielsweise als konvergentes Bewegungsmuster zu bezeichnen. Das durch das Erkennungsmodul 6 erkannte Bewegungsmuster wird dann dem Klassifizierungsmodul 8 gemeldet, welches diesem konvergenten Bewegungsmuster die überwachungssituation „Anströmen von Personen" zuordnet. Nachdem das Anströmen von Personen zu einem gemeinsamen Zentrum 12 meistens dadurch ausgelöst ist, dass in dem gemeinsamen Zentrum 12 eine nicht vorhergesehene Gegebenheit passiert ist, wie zum Beispiel ein Unfall oder dergleichen, führt die Klassifizierung des konvergierenden Bewegungsmusters zu der Auslösung eines Alarms in dem Benachrichtigungsmodul 9.
Die Figur 3 zeigt ein zweites Ausführungsbeispiel eines schematisierten optischen
Flussfelds 10, welches ein Bewegungsmuster aufweist, das dem Auseinanderströmen von Personen, wie es zum Beispiel bei einer Flucht passiert, entspricht. Alle oder die meisten Flussvektoren 11 weisen bei diesem Ausführungsbeispiel von dem gemeinsamen Zentrum 12 sternförmig weg. Das Erkennungsmodul 6 wird dieses Bewegungsmuster beispielsweise als divergierendes Bewegungsmuster erkennen und an das
Klassifizierungsmodul 8 weitergeben. Das Klassifizierungsmodul 8 wird diesem divergierenden Bewegungsmuster die überwachungssituation „Flucht" zuordnen und das Benachrichtigungsmodul 9 anweisen, einen Alarm auszulösen.
Die Figur 4 zeigt ein drittes Beispiel für ein optische Flussfeld 10, wobei dieses dritte Beispiel das Bewegungsmuster von Personen zeigt, die ein Hindernis umlaufen. Hier ergeben sich für die Flussvektoren 11 zwei Strömungen, wobei die auf der linken Seite der Figur 4 angeordnete Strömung von oben nach unten verläuft und die auf der rechten Seite angeordnete Strömung von unten nach oben läuft. Das gemeinsame Zentrum 12 wird dabei von beiden Strömen umgangen. Nachdem das Klassifizierungsmodul 8 dieses Bewegungsmuster erhalten hat, wird es der überwachungsszene die überwachungssituation eines aufgetretenen Hindernisses zuordnen und ebenfalls in dem Benachrichtigungsmodul 9 einen Alarm auslösen.
Die Figur 5 zeigt schließlich ein letztes Ausführungsbeispiel für ein optisches Flussfeld 10, wobei die Flussvektoren 11 keine einheitliche Richtung aufweisen und kein gemeinsames Zentrum feststellbar ist. Bei der übergabe eines derartigen Bewegungsmusters, welches möglicherweise als chaotisches Bewegungsmuster bezeichenbar ist, oder der Nachricht, dass kein Bewegungsmuster auffindbar war, wird das Klassifizierungsmodul 8 als überwachungssituation von einer Paniksituation ausgehen und ebenfalls das Benachrichtigungsmodul 9 aktivieren.
Bei allen in den Figuren 2 bis 5 gezeigten Bewegungsmustern ist es möglich, die Ergebnisse und die Klassifizierung der überwachungssituation in der Qualität dadurch zu verbessern, dass ergänzend statistische Auswertungen der Flussvektoren 11 durchgeführt werden und geprüft wird, ob die zu klassifizierende überwachungssituation beispielsweise mit den Bewegungsgeschwindigkeiten der Flussvektoren logisch vereinbar ist. Die statistische Absicherung stellt somit eine zusätzliche überprüfung der Ergebnisse dar.
Insgesamt wird mit der Erfindung ein videobasiertes überwachungssystem vorgestellt, welches zur Beobachtung von Komplettszenarien einsetzbar ist, wobei es besonders für die Beobachtung von Gefahrensituationen in übervölkerten Szenen, also in Szenen, in denen sich sehr viele bewegte Objekte bewegen, geeignet ist.
Next Patent: METHOD AND APPARATUS FOR THE DETERMINATION OF A TORQUE OF AN INTERNAL COMBUSTION ENGINE