Patent- und Rechtsanwaltssozietät GbR

Technische Universität Carolo-Wilhelmina Unser Zeichen: zu Braunschweig 3022-073 PCT-1

Pockelstraße 14 Datum:

38106 Braunschweig 23.1 1 .2010

Deutschland

VERFAHREN UND EINRICHTUNG ZUR OPTISCHEN AKTIVITÄTENERKENNUNG

Die Erfindung betrifft ein Verfahren zur optischen Aktivitätenerkennung mit einer Mehrzahl virtueller Lichtschranken gemäß dem Patentanspruch 1 . Die Erfindung betrifft außerdem eine vorteilhafte Einrichtung zur optischen Aktivitätenerkennung gemäß dem Anspruch 1 1.

Als Aktivität wird in diesem Zusammenhang jede Bewegung eines dreidimensionalen Objekts in einem zu überwachenden Bereich, z.B. einem Raum, verstanden. Die Erfindung eignet sich daher zum computergestützten Erkennen von Aktivitäten z.B. einer Person, eines Tiers oder einer Maschine Als opti- sehe Aktivitätenerkennung wird jegliche Art von optischer Erfassung verstanden, die sichtbasiert mittels einer Kamera erfolgen kann.

Bisherige Vorschläge zur optischen Aktivitätenerkennung erfordern beispielsweise, dass ein Hintergrundbild erfasst wird, das als unveränderlich angenom- men wird. Zur Erkennung der Aktivitäten werden Veränderungen im Vordergrund registriert. Solche Verfahren sind bereits dann problematisch, wenn sich der Hintergrund beispielsweise durch Lichteinfall verändert. Dies bringt die Problematik mit sich, dass das Hintergrundmodell regelmäßig aktualisiert werden muss, was im Einzelfall äußerst aufwendig sein kann. Änderungen am Hin- tergrundmodell, wie z.B. das öffnen oder Schließen von Türen oder Beleuchtungsänderungen, müssen erkannt und zur Aktualisierung verwendet werden.

BESTÄTIGUNGSKOPIE Gramm, Lins & Partner

Patent- und Rechtsanwaltssozietät GbR

Dabei müssen die Aktualisierungsmechanismen so entwickelt werden, dass sie das Aktualisieren des Hintergrundmodells im Bereich von bewegungslosen Personen, z.B. schlafenden Personen, verhindern. Auch dies ist in der Praxis schwer umzusetzen.

Zur Erkennung von Aktivitäten war es bei bekannten Lösungen zudem erforderlich, dass relativ komplexe Personenerkennungs- und Tracking-Algorithmen angewandt werden. Durch das Tracking wird die Bewegung einer Person durch einen Raum verfolgt; hieraus wird auf bestimmte Aktivitäten geschlossen. Sol- che Verfahren sind sehr rechenaufwendig und erfordern im Echtzeitbetrieb eine sehr leistungsfähige und entsprechend teure Hardware.

Der Erfindung liegt daher die Aufgabe zugrunde, eine robuste Aktivitätenerkennung mit deutlich reduziertem Rechenaufwand zu ermöglichen.

Diese Aufgabe wird durch die Erfindung gemäß den Ansprüchen 1 und 11 gelöst. Die Unteransprüche geben vorteilhafte Weiterbildungen der Erfindung an.

Die Erfindung hat den Vorteil, eine sichere und zuverlässige Erkennung der Aktivitäten eines Objekts in einem zu überwachenden Bereich zu ermöglichen. Die Erfindung erlaubt es, die mittels einer Kamera erfassten umfangreichen Bildinformationen durch schnell auszuführende Schritte zu verarbeiten und hierbei Aktivitäten eines Objekts mit hoher Zuverlässigkeit zu erkennen. Dies wird ermöglicht durch die Verwendung von virtuellen Lichtschranken gemäß dem Patentanspruch 1. Es entfällt insbesondere die Notwendigkeit, die im Stand der Technik erforderlichen aufwendigen Tracking-Algorithmen zu verwenden. Die Erfindung erlaubt es, mittels relativ einfacher Rechenschritte die komplexen Bildinformationen auf einfache und schnell weiter zu verarbeitende Größen zu reduzieren, wie z.B. einzelne (skalare) Zahleninformationen oder reine Binärinformationen. Gramm, Lins & Partner

Patent- und Rechtsanwaltssozictät GbR

Die Erfindung eignet sich besonders für die Parallelverarbeitung in Computern moderner Architektur, die mehrere parallel arbeitende Prozessoren aufweisen. Die Erfindung erlaubt es, die virtuellen Lichtschranken auf verschiedene Prozessoren zu verteilen und jeden Prozessor eine bestimmte Anzahl virtueller Lichtschranken berechnen zu lassen. Hierdurch kann die Erfindung mit kostengünstiger Hardware in allen Bereichen eingesetzt werden, in denen Räume ü- berwacht und Aktivitäten von Objekten, z.B. Personen, erkannt werden sollen.

Eine virtuelle Lichtschranke wird bestimmt die Zuordnung eines null-, ein- oder zweidimensionalen Überwachungsbereichs in der erfassten Bildpunkt- Information, Überwachen des Überwachungsbereichs und Erzeugen eines Aktivitätssignals der virtuellen Lichtschranke. Die Verwendung solcher virtuellen Lichtschranken hat gegenüber einer Verwendung von realen Lichtschranken den Vorteil, dass eine Installation separater Lichtschranken entfällt. Es ist lediglich eine Installation einer Kamera bzw. ggf. mehrerer Kameras notwendig. Es entfällt zudem die umfangreiche Kabelinstallation, die für reale Lichtschranken mit einem Lichtsender und einem Lichtempfänger erforderlich ist. Vorteilhaft können zudem im Prinzip beliebig viele virtuelle Lichtschranken definiert werden, ohne dass zusätzlicher realer Installationsaufwand anfällt. Möglich ist auch eine dynamische Variation der Anzahl der virtuellen Lichtschranken, z.B. je nach Auslastung der verwendeten Hardware und der Überwachungssituation. Ein weiterer Vorteil gegenüber realen Lichtschranken besteht bei virtuellen Lichtschranken darin, dass diese in beliebiger Weise reale Lichtvorhänge oder Lichtbereiche ersetzen können. Die virtuellen Lichtschranken können im Prinzip in jeder null, ein- oder zweidimensionalen Form definiert werden, beispielsweise als gerade oder gekrümmte Linie, Kreis oder Ellipse, Rechteck oder in jeder sonstigen Form. In einer Ausführung in der nulldimensionalen Form ist der Ü- berwachungsbereich punktförmig; dies entspricht der klassischen realen Lichtschranke mit nur einem Lichtstrahl. In einer Ausführung in der eindimensionalen Form ist der Überwachungsbereich linienförmig, z.B. als Geradenabschnitt oder als Umfangslinie eines zweidimensionalen Fläche, die eine regelmäßige Gramm, Lins & Partner

Patent- und Rechtsanwaltssozietat GbR

Form (z.B. Kreis, Ellipse, Rechteck) oder unregelmäßige Form haben kann; in der Ausführung als Geradenabschnitt entspricht dies der einem realen Lichtvorhang mit einer Mehrzahl von Lichtstrahlen. In einer Ausführung in der zweidimensionalen Form ist der Überwachungsbereich flächig, z.B. als Fläche einer zweidimensionalen Fläche, die eine regelmäßige Form (z.B. Kreis, Ellipse, Rechteck) oder unregelmäßige Form haben kann. Das Konzept der virtuellen Lichtschranken erlaubt daher eine große Flexibilität bei der Überwachung von Objekten. Gegenüber vorbekannten Bildverarbeitungsverfahren, die für die Aktivitätenerkennung verwendet werden, hat die Erfindung den Vorteil, dass die Datenverarbeitung nur wenig Aufwand erfordert. Insbesondere müssen keine komplexen Modelle gespeichert und verarbeitet werden. Die komplexe Bildinformation kann auf eine binäre Information komprimiert werden, die den Zustand der je- weiligen virtuellen Lichtschranken angibt. Dies hat gegenüber der konventionellen Bildverarbeitung den weiteren Vorteil, dass der Datenschutz verbessert wird, da als Ausgangsgröße nur eine binäre Ein-/Aus-lnformation der Lichtschranke ausgegeben werden muss und nicht das gesamte aufgenommene Bild. Insbesondere wird der Zugriff auf empfindliche Bildinformationen vermie- den und der Schutz der Privatsphäre von Personen verbessert.

Da keine Modellinformationen gemäß der konventionellen Bildverarbeitung erforderlich sind, müssen solche Informationen auch nicht an Veränderungen, wie z.B. veränderte Beleuchtungsbedingungen, angepasst werden. Dadurch ist die Erfindung sehr robust gegenüber Beleuchtungsänderungen und sonstigen Änderungen des überwachten Bereichs.

Die Erfindung eignet sich vorteilhaft für den kommerziellen Einsatz und die Verwendung in Privatwohnungen oder Wohnheimen. Die Aktivitätenerkennung kann in vielen Bereichen eingesetzt werden, wie Sicherheitskontrolle, Überwachung, Zugangskontrollen oder zur Steuerung von Unterhaltungselektronik. Ein Gramm, Lins & Partner

Patent- und Rechtsanwaltssozietät GbR besonders vorteilhafter Anwendungsbereich der Erfindung liegt auf dem Gebiet von Hausnotrufsystemen, die mittels der Erfindung dahingehend verbessert werden können, dass ein automatischer Notruf bei Erkennung von Aktivitäten ausgelöst wird, die nicht dem normalen Aktivitätsmuster entsprechen. Bei- spielsweise kann die erfindungsgemäße Aktivitätenerkennung verwendet werden, um Gefahrensituationen oder Anomalien zu erkennen, wie z.B. einen Sturz einer Person.

Gemäß der Erfindung wird die von der Kamera erfasste Bildinformation in zwei Schritten verdichtet, nämlich zunächst mittels der virtuellen Lichtschranken auf die den Lichtschranken zugeordneten ein- oder zweidimensionalen Überwachungsbereiche. Hierdurch muss nicht die gesamte Bildinformation jedes Bildes ausgewertet werden, sondern nur die definierten Überwachungsbereiche. In einem zweiten Schritt erfolgt eine Verdichtung der Bildinformation der Über- wachungsbereiche auf ein jeweiliges Aktivitätssignal der virtuellen Lichtschranke. Das Aktivitätssignal kann ein binäres Ein-/Aus-Signal sein oder ein Zahlenwert, z.B. eine ganze Zahl. Für die Erkennung einer Aktivität wird erfindungsgemäß die zeitliche Abfolge der Mehrzahl der Aktivitätssignale ausgewertet. Gemäß einer vorteilhaften Weiterbildung der Erfindung weist eine virtuelle Lichtschranke folgende Merkmale auf:

a) Überwachen der Bildpunkte des Überwachungsbereichs auf Veränderungen, die eine vorbestimmte Überwachungsschwelle überschreiten, b) Erzeugen eines Ansprechsignals als Aktivitätssignal, wenn die vorge- gebene Überwachungsschwelle überschritten ist.

Dies erlaubt vorteilhaft eine Erzeugung eines binären Aktivitätssignals mit wenig Rechenaufwand. So kann das Ansprechsignal beispielsweise die Zustände „Lichtschranke unterbrochen" oder„Lichtschranke nicht unterbrochen" anzeigen. Gramm, Lins & Partner

Patent- und Rechtsanwaltssozietät GbR

Gemäß einer vorteilhaften Weiterbildung der Erfindung erfolgt die Überwachung der Bildpunkte des Überwachungsbereichs wenigstens einer virtuellen Lichtschranke bildpunktweise durch zeitliche Ableitung oder Differenzbildung aufeinanderfolgender Bilder. Die für die zeitliche Ableitung oder Differenzbil- dung herangezogenen aufeinanderfolgenden Bilder können direkt aufeinanderfolgende Bilder oder Bilder mit einem gewissen zeitlichen Abstand voneinander sein. Dies erlaubt vorteilhaft eine Anpassung an die jeweilige Überwachungssituation. Insbesondere bei langsamen Vorgängen oder selten auftretenden Änderungen sind größere Abstände zwischen den ausgewerteten Bildern vorteil- haft. Es ist ebenfalls vorteilhaft, die Überwachung bildpunktweise vorzunehmen, da dies ebenfalls einfache Rechenschritte erlaubt. Im einfachsten Fall kann eine Differenzbildung zwischen einem Bildpunkt eines aufgenommenen Bildes und demselben Bildpunkt eines vorangegangenen Bildes durchgeführt werden.

Gemäß einer vorteilhaften Weiterbildung der Erfindung wird ein Überwachungswert aus allen Bildpunkten des Überwachungsbereichs wenigstens einer virtuellen Lichtschranke oder daraus ermittelten Daten, wie z.B. der zuvor erwähnten zeitlichen Ableitung oder bildpunktweisen Differenz, bestimmt. Gemäß einer vorteilhaften Weiterbildung kann der Überwachungswert als räumliches Integral oder Summe aus allen Bildpunkten des Überwachungsbereichs wenigstens einer virtuellen Lichtschranke oder den daraus ermittelten Daten bestimmt werden. Dies erlaubt wiederum einfache, schnell auszuführende Rechenschritte. Im einfachsten Fall kann als Überwachungswert die Summe der bildpunktweise gebildeten Differenzwerte aufeinanderfolgender Bilder bestimmt werden. Gemäß einer vorteilhaften Weiterbildung der Erfindung kann das Aktivitätssignal wenigstens einer virtuellen Lichtschranke der erwähnte Überwachungswert sein oder aus dem Überwachungswert bestimmt werden, z.B. durch weitere Umrechnung. Gramm, Lins & Partner

Patent- und Rechtsanwaltssozietät GbR

Gemäß einer vorteilhaften Weiterbildung der Erfindung werden die Bildpunkte des Überwachungsbereichs auf Veränderungen des Grauwerts, des Farbtons, der Sättigung und/oder der Helligkeit überwacht. Durch geeignete Kombinationen der Überwachungskriterien kann vorteilhaft eine geeignete Anpassung an die Überwachungssituation, wie z.B. sich ändernde Lichtverhältnisse oder Farbverhältnisse, erreicht werden.

Der Überwachungsbereich einer virtuellen Lichtschranke kann grundsätzlich jede ein- oder zweidimensionale Form in der erfassten Bildpunktinformation haben. Als eindimensionale Form wird z.B. eine Linieform oder ein Punkt verstanden. Als zweidimensionale Form wird z.B. eine flächige Form verstanden. Denkbar ist z.B. eine Festlegung als rechteckiger oder kreisrunder Überwachungsbereich. Gemäß einer vorteilhaften Weiterbildung der Erfindung ist der Überwachungsbereich als Geradenabschnitt ausgebildet. Hierdurch können vorteilhaft sogenannte Lichtvorhänge virtuell nachgebildet werden. Die Ausbildung als Geradenabschnitt hat den Vorteil, dass die Anzahl der auszuwertenden Bildpunkte begrenzt wird, und damit die Verarbeitungsgeschwindigkeit für die Aktivitätenerkennung verbessert wird.

Gemäß einer vorteilhaften Weiterbildung der Erfindung kann der Überwachungsbereich mit Hilfe eines Grafikprogramms in ein erfasstes Bild der Kamera eingezeichnet werden. Zur Definition eines Überwachungsbereichs kann somit ein Bild unter neutralen Bedingungen, z.B. ohne Vorhandensein von Personen in einem zu überwachenden Raum, aufgezeichnet werden. Dieses Bild wird in das Grafikprogramm eines Computers geladen, z.B. Paint Shop. Mittels eines Eingabeelements, z.B. einer Computermaus oder eines Grafiktabletts, werden in das Bild ein oder mehrere Überwachungsbereiche eingezeichnet. Das Bild wird sodann gespeichert und über eine Konvertierungssoftware verarbeitet. Die Konvertierungssoftware generiert aus dem bearbeiteten Bild eine Bildmaskeninformation, die den Informationen über die definierten Überwachungsbereiche beinhaltet. Für die optische Aktivitätenerkennung wird diese Gramm, Lins & Partner

Patent- und Rechtsanwaltssozietat GbR

Bildmaskeninformation dann verwendet, um die Bildpunktinformationen der virtuellen Lichtschranken zu extrahieren und zu verarbeiten. Diese Vorgehensweise erlaubt eine wenig Zeitaufwand ige einfache Realisierung virtueller Lichtschranken in einem zu überwachenden Bereich. Auch ist eine spätere Erweite- rung oder Reduzierung der Anzahl definierter virtueller Lichtschranken auf einfache Weise möglich.

Gemäß einer vorteilhaften Weiterbildung der Erfindung ist vorgesehen, dass zur Erkennung einer Aktivität eines in dem erfassten Bereich befindlichen Ob- jekts ein wenigstens zweiphasiges stochastisches Modell verwendet wird, wobei als erste Phase eine Lernphase vorgesehen ist, in der das Modell anhand definierter Aktivitäten trainiert wird, wobei automatisch Modellparameter bestimmt werden, und als zweite Phase eine Klassifikationsphase vorgesehen ist, in der aufgrund der trainierten Modellparameter und aktueller Bilder der Kame- ra Aktivitäten eines in dem erfassten Bereich befindlichen Objekts erkannt und unterschieden werden. Diese Vorgehensweise erlaubt eine einfache und auf den jeweiligen Einsatzfall zugeschnittene Adaption eines Überwachungssystems für eine bestimmte Umgebung. Gemäß Anspruch 11 ist ferner eine vorteilhafte Einrichtung zur optischen Aktivitätenerkennung beschrieben. Die Einrichtung zur optischen Aktivitätenerkennung weist eine Verarbeitungseinheit auf, die sich vorteilhaft zur Ausführung der zuvor genannten vorteilhaften Ausgestaltungen der Erfindung eignet. Die Verarbeitungseinheit kann beispielsweise als Computer, vorzugsweise als Mehrprozessor-Computer, ausgebildet sein.

Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Verwendung von Zeichnungen näher erläutert. e

Gramm, Lins & Partner

Patent- und Rechtsanwaltssozietat GbR

Es zeigen

Figur 1 eine Einrichtung zur optischen Aktivitätenerkennung und

Figur 2 erfasste Bildpunktinformation und

Figur 3 ein Zeitdiagramm der Aktivitätssignale virtueller Lichtschranken.

In den Figuren werden gleiche Bezugszeichen für einander entsprechende E- lemente verwendet.

Die Aktivitätenerkennung gemäß der Erfindung basiert auf virtuellen Lichtschranken. Diese haben eine vergleichbare Funktion wie reale Lichtschranken, z.B. in Form von Lichtgittern oder Lichtvorhängen. Reale Lichtschranken er- kennen, ob ein bestimmter Bereich von einem Objekt unterbrochen wird oder nicht. In vergleichbarer Weise arbeiten die erfindungsgemäßen virtuellen Lichtschranken.

Die Figur 1 zeigt als zu überwachenden Bereich einen Raum 20, in dem sich ein Objekt 5, z.B. eine Person, befindet. An der Decke des Raumes 20 ist eine Kamera 10 angeordnet. Die Kamera 10 kann beispielsweise als übliche digitale Kamera mit einem CCD-Sensor ausgebildet sein. Die Kamera 10 ist über eine Leitung mit einer Verarbeitungseinheit 6, z.B. einem Computer, verbunden. Die Kamera 10 kann auch drahtlos mit der Verarbeitungseinheit 6 verbunden sein. An die Verarbeitungseinheit 6 sind als Signaleinheiten eine Mobilfunksendeein- richtung 7 und eine Warnlampe 8 angeschlossen. Die Signaleinheiten 7, 8 dienen zur Ausgabe einer Information über die von der erfindungsgemäßen Einrichtung erkannte Aktivität, z.B. in Form eines Warnsignals. Die Figur 1 zeigt ferner beispielhaft zwei virtuelle Lichtschranken 30, 40, die analog zu jeweils einem realen Lichtvorhang ausgebildet sind. Die virtuellen Gramm, Lins & Partner

Patent- und Rechtsanwaltssozietät GbR

Lichtschranken 30, 40 entsprechen im dreidimensionalen Raum einer jeweiligen Ebene, die zwischen zwei von der Kamera 10 ausgehenden Strahlen aufgespannt wird. In der von der Kamera 10 erzeugten zweidimensionalen Bildinformation des Raumes 20 entsprechen die Lichtvorhänge der virtuellen Licht- schranken 30, 40 einem jeweiligen Geradenabschnitt, der einem Überwachungsbereich der jeweiligen virtuellen Lichtschranke 30, 40 entspricht und aufgrund der Ausbildung als Linie nachfolgend als Überwachungslinie 3 bzw. 4 bezeichnet werden soll, was nachfolgend anhand der Figur 2 noch näher erläutert wird. In der Figur 1 ist beispielhaft dargestellt, dass die virtuelle Licht- schranke 30 von der Person 5 zumindest an bestimmten Stellen unterbrochen ist. Die virtuelle Lichtschranke 40 erkennt keine solche Unterbrechung, weder durch die Person 5 noch durch den von der Person 5 in Richtung der Überwachungslinie 4 geworfenen Schatten. Zur Unterscheidung, ob eine virtuelle Lichtschranke als unterbrochen anzusehen ist oder nicht, kann z.B. der Farb- wertverlauf oder die Farbwertveränderungen entlang der Überwachungslinie 3 bzw. 4 ausgewertet werden. Die Auswertekriterien werden derart eingestellt, dass die Person 5 eine Unterbrechung auslösen kann, nicht jedoch der von der Person 5 geworfene Schatten. Die Figur 2 zeigt ein Bild 9 der Kamera 10. Erkennbar ist die Person 5 in Draufsicht. Weiterhin sind gemäß Figur 2 im Vergleich zur Figur 1 zwei zusätzliche virtuelle Lichtschranken definiert, d.h. insgesamt sind vier virtuelle Lichtschranken definiert. Die virtuellen Lichtschranken weisen Überwachungsbereiche 1 , 2, 3, 4 in Form von Überwachungslinien auf, die durch Geradenstücke in dem Bild 9 markiert sind. Im Beispiel gemäß Figur 2 hat die zur Überwachungslinie 3 gehörende virtuelle Lichtschranke eine Unterbrechung erkannt.

Die Figur 3 zeigt als Zeitdiagramm eine beispielhafte zeitliche Sequenz des Ansprechens der in der Figur 2 dargestellten vier virtuellen Lichtschranken. Ei- ner ersten virtuellen Lichtschranke ist dabei die Überwachungslinie 1 gemäß Figur 2 und ein Aktivitätssignal A1 gemäß Figur 3 zugeordnet. Analog dazu ist Gramm, Lins & Partner

Patent- und Rechtsanwaltssozietät GbR einer zweiten virtuellen Lichtschranke die Überwachungslinie 2 und das Aktivitätssignal A2 zugeordnet. Einer dritten virtuellen Lichtschranke ist die Überwachungslinie 3 und das Aktivitätssignal A3 zugeordnet. Schließlich ist einer vierten virtuellen Lichtschranke die Überwachungslinie 4 und das Aktivitätssignal A4 zugeordnet.

Die Aktivitätssignale A1 , A2, A3, A4 können, wie in der Figur 3 ersichtlich ist, die binären Zustände 0 und 1 annehmen. Der Zustand 0 entspricht dabei einer nicht unterbrochenen Lichtschranke, d.h. es befindet sich kein Objekt in dem entsprechenden Überwachungslinie. Der Zustand 1 entspricht einer unterbrochenen Lichtschranke, entsprechend einem in der Überwachungslinie befindlichen Objekt. Für jede definierte virtuelle Lichtschranke wird in der Verarbeitungseinheit 6 eine Reihe von Rechenschritten durchgeführt, in denen die Bildpunkte der jeweiligen Überwachungslinie ausgewertet werden und daraus ein jeweiliges Aktivitätssignal der virtuellen Lichtschranke bestimmt wird. Die Schritte können beispielsweise wie folgt ablaufen:

Es sei angenommen, dass ein Überwachungsbereich n Bildpunkte aufweist, die die Menge V = {*,,...,*„} bilden.

Aus der von der Kamera gelieferten Folge von Bildern wird ein erstes und ein zweites Bild, z.B. zu dem Zeitpunkt t und zu dem Zeitpunkt t-1 , ausgewertet. Die ausgewerteten Bilder müssen nicht unbedingt direkt aufeinanderfolgende, von der Kamera gesendete Bilder sein, sondern können auch mit einer geringe- ren Frequenz ausgewertet werden. Aus den Bildpunkten des Überwachungsbereichs wird bildpunktweise, d.h. wechselweise, die zeitliche Ableitung gebildet, z.B. durch Differenzbildung gemäß der Gleichung d(x,) = fM - f,-i(x,) für alle x, e V , wobei die Funktion f,(x) den Grau- bzw. Farbwert des Bildes zum Zeitpunkt t im Bildpunkt x repräsentiert. j

Gramm, Lins & Partner

Patent- und Rechtsanwaltssozietät GbR

Die Bildinformationsgröße, die als Funktion f,(x) verwendet wird, kann auch eine andere, von der Kamera gelieferte Information sein, wie z.B. die Sättigung oder die Helligkeit. Auch eine Kombination dieser Bildinformationsgrößen kann vorteilhaft verwendet werden.

In einem weiteren Schritt wird ein Aktivitätsgrad a des Überwachungsbereichs durch räumliche Integration über den Überwachungsbereich gebildet. Die räumliche Integration kann vorteilhaft durch Summierung der zuvor gebildeten Differenzen bestimmt werden, z.B. nach der Gleichung

Als Aktivitätssignal der jeweiligen virtuellen Lichtschranke kann beispielsweise der ermittelte Aktivitätsgrad a verwendet werden. Es ist auch vorteilhaft, die durch den Aktivitätsgrad a ermittelte Information noch weiter zu verdichten. Hierfür kann ein weiterer Schritt vorgesehen sein, bei dem der ermittelte Aktivitätsgrad a mit einer vorbestimmten Überwachungsschwelle τ verglichen wird. Überschreitet der Aktivitätsgrad a den Schwellwert τ, wird auf Unterbrechung der virtuellen Lichtschranke erkannt und das binäre Aktivitätssignal A1 , A2, A3, A4 auf den Wert 1 gesetzt. Andernfalls ist das Aktivitätssignal A1 , A2, A3, A4 auf dem Wert 0. Die Überwachungsschwelle τ kann z.B. fest von einem Benutzer vorgegeben werden. Alternativ kann die Überwachungsschwelle dynamisch mit einer statistischen Analyse automatisch bestimmt werden.

In Figur 3 ist ferner erkennbar, dass die virtuellen Lichtschranken in einer bestimmten Abfolge nacheinander Unterbrechungen anzeigen. In einer ersten zeitlichen Phase T1 zeigen die virtuellen Lichtschranken Unterbrechungen in der Reihenfolge A1 -A3-A4 an. Die Verarbeitungseinheit erkennt hieraus eine Aktivität einer Person 5, und zwar das Betreten des überwachten Raumes 20 Gramm, Lins & Partner

Patent- und Rechtsanwaltssozietat GbR durch die Person 5. Die Erkennung der Aktivität erfolgt durch Vergleich mit Modellparametern, die zuvor ermittelt wurden, wie nachfolgend noch näher erläutert wird. Gemäß Figur 3 folgt auf die Phase T1 eine Phase T2 ohne Aktivität. In einer darauf folgenden Phase T3 zeigen die Aktivitätssignale A2 und A4 entsprechende Aktivität in den Überwachungsbereichen 2 und 4 an. Darauf folgt wiederum eine Phase T4 ohne Aktivität. Schließlich wird in einer Phase T5 eine weitere Aktivität anhand der Abfolge der Unterbrechungen in der Reihenfolge A2-A3-A1 erkannt, und zwar das Verlassen des Raums 20 durch die Person 5.

Für die Aktivitätenerkennung stellen die Aktivitätssignale der virtuellen Lichtschranken diskrete Sensorinformationen dar, die genutzt werden, um die Aktivität eines Objekts zu bestimmen und des Weiteren zu erkennen, ob die Sensor- Informationen ein normales oder anormales Verhalten darstellt.

Die erfindungsgemäße Einrichtung zur optischen Aktivitätenerkennung wird vorteilhaft in wenigstens zwei Phasen betrieben. In einer ersten Phase, einer Lernphase, wird ein Modell trainiert. Im Rahmen des Trainings erfolgt ein au- tomatisches Bestimmen von Modellparametern, die das Verhalten und die Aktivitäten während der Lernphase beschreiben. Während der Lernphase wird davon ausgegangen, dass das Objekt typische, normale Bewegungen durchführt. Je nach Szenario kann die Lernphase eine Dauer von mehreren Stunden bis hin zu einigen Wochen haben. In einer zweiten Phase, der Klassifikationspha- se, wird das trainierte Modell verwendet, um die Sensorinformationen mit dem Modell zu vergleichen. Dieser Vergleich ermöglicht Rückschlüsse auf Aktivitäten, die bereits in der Lernphase zu beobachten waren. Zusätzlich sind Rückschlüsse darauf möglich, wie weit die beobachteten Sensorinformationen dem der Lernphase zugrunde gelegten normalen Verhalten entsprechen bzw. davon abweichen. Für die Beurteilung der Sensorinformationen im Vergleich zu den Modellparametern kann vorteilhaft ein statistisches Modell verwendet werden, mit dem die Aktivitätenerkennung durchgeführt werden kann. Gramm, Lins & Partner

Patent- und Rechtsanwaltssozietat GbR

Als statistisches Modell zur Aktivitätenerkennung kann beispielsweise ein Hid- den Markov Model (HMM) verwendet werden. Ein HMM ist ein stochastisches Modell, das aus einer Markov-Kette besteht. Diese ist durch Zustände und Ü- bergangswahrscheinlichkeiten gekennzeichnet, wobei die Zustände der Kette von außen nicht direkt sichtbar sind. Ein zweiter Zufallsprozess erzeugt beobachtbare Ausgangssymbole, die entsprechend einer zustandsabhängigen Wahrscheinlichkeitsverteilung verteilt sind. In der Anwendung für die Aktivitätenerkennung entsprechen die beobachtbaren Ausgangssymbole den Sensor- Informationen der virtuellen Lichtschranken, die dem HMM als Eingangsgrößen zugeführt werden. Die versteckten Zustände entsprechen den zu erkennenden Aktivitäten, die als Ausgangsgröße gewonnen werden.

Zum Trainieren des Modells in der Lernphase kann der Baum-Welch- Algorithmus verwendet werden. Die Wahrscheinlichkeit, dass die beobachteten Sensorinformationen von dem erlernten Modell generiert werden, kann mit dem Forward-Backward-Algorithmus bestimmt werden.