Verfahren und Anordnung zur Erfassung und Analyse des Rezeptionsverhaltens von Personen Beschreibung Die Erfindung betrifft ein Verfahren und eine Anordnung zur Erfassung und Analyse des Rezeptionsverhaltens von Personen in mindestens einem Rezeptionsraum in Abhängigkeit von visuell, audiovisuell und auditiv vermittelten Botschaften, gemäß der Gattung der Patentansprüche. Sie ist insbesondere bestimmt für die automatische und objektiv verifizierende Ermittlung der Werbewirksamkeit von Botschaften, Aktionen und Einrichtungen zur Lenkung von Kundenströmen sowie zur Ermittlung des gezielten Kundenverhaltens in Geschäften, Ladenstraßen, Einkaufspassagen, Terminals, Bahnhöfen, Tankstellen usw..

Zur Ermittlung der Effektivität von Werbemaßnahmen für Produkte und Dienstleistungen werden Sensoren (Infrarotsensoren, CCD u. a.) in geeigneten Anordnungen verwendet, um Personen beim Eintritt in einen und beim Austritt aus einem Werbebereich zu zählen sowie die Dauer ihres Aufenthalts im Werbebereich mehr oder weniger statistisch zu ermitteln. Ggf. kann auch das Kaufverhalten der Personen in Abhängigkeit von einer laufenden oder nicht laufenden Werbung durch die Ermittlung der tatsächlich gekauften Waren an Hand der Registrierungen der elektronischen Kassen am Ausgang eines Werbe- bzw. Kaufbereichs indirekt ermittelt werden. Alle Ergebnisse können in einem Rechner ausgewertet und so gewisse Rückschlüsse auf das Kaufverhalten der Rezepienten in Abhängigkeit von der Werbung geschlossen werden. Diese Methode ist jedoch in ihrer bisher praktizierten Form recht ungenau, weil bspw. eine bloße Anwesenheit im Werbebereich noch nichts über die Beachtung der Werbung aussagt.

Eine genaue Methode zur Bestimmung der Wahrnehmung von visuellen oder audiovisuellen Botschaften ist das sogenannte"eye tracking", bei dem die Bewegungen der Augen einer oder weniger Personen an Hand von geeigneten und geeignet angeordneten Sensoren festgestellt und registriert werden. Die Augen-und Pupillenstellung signalisiert die Wahrnehmung und Beachtung von Werbemitteln durch den jeweiligen

Rezepienten, und über eine lange, mit Befragungen gekoppelte Analysekette ist ein Zusammenhang zwischen der Wahrnehmung bzw.

Beachtung der Werbung und dem Kaufverhalten des Rezepienten herstellbar. Diese Methode ist technisch sehr aufwendig, wenn man bedenkt, daß sich i. a. mehrere Rezepienten in einem Werbe-und Kaufbereich aufhalten, wobei für jeden Rezepienten die Augenbewegung zu verfolgen wäre.

Ferner sind verschiedene Verfahren zur Extraktion von Personen in Videobildern sowie des Auffindens von Kopf-und Schulterformationen und des Erkennens und Speicherns von Gesichtern bekannt. Sie dienen zur Zahlung und Identifizierung sowie zur Verifikation des Vorhandenseins von Personen. Dabei werden unter anderen Kopf, Gesicht oder Schultern generell erkannt und ihnen Körpermodelle zugeordnet. Diese modellierten Körper und daraus resultierende Körperkoordinaten sind weitgehend virtuell und nicht für eine reale Hinwendungs-und Kommunikationsanalyse brauchbar.

Aufgabe der Erfindung ist daher die Schaffung eines genauen und wenig aufwendigen Verfahrens zur Erfassung, Analyse und Bewertung von Personenbewegungen zur Ermittlung der Werbewirksamkeit von Botschaften, Aktionen und Kundenstromlenkungen und einer Anordnung zur Durchführung des Verfahrens.

Gemäß der Erfindung wird diese Aufgabe durch die kennzeichnenden Merkmale des ersten und vierten Patentanspruchs gelöst und durch die kennzeichnenden Merkmale der Unteransprüche vorteilhaft ausgestaltet.

Die Erfindung ist dadurch gekennzeichnet, dass ein definierter Raum in seiner Gesamtheit und in seinen Einzelheiten mit einer relativ hohen Frequenz und mit Hilfe mindestens eines passiven oder aktiven Sensors wiederholt erfaßt wird. Diese Erfassung kann mit einer Personenzählung und/oder-identifizierung verbunden sein. Die Frequenz der Erfassung soll größer als Eins sein, sie beträgt günstigerweise 7 bis 30 Hz. Der Sensor/ die Sensoren kann/können als CCD-Kamera (passiv) oder Laser oder andere elektromagnetische oder akustische Wellen bzw. thermische Strahlen (aktiv und passiv) abgebende bzw. aufnehmende Sensoren ausgebildet sein. Er/sie kann/können an der Decke oder an den

Seitenwänden, im oberen Bereich des definierten Raumes angeordnet sein. Bei Verwendung eines elektromagnetischen oder akustischen oder thermischen Senders wird der Inhalt des Raumes in schneller Folge abgetastet und so ein Profil über dem Raumgrundriss einschließlich der im Raum befindlichen Objekte bzw. Subjekte aktiv erzeugt, während bei einer CCD-Kamera der Rauminhalt auf eine CCD-Matrix abgebildet wird, die für den Abbildungsprozess selbst passiv ist. In jedem Fall können nicht nur alle Veränderungen im Raum und die Spuren der sich im Raum bewegenden Personen und Gegenstände von ihrem Eintritt in den Raum bis zu ihrem Austritt aus dem Raum registriert werden, sondern es können auch die Drehungen und (Hin-) Wendungen des Körpers bzw. des Kopfes der jeweiligen Person, die Veränderung ihrer Haltung bzw. der Haltung ihrer Extremitäten, aber auch die Geschwindigkeiten und Verweildauern der einzelnen Objekte und Subjekte zeitabhängig erfasst werden. Sich nicht bewegende Objekte werden zwar ebenfalls registriert, jedoch im weiteren Datenverarbeitungsverfahren ausgeschieden bzw. nicht berücksichtigt. Der Rauminhalt kann nach dem Einbildverfahren oder Zweibildverfahren (stereoskopisch) erfasst werden. Ebenso ist es möglich, nicht nur Schwarz-Weiß-Bilder, sondern auch farbige Bilder, und nicht nur optische, sondern auch mit Radio-oder Wärmestrahlen erzeugte Bilder bzw. Reflexionen bspw. spektroskopisch auszuwerten.

Auf diese Weise ist es auch möglich, Objekte und Subjekte auch nach Größe, Geschlecht und Alter zu erfassen, so lange sie sich im definierten Raum befinden.

Zur Erfassung bzw. Identifizierung der im definierten Raum befindlichen bzw. sich bewegenden Objekte und Subjekte bedient man sich erfindungsgemäß vorzugsweise der Mittel und Methoden (Algorithmen) der Bildverarbeitung. Aus Grau-bzw. Farbwerten oder charakteristischen, vorzugsweise umschreibenden Vielecken, einschließlich Dreiecken, werden Schwerpunkte ermittelt, und aus deren zeitabhängigen Lageveränderungen das Bewegungsverhalten von Personen und Gegenständen abgeleitet. Zur Feststellung ihrer Anzahl, Positionen, Bewegungsrichtungen, Bewegungsmuster, Geschwindigkeiten, Verweildauern, Körperhaltungen und-drehungen sowie Blickrichtungen können auch differentielle Schwerpunkte gebildet werden, die unter

Einbeziehung markanter Punkte oder Linien des Körpers, seiner Extremitäten, der Schultern und/oder des Kopfes von Personen in einem kartesischen Raumkoordinatensystem oder vektoriell erfaßt und verarbeitet werden.

Das erfindungsgemäße Verfahren ermöglicht gegenüber den bekannten Verfahren auch eine höhere Zählgenauigkeit, weil die Zählung nicht entlang einer Schranke (Linie, Ebene), sondern im Raum erfolgt. Eine weitere Differenzierung der erfaßten Personen ist durch die spektroskopische und/oder thermische Analyse der an diesen reflektierten Strahlung bzw. Wellen möglich.

Eine Anordnung zur Erfassung von Zahlen und Bewegungen, Merkmalen und Koordinaten von Objekten und Subjekten in Abhängigkeit von dargebotenen Botschaften umfasst prinzipiell einen oder mehrere Sensoren (Sensormodule) oder Kameras (Kameramodule), die an der Decke und/oder den Seitenwänden, insbesondere im oberen, deckennahen Bereich eines definierten Raumes angeordnet sind, den Sensoren/Kameras nachgeordnete Bildverarbeitungsmodule mit Framegrabbern, Socket-, Ethernet-bzw. anderen Datenfernübertragungsschnittstellen und einen Datenbankmodul (mit Socket-bzw. Ethernetschnittstellen). Die einzelnen Datenbankmodule können über Datenfernübertragung mit einem zentralen Auswerte-und/oder Befehlsmodul verbunden sein, der die Ergebnisse aus den von den Sensoren gelieferten Signalen bildet und die in den definierten Räumen dargebotenen Botschaften, Aktionen und Kundenleitsysteme beeinflussen und steuern kann. Jedem Sensor-bzw.

Kameramodul ist ein Sensorsignal-bzw. Bildverarbeitungsmodul nachgeordnet, der jedes in den definierten Raum eintretende Objekt oder Subjekt erfasst und als solches identifiziert und ggf. differenziert, auf Grund der wiederholten Abtastung oder Aufnahme des Raumes und seines Inhaltes die Spur des Objektes/Subjektes, seine Bewegungen im und durch den Raum bis zum Verlassen des Raumes sowie seine spezifischen Merkmale in oben genannter Weise erfasst und die so gewonnenen Ergebnisse an den auswertenden Datenbankmodul weitergibt. Dabei kann ein Datenbankmodul zu mehreren Sensor-und Bildverarbeitungsmodulengehören.

Im Verhältnis zwischen der Sensorinformations-bzw. Bildverarbeitung und der statistisch auswertenden Datenbank kann der Sensor-bzw.

Bildverarbeitungsmodul beständig eine Vielzahl von Daten generieren, mit deren Analyse im Datenbankmodul wahlweise bzw. gleichzeitig Informationen über Kundenströme und Rezepientenverhalten bis hin zum Einzelkunden quantifiziert und qualifiziert erhalten werden können.

Gegebenenfalls kann der Sensor-bzw. Bildverarbeitungsmodul auf Anforderung der Bildprojektion bei Werbedisplays bei jedem neuen Werbespot gestartet, abgefragt und/oder dessen Informationen erfasst werden. Im vorstehend beschriebenen ersten wie im zweiten Fall ist die zeitbezogene und spotbezogene bzw. inhaltsbezogene Analyse des Rezepientenverhaltens möglich. Im vorgenannten zweiten Fall ist im Ganzen nur eine spotbezogene Analyse des Rezepientenverhaltens durchfuhrbar. Sofern der Spot aber in Intervalle zerlegt werden kann, ist wiederum eine zeit-und sequenzbezogene Analyse möglich, die Rückschlüsse bezüglich der Spotinhalte und-strukturen zuläßt. Ist die Spotanalyse in Intervalle zerlegt, so ist eine Optimierung der Spotinhalte und Spotstruktur auf Grund der Wirksamkeit bzw. Beachtung der einzelnen Werbebotschaftssequenzen möglich. Infolge der hohen Bildanalysefrequenz ist eine interne Zerlegung der Spots möglich. Da bspw. bei einem 15 Sekunden-Spot bei einer Abtastfrequenz von 7,5 Hz mehr als 100 Bilder für die Analyse zur Verfügung stehen, die in mehrere, bspw. fünf sinnvolle Spotintervalle aufgeteilt werden können, läßt sich daraus die Werbewirksamkeit der einzelnen Szenen recht gut und exakt ermitteln.

Die Erfindung wird nachstehend an Hand der schematischen Zeichnung näher erläutert. Es zeigen : Fig. 1 eine Passage mit drei definierten Räumen, Fig. 2 den Einfluss der Zentralperspektive der Kamera auf den erfassten Raum, Fig. 3 eine Abbildung eines Rezeptionsraumes auf die CCD-Matrix einer Kamera, Fig. 4 den grundsätzlichen Aufbau einer erfindungsgemäßen Anordnung und

Fig. 5 die Verbindung mehrerer erfindungsgmäßer Anordnungen mit einer Zentrale zur Auswertung und Befehlsgabe.

In Fig. l befinden sich unterschiedliche Objekte und Subjekte (Rezepienten) r mit unterschiedlichen Bewegungen und Bewegungsrichtungen in definierten Rezeptionsräumen wl bis w3 einer Passage P. Die Unterschiedlichkeit der Objekte und Subjekte drückt sich in ihrem differenzierten Reflexionsverhalten aus, das wiederum bedingt ist durch Größe, Kleidung, Körperformen, Alter, Geschlecht, mitgeführte Personen und Gegenstände usw., die hier unter dem Begriff der charakteristischen oder spezifischen Merkmale zusammengefasst werden.

An einer Seitenwand s des Rezeptionsraumes w2 ist ein Display d angeordnet. Jedem Rezeptionsraum w1 bis w3 ist ein Kameramodul cl bzw. c2 bzw. c3, der nach einem vorgegebenen Zeitregime den Inhalt seines Rezeptionsraumes erfasst und an eine nicht dargestellte Auswerteeinrichtung weitergibt. Dadurch ist es möglich, die Personen nach Anzahl und Differenziertheit zu ermitteln, deren Bewegungen, Körperdrehungen, Kopf-und Armbewegungen und ihre Stillstände als Rezepienten r zu erfassen und daraus auf die Beachtung der Werbebotschaften des Displays zu schließen. Durch Uberlappungsbereiche üi wird die Übergabe der durch Koordinaten und charakteristische Merkmale identifizierten Personen in einer den Kameramodulen ci nachfolgenden, in Fig. 1 nichtdargestellten, im folgenden noch zu beschreibenden Auswerteeinrichtung ermöglicht (bereichsübergreifendes Tracking).

Fig. 2 stellt wieder einen unter einem Sensormodul c befindlichen Rezeptionsraum w dar, der an einer Seitenwand s ein Display d aufweist.

Der Sensor c ist mit einem Biosensor cb gekoppelt, der auch Bestandteil des Sensors c, in diesen integriert sein kann und von den Rezepienten r differenziert reflektierte Strahlungsmerkmale spektroskopisch oder radiologisch auswertet. Im Rezeptionsraum w befinden sich verschiedene Rezepieten r, die sich in verschiedenen Richtungen bewegen bzw. an bestimmten Stellen verharren. Ein durch einen gerissenen Linienzug 1 umgrenzter Raum verdeutlicht, dass nur die in diesem Raum befindlichen Rezepienten (Objekte bzw. Subjekte) r vollständig erfasst werden, daß

also die Grundrissflächen von zueinander benachbarten Rezeptionsräumen wi sich auf Grund der Zentralperspektive der optischen Abbildung zum Zwecke der Übergabe der identifizierten Personen überlappen müssen, damit alle Rezepienten hinsichtlich ihrer Bewegungen und spezifischen Merkmale vollständig bis zu einer Höhe von ca. 2 m erfasst werden können.

In Fig. 3 ist eine CCD-Matrix m eines Sensormoduls c mit hinreichender Auflösung dargestellt, auf dem sowohl die feststehende Seitenwand s mit dem Display d als auch die Rezepienten r als Pixelhaufen ai mit personen- , umgebungs-und bewegungsbedingten Grauwerten dargestellt sind, die sich auf Spuren bi bewegen. Dabei sind mehrere Aufnahmen übereinander gelegt, die mit einer Frequenz von beispielsweise 25 Hz angefertigt worden sind und von denen bspw. jede vierte bzw zweite zur Auswertung benutzt werden soll. Es ist deutlich erkennbar, dass der dem Pixelhaufen al entsprechende Rezepient r sich mit einer größeren Geschwindigkeit bewegt hat als die den Pixelhaufen a2, a3, a4 entsprechenden Rezepienten ri, von denen nur der dem Pixelhaufen a3 entsprechende Rezepient sich dem Display zugewandt hat. Erkennbar ist aber auch, dass die den Pixelhaufen a2, a3, a4 entsprechenden Rezepienten sich zu unterschiedlichen Zeiten mit stark unterschiedlichen Geschwindigkeiten bewegt haben, wobei der dem Pixelhaufen a3 entsprechende Rezepient sein Interesse an der Display-Botschaft noch durch eine spürbare Verringerung der Geschwindigkeit bis hin zu einem Verharren erkennen lässt. Der dem Pixelhaufen as entsprechende, sich auf der Spur b5 bewegende Rezepient tangiert den abgebildeten definierten Raum nur.

In Fig. 4 sind ähnlich wie in Fig. 1 drei Sensormodule cl, c2, C3 dargestellt, denen drei Bildverarbeitungsmodule pi und ein gemeinsamer Datenbankmodul n nachgeordnet sind. Die Bildverarbeitungsmodule pi erzeugen konstant eine Vielzahl von Daten, durch deren zeitabhängige Analyse im Datenbankmodul n die Anzahl und das Verhalten der Kunden zeitabhängig erscheint. Anstatt räumlich getrennt können die Sensormodule ci und die Bildverarbeitungsmodule pi auch zu einer Einheit zusammengefasst sein.

Die zeitabhängige Analyse der Personenbewegungen und die spezifischen Personenmerkmale werden also mit den zeitabhängig visuell, audiovisuell bzw. auditiv dargebotenen Botschaften oder Aktionen verknüpft. Damit ist das spot-bzw. aktionsbezogene Verhalten von einzelnen Rezepienten ebenso analysierbar wie das von Kundenströmen. Die in den Sensormodulen ci generierten Bilder werden in den Bildverarbeitungsmodulen Pi verarbeitet. Dabei werden zu jeder detektierten Person spezifische optische Merkmale (Grau-oder Farbwerte usw.) ebenso ermittelt wie die Schwerpunktkoordinaten des Körpers oder von Körperteilen (Extremitäten, Kopf, Nase) und die Koordinaten von umschreibenden Vielecken. Jeder so erfassten Person wird eine Identifikationsnummer zugeordnet. Außerdem werden in den Bildverarbeitungsmodulen Pi die Geschwindigkeiten und Richtungsvektoren der Personenbewegung ebenso ermittelt wie ihre Distanzen vom Ort der Darbietung und voneinander.

Die so ermittelten Daten werden an das Datenbankmodul n gegeben, das daraus das Bewegungsverhalten der einzelnen Personen bis hin zur Verweildauer ebenso ermittelt wie eine mittlere Geschwindigkeit in definierten Aktions-oder Rezeptionsräumen, zu der die Geschwindigkeit der Einzelpersonen ins Verhältnis gesetzt wird. Das Datenbankmodul n kann somit direkte (originäre, z. B. Koordinaten) und indirekte (abgeleitete, z. B. Geschwindigkeit) Hinwendungskriterien ermitteln, diese wichten und Durchschnittswerte bilden.

Fig. 5 zeigt vier Modulgruppen gl, g2, g3, g4, die unterschiedlich mit Kamera-und Bildverarbeitungsmodulen bestückt sind. Zu jeder Modulgruppe gl, g2, g3, g4 gehört entsprechend ein Datenbankmodul nl, n2, n3, n4, wobei sämtliche Datenbankmodule mit einem zentralen Auswertungs-und ggf. Steuerungsmodul z verbunden sind, an den sie ihre Daten weitergeben und der sie ggf. spotabhängig steuert. Auf Grund der Analysedaten ist das Steuermodul z in der Lage, den Projektionsmodus der Spots hinsichtlich der Reihenfolge, der Standorte und der Häufigkeit zu optimieren.

Alle in der Beschreibung, den nachfolgenden Ansprüchen und der Zeichnung dargestellten Merkmale können sowohl einzeln als auch in beliebiger Kombination miteinander erfindungswesentlich sein.

Bezugszeichenliste<BR> <BR> ai Pixelhaufen bi Spuren c, ci Kamera-bzw. Sensormodule cb Biosensor d Display gi Modulgruppen 1Linienzug m CCD-Matrix n, Datenbankmodule Pi Bildverarbeitungsmodule r Rezipienten s Seitenwand Überlappungsbereicheü,üi w, Rezeptionsräume z zentraler Auswertungs-und Steuermodul PPassage