Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs sowie System zur

Analyse der Wahrnehmung von Objekten

Die vorliegende Erfindung betrifft ein Verfahren zum Überwachen eines Insassen eines

Fahrzeugs, bei dem die geographische Position des Fahrzeugs erfasst wird, und eine

Blickrichtung des Insassen mittels einer Blickerfassungseinrichtung erfasst wird. Ferner betrifft die Erfindung eine Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs, die eine Positionserfassungseinrichtung zum Erfassen der geographischen Position des Fahrzeugs und eine Blickerfassungseinrichtung zum Erfassen einer Blickrichtung des Insassen aufweist.

Schließlich betrifft die Erfindung ein System zur Analyse der Wahrnehmung von Objekten in einem Verkehrsraum, welches eine Vielzahl von Fahrzeugen umfasst, welche die Vorrichtung zum Überwachen eines Insassen des Fahrzeugs aufweisen.

Für Unternehmen, welche in einem Verkehrsraum Objekte mit einem Werbeinhalt aufstellen, ist es von Interesse, in welcher Weise der Werbeinhalt von Insassen der Fahrzeuge, die sich in dem Verkehrsraum bewegen, wahrgenommen werden. Um eine solche Wahrnehmung zu erfassen, sind Werbeobjekte bekannt, in welche Sensoren integriert sind, die erkennen, wenn eine Person das Werbeobjekt betrachtet. Hierbei ist es nachteilig, dass hohe Kosten für die Sensoren in den Werbeobjekten anfallen und die Reichweite der Sensoren begrenzt ist, so dass nicht erfasst werden kann, wenn Insassen in vorbeifahrenden Fahrzeugen das

Werbeobjekt betrachten.

Aus der DE 10 2012 213 466 A1 ist ein Verfahren und eine Vorrichtung zum Überwachen eines Fahrzeuginsassen bekannt, bei dem Objekte eines Fahrzeugumfeldes mittels einer

Umfelderfassungseinrichtung erfasst werden, die Blickrichtung eines Fahrzeuginsassen mittels einer Blickerfassungseinrichtung erfasst wird und die erfasste Blickrichtung einem erfassten Objekt automatisch zugeordnet wird. Bei dem Objekt kann es sich beispielsweise um ein Werbeplakat handeln. Die Umfelderfassungseinrichtung umfasst ein Video- und/oder ein Radarsystem, anhand derer Objekte, wie beispielsweise ein Werbeplakat, erkannt werden können, die sich auf der Fahrstrecke, insbesondere auf der Straße oder am Straßenrand, befinden. Die Objekte werden durch eine Entfernungsschätzung und eine Objektklassifikation der Videokamera oder durch eine Entfernungsmessung und Radarobjektbestimmung des Radarsystems erfasst. Nachteilig an diesem Verfahren bzw. dieser Vorrichtung ist, dass die Objekterfassung unzuverlässig ist. Aus der US 2016/0316237 A1 ist ein Unterhaltungssystem für ein Fahrzeug bekannt, über welches Filme, Audioprogramme, Informationsvideos, Textbeschreibungen und Werbeinhalte ausgegeben werden können. Das System umfasst eine Kamera, mit welcher das Gesicht des Nutzers aufgenommen wird. Die von der Kamera aufgenommenen Bilder werden dazu verwendet, Emotionen des Nutzers zu analysieren. Auf diese Weise kann beispielsweise die Reaktion eines Nutzers auf Werbung erfasst werden. Des Weiteren kann die Blickrichtung des Nutzers erfasst werden, um zu erfassen, wohin der Nutzer auf einem Display sieht. Schließlich können persönliche Merkmale des Nutzers, wie beispielsweise sein Alter, seine Haarfarbe und ähnliche Merkmale gewonnen werden.

Ferner ist aus der DE 10 2014 204 530 A1 ein Verfahren und eine Vorrichtung für eine subjektive Werbeanzeigen-Effektivitätsanalyse bekannt. Dabei wird Werbung im Fahrzeug präsentiert und die Nutzerreaktion auf diese Werbung wird analysiert. Hierfür ist eine

Fahrzeugkamera vorgesehen, die visuell Insassenreaktionen aufzeichnet. Auf diese Weise kann bestimmt werden, ob der Nutzer Werbeanzeigen gemocht hat oder nicht gemocht hat. Beispielsweise kann eine Gesichtserkennungssoftware laufen, wenn eine Werbeanzeige wiedergegeben wird, so dass Benutzeremotionen aufgezeichnet und mit Zeitstempeln versehen werden können.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren, eine Vorrichtung sowie ein System der eingangs genannten Art anzugeben, mit denen zuverlässig die Wahrnehmung eines Objektes in der Umgebung des Fahrzeugs durch einen Fahrzeuginsassen ermittelt werden kann.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 , eine Vorrichtung mit den Merkmalen des Anspruchs 14 und ein System mit den Merkmalen des Anspruchs 15 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.

Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass auf einen Datenspeicher zugegriffen wird, in welchem Objekte und ihnen zugeordnete geographische Positionen gespeichert sind, und anhand der erfassten geographischen Position des Fahrzeugs ermittelt wird, ob sich eines der Objekte in der Umgebung des Fahrzeugs befindet. Ferner wird in Abhängigkeit von der erfassten Blickrichtung des Insassen, der erfassten geographischen Position des Fahrzeugs und der geographischen Position des ermittelten Objekts in der Umgebung des Fahrzeugs ermittelt, ob das Objekt in der Umgebung des Fahrzeugs vom Insassen wahrgenommen wurde.

Bei dem erfindungsgemäßen Verfahren ist es nicht erforderlich, das Umfeld des Fahrzeugs in einer Weise zu erfassen, dass für die Überwachung des Insassen des Fahrzeugs relevante Objekte erkannt werden. Die für die Überwachung des Insassen des Fahrzeugs relevanten Objekte werden vielmehr dadurch erfasst, dass ihnen zugeordnete Informationen, die insbesondere die geographische Position des Objekts umfassen, in einem Datenspeicher gespeichert werden, auf den zugegriffen wird, um zu ermitteln, ob sich eines der Objekte in der Umgebung des Fahrzeugs befindet. Der Datenspeicher kann sich dabei insbesondere außerhalb des Fahrzeugs befinden. Der Zugriff auf den Datenspeicher erfolgt in diesem Fall über eine drahtlose Kommunikationsschnittstelle zum Übertragen der aktuellen geographischen Position des Fahrzeugs zum Datenspeicher und zum Übertragen der geographischen

Positionen von Objekten in der Umgebung des Fahrzeugs von dem Datenspeicher an das Fahrzeug. Der Datenspeicher ist z. B. eine mittels einer Kommunikationsverbindung mit dem Kraftfahrzeug verbundene fahrzeugfremde Servereinrichtung und/oder ein Navigationssystem des Kraftfahrzeugs.

Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens werden in dem Datenspeicher außerdem die Ausrichtungen der gespeicherten Objekte gespeichert. Es wird dann in

Abhängigkeit von der erfassten Blickrichtung des Insassen, der erfassten geographischen Position des Fahrzeugs und der geographischen Position und Ausrichtung des ermittelten Objekts in der Umgebung des Fahrzeugs ermittelt wird, ob das Objekt in der Umgebung des Fahrzeugs vom Insassen wahrgenommen wurde. Diese Weiterbildung ist insbesondere dann zweckmäßig, wenn der von dem Objekt dargestellte Informationsinhalt nur aus einer bestimmten Betrachtungsrichtung wahrnehmbar ist.

Der Datenspeicher kann somit insbesondere Kartendaten und die Standorte und Ausrichtungen der Objekte speichern. Außerdem können die Objekte klassifiziert sein. Bei den Objekten kann es sich insbesondere um Werbeobjekte, wie Werbetafeln handeln. Zu solchen Werbeobjekten ist eine Ausrichtung gespeichert, über welche eine Sichtrichtung ermittelbar ist. Die

Sichtrichtung gibt an, aus welchen Betrachtungswinkeln das Objekt visuell wahrgenommen werden kann.

Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird dem Objekt in

Abhängigkeit von der geographischen Position und Ausrichtung des Objekts ein Betrachtungsbereich zugeordnet. In Abhängigkeit von der geographischen Position des Fahrzeugs wird ermittelt, ob sich das Fahrzeug innerhalb des Betrachtungsbereichs befindet. Wenn sich das Fahrzeug innerhalb des Betrachtungsbereichs befindet, wird anhand der erfassten Blickrichtung des Insassen ermittelt, ob das Objekt in der Umgebung des Fahrzeugs vom Insassen wahrgenommen wurde.

Der Betrachtungsbereich definiert dabei insbesondere den Bereich, in dem sich ein Fahrzeug befinden muss, damit ein Insasse des Fahrzeugs das Objekt wahrnehmen kann. Dabei ist für die Wahrnehmung des Objekts eine Position innerhalb des Betrachtungsbereichs eine notwendige, jedoch keine hinreichende Bedingung, da bei eingeschränkten Sichtverhältnissen, wie beispielsweise bei Nebel, die visuelle Wahrnehmbarkeit des Objekts eingeschränkt sein kann. Auf diese Weise lässt sich jedoch sehr einfach bestimmen, ob ein Objekt für die weitere Analyse in Betracht kommt. Wenn sich das Fahrzeug außerhalb des Betrachtungsbereich eines Objekts befindet, braucht nicht weiter ermittelt zu werden, ob der Insasse des Fahrzeugs dieses Objekt wahrgenommen hat.

Der Betrachtungsbereich kann dabei neben einem möglichen Betrachtungswinkel auch einen Mindestabstand definieren, der erforderlich ist, um das Objekt wahrzunehmen. Umfasst das Objekt beispielsweise Schrift einer bestimmten Größe, kann ein Mindestabstand definiert werden, der erforderlich ist, damit ein Insasse des Fahrzeugs das Objekt nicht nur sehen kann, sondern die Schrift auch lesen kann. Eine Wahrnehmung des Objekts ist in diesem Fall so definiert, dass der Inhalt der schriftlichen Mitteilung wahrgenommen werden kann.

Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird die Blickrichtung des Insassen dadurch erfasst, dass mittels der Blickerfassungseinrichtung die Blickrichtung des Insassen relativ zur Ausrichtung des Fahrzeugs bestimmt wird und die Blickrichtung des Insassen dann relativ zur Umgebung des Fahrzeugs anhand der Ausrichtung des Fahrzeugs und der Blickrichtung des Insassen relativ zur Ausrichtung des Fahrzeugs bestimmt wird. Die Ausrichtung des Fahrzeugs lässt sich relativ einfach anhand der zeitlichen Veränderung der geographischen Position des Fahrzeugs bestimmen. Außerdem kann die Ausrichtung über die im Fahrzeug befindlichen Sensoren auf an sich bekannte Weise ermittelt werden. Die

Blickerfassungseinrichtung muss dann nicht mehr die Blickrichtung relativ zu dem Objekt in der Umgebung des Fahrzeugs bestimmen, sondern nur noch relativ zum Bezugssystem des Fahrzeugs. Da die Blickerfassungseinrichtung insbesondere in dem Fahrzeug angeordnet ist, das heißt, auch in dem Bezugssystem des Fahrzeugs, können an sich bekannte Eye-Tracking- Systeme eingesetzt werden, welche in dem Fahrzeug angeordnet sind und welche beispielsweise Bewegungen der Pupille des Fahrers oder eines anderen Fahrzeuginsassen verfolgen.

Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird in Abhängigkeit von der erfassten Blickrichtung eines Insassen und in Abhängigkeit von der zeitlichen

Veränderung der erfassten geographischen Position des Fahrzeugs ermittelt, wie lange das Objekt in der Umgebung des Fahrzeugs vom Insassen wahrgenommen wurde. In Abhängigkeit vom Ergebnis dieser Ermittlung der Dauer der Wahrnehmung des Objekts wird das Objekt dann insbesondere als wahrgenommen gekennzeichnet. Beispielsweise kann ein Mindestzeitintervall definiert sein. Nur wenn die Dauer der Wahrnehmung des Objekts dieses Mindestzeitintervall überschreitet, wird das Objekt als wahrgenommen gekennzeichnet. Es wird insbesondere fortwährend oder für aufeinanderfolgende Zeitpunkte bestimmt, ob bei der jeweiligen geographischen Position des Fahrzeugs die Blickrichtung in Richtung des Objekts gerichtet ist. Da sich das Fahrzeug bewegt, muss sich auch die Blickrichtung des Insassen verändern, wenn er für eine bestimmte Dauer ein Objekt betrachtet. Diese Veränderung der Position des

Fahrzeugs und die damit verbundene Veränderung der Blickrichtung wird bei dem

erfindungsgemäßen Verfahren berücksichtigt, um zu bestimmen, wie lange das Objekt in der Umgebung des Fahrzeugs wahrgenommen wurde.

Gemäß einer vorteilhaften Weiterbildung des Verfahrens werden Metadaten eines

wahrgenommenen Objekts ermittelt. Diese Metadaten können beispielsweise Informationen zu dem vom Objekt gezeigten Werbeinhalt umfassen. Außerdem können sie Informationen zu dem beworbenen Produkt bzw. zu dem beworbenen Unternehmen umfassen. Die Metadaten können auch in dem Datenspeicher gespeichert sein. Durch Zugriff auf den Datenspeicher können sie abgerufen werden. Die Ermittlung solcher Metadaten ist für die weitere Analyse vorteilhaft. Außerdem ist es möglich, dem Insassen des Fahrzeugs diese Metadaten auszugeben. Auf diese Weise kann der Insasse die mit dem wahrgenommenen Objekt verbundenen

Informationen auch später noch abrufen, wenn er das Objekt bereits passiert hat.

Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens verändern sich die Metadaten des wahrgenommenen Objekts zeitlich. Beispielsweise kann das Objekt ein Display umfassen, welches zu verschiedenen Zeitintervallen Nachrichten, Werbeinhalte oder andere

Informationen, wie beispielsweise Verkehrsinformationen anzeigt. In diesem Fall wird der Zeitpunkt oder das Zeitintervall, in dem das Objekt vom Insassen wahrgenommen wurde, erfasst und die Metadaten des wahrgenommenen Objekts werden zu dem Zeitpunkt oder zu dem Zeitintervall ermittelt, zu dem das Objekt wahrgenommen wurde. Auf diese Weise kann nicht nur erfasst werden, dass das Objekt vom Insassen wahrgenommen wurde, sondern auch, welche Informationen beispielsweise das Objekt zu diesem Zeitpunkt bzw. in diesem

Zeitintervall angezeigt hat.

Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird ermittelt, ob von dem ermittelten Objekt ein Informationsinhalt ausgegeben wird. Es werden dann Erkennungsdaten zu ausgegebenen Informationsinhalten erfasst. Zumindest während oder für ein Zeitintervall nach der Ausgabe des Informationsinhalts wird mittels eines Mikrofons im Innenraum des Fahrzeugs ein Gespräch zwischen Insassen des Fahrzeugs erfasst. Dann wird eine Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des

Informationsinhalts geführt wurde, durchgeführt und anhand der Gesprächsanalyse und der erfassten Erkennungsdaten des während oder vor dem Gespräch ausgegebenen

Informationsinhalts wird ermittelt, ob der ausgegebene Informationsinhalt von einem Insassen des Fahrzeugs wahrgenommen wurde. Auf diese Weise kann noch genauer anhand eines Informationsinhalts, welcher von dem Objekt ausgegeben wurde, festgestellt werden, ob das Objekt wahrgenommen wurde.

Das Zeitintervall nach der Ausgabe des Informationsinhalts kann beispielsweise einen Zeitraum von bis zu 30 Minuten nach Beendigung der Ausgabe des Informationsinhalts umfassen. Das Zeitintervall umfasst insbesondere einen Zeitraum von 20 Minuten, bevorzugt 10 Minuten oder 2 Minuten, nach Beendigung der Ausgabe des Informationsinhalts.

Bei dem Informationsinhalt handelt es sich um jegliche Form von Information, welche von einem Fahrzeuginsassen wahrgenommen werden kann. Bei dem Informationsinhalt handelt es sich insbesondere um einen Werbeinhalt. Es wird somit Werbung ausgegeben, deren Inhalt von einem Insassen des Fahrzeugs wahrgenommen werden kann. Bei dieser Ausgestaltung des erfindungsgemäßen Verfahrens wird der Fahrzeuginsasse dahingehend überwacht, ob er den Werbeinhalt wahrgenommen hat. Hierfür wird der Inhalt eines Gesprächs zwischen Insassen des Fahrzeugs analysiert. Anhand dieser Gesprächsanalyse kann ein Zusammenhang mit den Erkennungsdaten des zugeordneten Informationsinhalts hergestellt werden. Besteht ein solcher Zusammenhang, wird geschlossen, dass der Informationsinhalt von einem Fahrzeuginsassen wahrgenommen wurde. Durch die Gesprächsanalyse wird erreicht, dass sehr zuverlässig auf die Wahrnehmung eines Informationsinhalts und damit auf die Wahrnehmung des Objekts, welches diesen Informationsinhalt ausgegeben hat, geschlossen werden kann. Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens werden die Erkennungsdaten dadurch gewonnen, dass der ausgegebene Informationsinhalt analysiert wird. Beispielsweise kann eine visuelle Ausgabe des Informationsinhalts durch eine Kamera erfasst werden, die das Umfeld des Fahrzeugs aufnimmt. Die von einer Kamera erfassten Daten können dann analysiert werden, um Erkennungsdaten für den Informationsinhalt zu gewinnen. Bei dieser Ausgestaltung können die Erkennungsdaten vorteilhafterweise allein durch Einrichtungen des Fahrzeugs gewonnen werden, ohne dass es erforderlich ist, auf fahrzeugexterne Einrichtungen zuzugreifen.

Gemäß einer anderen Ausgestaltung des erfindungsgemäßen Verfahrens werden von dem Datenspeicher Erkennungsdaten zu ausgegebenen Informationsinhalten des ermittelten Objekts in der Umgebung des Fahrzeugs an das Fahrzeug übertragen. Bei dieser

Ausgestaltung des Verfahrens ist es zwar erforderlich, auf fahrzeugexterne Einrichtungen zuzugreifen. In diesem Fall können die Erkennungsdaten jedoch zuverlässig und

gegebenenfalls auf vorbestimmte Weise gewonnen werden, da in dem Datenspeicher Daten gespeichert sein können, die angeben, welche Informationsinhalte zu welcher Zeit über das ermittelte Objekt ausgegeben werden.

Die Erkennungsdaten können beispielsweise Schlüsselwörter des ausgegebenen

Informationsinhalts umfassen. Hierdurch wird vorteilhafterweise erreicht, dass eine besonders zuverlässige Gesprächsanalyse durchgeführt werden kann.

Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird bei der Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des

Informationsinhalts geführt wurde, ermittelt, ob es eine Übereinstimmung gibt zwischen zumindest einer Teilmenge der zu dem Informationsinhalt gehörigen Schlüsselwörtern und Wörtern des Gesprächs. Wenn in dem Gespräch Wörter Vorkommen, die Schlüsselwörtern des Informationsinhalts entsprechen, kann vorteilhafterweise sehr zuverlässig darauf geschlossen werden, dass der Gesprächsinhalt in einer Beziehung zu dem ausgegebenen Informationsinhalt steht. Bei den Schlüsselwörtern handelt es sich daher um möglichst spezielle oder selten vorkommende Wörter des Informationsinhalts, so dass bei der Gesprächsanalyse eine klare Abgrenzung zwischen einem allgemeinen Gespräch und einem Gespräch über den

ausgegebenen Informationsinhalt möglich ist. Auf diese Weise kann besonders zuverlässig verifiziert werden, ob der überwachte Insasse den ausgegebenen Informationsinhalt

wahrgenommen hat. Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird bei der Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des

Informationsinhalts geführt wurde, der Inhalt des Gesprächs ermittelt und bestimmt, wie die Reaktion zumindest eines Insassen auf den Informationsinhalt ist. Es kann beispielsweise analysiert werden, ob der Insasse positiv, neutral oder negativ auf den Informationsinhalt reagiert hat. Vorteilhafterweise kann bei dieser Ausgestaltung nicht nur ermittelt werden, ob die Ausgabe des Informationsinhalts wahrgenommen wurde, sondern auch wie die Reaktion auf den Informationsinhalt ist.

Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird die Stimmung des Insassen mittels einer Stimmungserfassungseinrichtung zu dem Zeitpunkt oder zu dem

Zeitintervall erfasst, zu dem das Objekt wahrgenommen wurde. Hierfür kann die

Stimmungserfassungseinrichtung beispielsweise mit einer Innenraumkamera und/oder einem Mikrofon gekoppelt sein. Auf diese Weise kann die Stimme, die Mimik und/oder die Gestik des Insassen von der Stimmungserfassungseinrichtung analysiert und klassifiziert und damit einer bestimmten Stimmung zugeordnet werden.

Des Weiteren können persönliche Merkmale des Insassen erfasst werden. Beispielsweise kann die Identität des Insassen, insbesondere des Fahrers des Fahrzeugs, anhand des

Fahrzeugschlüssels oder anhand einer Eingabe bei Fahrtantritt ermittelt werden.

Alternativ werden die persönlichen Merkmale des Insassen mittels einer

Insassenerfassungseinrichtung erfasst. Diese kann auf eine Innenraumkamera und/oder ein Mikrofon zugreifen. Auf diese Weise kann beispielsweise automatisch die Altersklasse und das Geschlecht des Insassen ermittelt werden. Diese Informationen können die weitere Auswertung der Daten zu den Wahrnehmungen von Objekten unterstützen.

Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird von einer

fahrzeuginternen Analyseeinrichtung erfasst, welches Objekt in der Umgebung des Fahrzeugs von welchem Insassen wann wahrgenommen wurde. Außerdem kann von der fahrzeuginternen Analyseeinrichtung erfasst werden, welche Metadaten das wahrgenommene Objekt besitzt, wie lange das Objekt wahrgenommen wurde und/oder welche persönlichen Merkmale und/oder welche Stimmung der Insasse, welcher das Objekt wahrgenommen hat, hatte. Die von der Analyseeinrichtung erfassten Daten können dann an eine fahrzeugexterne Auswerteeinrichtung übertragen werden. Hierdurch ist es möglich, die Daten, welche bei der Überwachung des Fahrzeuginsassen gewonnen wurden, über eine fahrzeugexterne, insbesondere zentrale Auswerteeinrichtung auszuwerten, um Daten über die Wahrnehmung von Objekten zu gewinnen. Dabei kann die fahrzeugexterne Auswerteeinrichtung anhand der Daten einer Vielzahl von Fahrzeugen insbesondere ermitteln, wie ein zu Metadaten zugehöriger

Informationsinhalt wahrgenommen wird. Alternativ oder zusätzlich kann sie die Effektivität der Ausgabe des Informationsinhalts bestimmen.

Der Datenspeicher kann zumindest eine mittels einer Kommunikationsverbindung mit dem Kraftfahrzeug verbundene fahrzeugfremde Servereinrichtung und/oder ein Navigationssystem des Kraftfahrzeugs sein.

Die erfindungsgemäße Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs ist gekennzeichnet durch eine Schnittstelle für einen Zugriff auf einen Datenspeicher, in welchem Objekte und ihnen zugeordnete geographische Positionen gespeichert sind. Ferner ist die Vorrichtung gekennzeichnet durch eine Analyseeinrichtung, die ausgebildet ist, anhand der erfassten geographischen Position des Fahrzeugs zu ermitteln, ob sich eines der Objekte in der Umgebung des Fahrzeugs befindet, und ferner in Abhängigkeit von einer erfassten

Blickrichtung des Insassen, einer erfassten geographischen Position des Fahrzeugs und einer geographischen Position eines ermittelten Objekts in der Umgebung des Fahrzeugs zu ermitteln, ob das Objekt in der Umgebung des Fahrzeugs von dem Insassen wahrgenommen wurde.

Die Analyseeinrichtung ist insbesondere in dem Fahrzeug angeordnet. Der Datenspeicher ist hingegen insbesondere außerhalb des Fahrzeugs angeordnet. In diesem Fall ist die

Schnittstelle insbesondere eine drahtlose Kommunikationsschnittstelle für einen

Datenaustausch zwischen dem Datenspeicher und der Analyseeinrichtung.

Die erfindungsgemäße Vorrichtung ist insbesondere ausgebildet, das erfindungsgemäße Verfahren auszuführen. Sie weist somit auch dieselben Vorteile wie das erfindungsgemäße Verfahren auf.

Die Erfindung betrifft ferner ein System zur Analyse der Wahrnehmung von Objekten in einem Verkehrsraum. Das System umfasst eine Vielzahl von Fahrzeugen, welche jeweils die vorstehend beschriebene erfindungsgemäße Vorrichtung umfassen. Dabei umfassen die Fahrzeuge jeweils eine Analyseeinrichtung. Das System umfasst ferner eine fahrzeugexterne Auswerteeinrichtung, welche ausgebildet ist, mit den Schnittstellen der Fahrzeuge zu kommunizieren und von den Analyseeinrichtungen der Fahrzeuge Daten zu empfangen, die angeben, welche Objekte von den Insassen der Fahrzeuge wahrgenommen wurden. Mit dem erfindungsgemäßen System können vorteilhafterweise über einen langen Zeitraum Daten zur Wahrnehmung von Objekten durch Insassen der Fahrzeuge gewonnen werden, welche das Objekt passieren, welches beispielsweise am Straßenrand angeordnet ist.

Die Erfindung wird nun anhand von Ausführungsbeispielen mit Bezug zu den Zeichnungen erläutert.

Figur 1 veranschaulicht die Wahrnehmung eines Objekts durch einen Fahrzeuginsassen gemäß einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens und

Figur 2 zeigt ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung.

Mit Bezug zur Figur 1 wird das Szenario erläutert, bei welchem das erfindungsgemäße

Verfahren eingesetzt wird:

Ein Fahrzeug 1 mit einem Insassen 2, beispielsweise dem Fahrer, fährt auf einer Fahrbahn 4 einer Straße. Neben der Straße ist ein Objekt 5 positioniert. Hierbei kann es sich beispielsweise um ein Werbeobjekt, wie eine Werbetafel, handeln. Das Objekt 5 besitzt eine bestimmte

Ausrichtung, so dass es aus einem bestimmten Betrachtungsbereich 6 von einer Person innerhalb dieses Betrachtungsbereichs 6 wahrgenommen werden kann. Der Insasse 2 des Fahrzeugs 1 , welches sich in dem Betrachtungsbereich 6 befindet, kann mit der Blickrichtung 3 in Richtung einer Fläche des Objekts 5 schauen, auf welcher ein Informationsinhalt dargestellt wird. Auf diese Weise kann der Insasse 2 das Objekt 5 sowie den von dem Objekt 5

dargestellten Informationsinhalt wahrnehmen. Bewegt sich das Fahrzeug 2 auf der Fahrbahn 4 an dem Objekt 5 vorbei, wird sich die Blickrichtung 3 des Insassen 2 so verändern, dass sie für eine bestimmte Dauer in Richtung des Objekts 5 gerichtet ist, wenn der Insasse 2 das Objekt bzw. den dargestellten Informationsinhalt wahrnimmt.

Mit Bezug zu Figur 2 wird ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung sowie des erfindungsgemäßen Verfahrens erläutert:

Das Fahrzeug 1 umfasst verschiedene Sensoren 7. Die Sensoren 7 umfassen beispielsweise eine Innenraumkamera 7-1 , ein Innenraummikrofon 7-2, eine Identifikationseinheit 7-3 und eine Positionserfassungseinrichtung 7-4. Die Sensoren 7 sind mit einer Blickerfassungseinrichtung 8, einer Stimmungserfassungseinrichtung 9 und einer Insassenerfassungseinrichtung 10 gekoppelt.

Mit der Blickerfassungseinrichtung 8 kann auf Basis der von den Sensoren 7 aufgenommenen Daten die Blickrichtung 3 eines Fahrzeuginsassen 2 relativ zum Bezugssystem des Fahrzeugs

I erfasst werden. Die Blickerfassungseinrichtung 8 kann somit ein Eye-Tracking-System umfassen. Es wird beispielsweise erfasst, wohin der Insasse 2 auf eine Fahrzeugscheibe, beispielsweise auf die Windschutzscheibe oder eine Seitenscheibe, blickt. Ferner kann die Position der Augen des Insassen 2 innerhalb des Fahrzeugs 1 ermittelt werden, woraus dann die Blickrichtung 3 berechnet werden kann.

Die Stimmungserfassungseinrichtung 9 kann anhand der von den Sensoren 7 übertragenen Daten die Stimmung des Insassen 2 zu einem bestimmten Zeitpunkt oder zu einem Zeitintervall erfassen. Beispielsweise kann die Mimik, Gestik und die Stimme des Insassen 2 analysiert und einer bestimmten Stimmungsklasse zugeordnet werden.

Die Insassenerfassungseinrichtung 10 kann anhand der von den Sensoren 7 erfassten Daten persönliche Merkmale des Insassen 2 erfassen. Zum einen kann die Identität des Insassen 2 direkt über die Identifikationseinheit 7-3, beispielsweise anhand eines dem Insassen 2 persönlich zugeordneten Schlüssels, ermittelt werden. Alternativ oder zusätzlich können die persönlichen Merkmale des Insassen 2 durch eine Bildanalyse und/oder Stimmanalyse ermittelt werden.

Die von der Blickerfassungseinrichtung 8 erfasste Blickrichtung 3 des Insassen 2, die von der Stimmungserfassungseinrichtung 9 erfasste Stimmung des Insassen 2 und die von der

Insassenerfassungseinrichtung 10 erfassten persönlichen Merkmale des Insassen 2 werden fortwährend oder innerhalb bestimmter Zeitintervalle an eine fahrzeuginterne

Analyseeinrichtung 11 übertragen. Von der Positionserfassungseinrichtung 7-4 wird außerdem die aktuelle geographische Position des Fahrzeugs 1 sowie die Pose, das heißt die räumliche Lage bzw. die Orientierung des Fahrzeugs 1 , erfasst und fortwährend an die Analyseeinrichtung

I I übertragen. Auf diese Weise kann die Analyseeinrichtung 1 1 die Geschwindigkeit und die Bewegungsrichtung des Fahrzeugs 1 ermitteln.

Die fahrzeuginterne Analyseeinrichtung 11 ist über die Kommunikationsschnittstelle 12, beispielsweise eine Datenverbindung über das Mobilfunknetz, mit einer

Objektermittlungseinrichtung 13 gekoppelt. Die Objektermittlungseinrichtung 13 greift wiederum auf einen Datenspeicher 15 zu. In dem Datenspeicher 15 sind Daten zu Objekten 5 gespeichert, die für die Überwachung des Insassen 2 relevant sind. Der Datenspeicher 15 speichert geographische Positionen, die den Objekten 5 zugeordnet sind. Des Weiteren sind die den Objekten zugeordneten Ausrichtungen in dem Datenspeicher gespeichert, wenn die Wahrnehmung des Objekts nur aus bestimmten Betrachtungsrichtungen möglich ist.

Beispielsweise kann es sich bei den Objekten 5 um Werbeobjekte, Objekte, die Informationen und Hinweise zeigen, oder andere Objekte 5 handeln, deren Wahrnehmung durch einen Insassen 2 von Interesse ist. Zu den Objekten 5 können außerdem Metadaten gespeichert sein. Hierzu zählen Daten zu dem Betrachtungsbereich 6, Daten zu einem von dem Objekt 5 gezeigten Informationsinhalt, insbesondere Werbeinhalt, und Zeitdaten, die gegebenenfalls angeben, welcher Informationsinhalt wann angezeigt wurde bzw. wird. Der Informationsinhalt kann auch Informationen zu einem beworbenen Produkt und einem beworbenen Unternehmen umfassen.

Die fahrzeuginterne Analyseeinrichtung 11 ist ferner über die drahtlose

Kommunikationsschnittstelle 12mit einer fahrzeugexternen Auswerteeinrichtung 14 verbunden.

Im Folgenden wird beschrieben, wie bei dem erfindungsgemäßen Verfahren der Insasse 2 des Fahrzeugs 1 überwacht wird, wobei die Ausbildungen der verschiedenen Einrichtungen der erfindungsgemäßen Vorrichtung weiter erläutert werden:

Die geographische Position des Fahrzeugs 1 wird fortwährend von der

Positionserfassungseinrichtung 7-4 erfasst. Mittels der fahrzeuginternen Analyseeinrichtung 1 1 wird die Position des Fahrzeugs 1 fortwährend über die Kommunikationsschnittstelle 12 an die Objektermittlungseinrichtung 13 übertragen. Durch Zugriff auf den Datenspeicher 15 ermittelt die Objektermittlungseinrichtung 13 in Abhängigkeit von der von der Analyseeinrichtung 11 übertragenen geographischen Position des Fahrzeugs 1 diejenigen Objekte 5, welche sich in der Umgebung des Fahrzeugs 1 befinden. Beispielsweise kann die

Objektermittlungseinrichtung 13 bestimmen, ob sich das Fahrzeug 1 innerhalb des

Betrachtungsbereichs 6 eines Objekts 5 befindet. Die Objekterfassungseinrichtung 13 überträgt dann Daten zu den Objekten 5 in der Umgebung des Fahrzeugs 1 zurück an die

Analyseeinrichtung 11. Zu diesen Daten zählen die geographische Position und die Ausrichtung des Objekts 5. Ferner können die Daten einen Zeitstempel und alle oder eine Teilmenge der vorstehend genannten Metadaten des Objekts 5 umfassen. Des Weiteren wird fortwährend die Blickrichtung 3 des Insassen 2 erfasst. Wird die Blickrichtung 3 relativ zum Bezugssystem des Fahrzeugs 1 erfasst, berechnet die

Analyseeinrichtung 11 unter Berücksichtigung der Bewegung des Fahrzeugs 1 fortwährend die Blickrichtung 3 des Insassen 2 im Bezugssystem der Fahrbahn 4, in welchem sich das Objekt 5 befindet. In diesem Bezugssystem ist es insbesondere unbewegt. Die Analyseeinrichtung 1 1 bestimmt dann in Abhängigkeit von der erfassten aktuellen Blickrichtung 3 des Insassen 2, der erfassten aktuellen geographischen Position des Fahrzeugs 1 und der geographischen Position und Ausrichtung des Objekts 5 in der Umgebung des Fahrzeugs 1 , ob das Objekt 5 in der Umgebung des Fahrzeugs 1 vom Insassen 2 wahrgenommen wurde. Wenn ein Objekt 5 nur bei einer bestimmten Ausrichtung relativ zu einem Betrachter wahrgenommen werden kann, wird außerdem die Ausrichtung des ermittelten Objekts 5 in der Umgebung des Fahrzeugs 1 bei der Ermittlung berücksichtigt, ob das Objekt 5 in der Umgebung des Fahrzeugs 1 vom Insassen 2 wahrgenommen wurde. Eine solche Ausrichtung ist beispielsweise bei einem flächigen Objekt 5 zu berücksichtigen, wenn das Objekt 5 nur dann als wahrgenommen gekennzeichnet werden soll, wenn es aus einer bestimmten Betrachtungsrichtung wahrgenommen wurde, das heißt, wenn beispielsweise eine Fläche mit dargestellten Informationen wahrgenommen wurde und nicht nur das Objekt selbst.

Außerdem erfasst die Analyseeinrichtung 11 zu welchem Zeitpunkt und wie lange das Objekt 5 vom Insassen 2 wahrgenommen wurde. Diese Informationen werden in einem internen

Speicher der Analyseeinrichtung 11 gespeichert. Im Zusammenhang damit wird außerdem die erfasste Stimmung des Insassen 2, während dieser das Objekt 5 wahrgenommen hat, sowie die persönlichen Merkmale des Insassen 2 abgespeichert.

Während das Fahrzeug 1 die Straßen des Verkehrsraums befährt, werden immer wieder, wenn das Fahrzeug 1 ein Objekt 5 passiert, die genannten Informationen in dem internen Speicher der Analyseeinrichtung 11 gespeichert. Diese gespeicherten Informationen können dann über die Kommunikationsschnittstelle 12 oder auf andere Weise an die fahrzeugexterne

Auswerteeinrichtung 14 übertragen werden, welche auf diese Weise die Daten, die bei der Überwachung des Insassen 2 des Fahrzeugs 1 gewonnen wurden, weiter ausgewertet werden können.

Im Folgenden wird ein Weiterbildung des vorstehend beschriebenen Ausführungsbeispiels erläutert, wobei auch mögliche weitere Ausbildungen der verschiedenen Einrichtungen der erfindungsgemäßen Vorrichtung weiter erläutert werden: Bei dieser Weiterbildung wird ein Informationsinhalt von dem Objekt 5 angezeigt. Es kann sich dabei um eine stationäre Anzeige oder um eine wechselnde Anzeige handeln. Von der

Analyseeinrichtung 11 wird ermittelt, ob von dem ermittelten Objekt 5 ein Informationsinhalt ausgegeben wird.

Bei dem Informationsinhalt handelt es sich insbesondere um einen Werbeinhalt. Dem

Informationsinhalt sind Erkennungsdaten und ggf. Metadaten zugeordnet. Die Erkennungsdaten sind Schlüsselwörter, die in einer Beziehung zu dem Informationsinhalt stehen. Bei den Schlüsselwörtern kann es sich um Wörter handeln, welche visuell bei der Ausgabe des

Informationsinhalts angezeigt werden. Die Erkennungsdaten, insbesondere die

Schlüsselwörter, können jedoch auch auf andere Weise in einem Zusammenhang mit dem Informationsinhalt stehen. Es ist nicht zwingend erforderlich, dass die Schlüsselwörter angezeigt ausgegeben wurden. Die Erkennungsdaten stehen in einem solchen Zusammenhang zu dem Informationsinhalt, dass anhand der Erkennungsdaten ermittelt werden kann, ob ein Nutzer die Ausgabe des Informationsinhalts wahrgenommen hat. Beispielsweise können die Erkennungsdaten auch Schlüsselwörter enthalten, die in einem übertragenen Sinn in einem Zusammenhang mit dem Informationsinhalt stehen. Beispielsweise können es Schlüsselwörter sein, die bei einem Gespräch über den Informationsinhalt mit hoher Wahrscheinlichkeit ausgesprochen werden, ohne dass die Schlüsselwörter selbst in dem Informationsinhalt Vorkommen. Die Schlüsselwörter werden bei insbesondere so gewählt, dass die

Auftretenshäufigkeit dieser Wörter so gering wie möglich ist, so dass die Schlüsselwörter mit geringer Wahrscheinlichkeit in einem anderen Zusammenhang genannt werden.

Wenn die Analyseeinrichtung 1 1 ermittelt hat, dass von einem Objekt 5 ein Informationsinhalt ausgegeben wird, erfasst sie Erkennungsdaten zu ausgegebenen Informationsinhalten.

Beispielsweise kann die Analyseeinrichtung 1 1 die Erkennungsdaten dadurch gewinnen, dass von dem Datenspeicher 15 Erkennungsdaten zu ausgegebenen Informationsinhalten des ermittelten Objekts 5 in der Umgebung des Fahrzeugs 1 an die Analyseeinrichtung 1 1 übertragen werden. In dem Datenspeicher 15 kann hierfür nicht nur gespeichert sein, zu welcher Zeit welcher Informationsinhalt von welchem Objekt 5 angezeigt wird, sondern zusätzlich auch die jeweils zugeordneten Erkennungsdaten.

Alternativ erfasst die Analyseeinrichtung 11 Erkennungsdaten zu ausgegebenen

Informationsinhalten, indem sie die von den Sensoren 7 übertragenen Daten auswertet.

Beispielsweise kann sie anhand der von der Innenraumkamera 7-1 aufgenommenen Bilder, dargestellten Text extrahieren und daraus Erkennungsdaten, insbesondere Schlüsselwörter, generieren.

Die Analyseeinrichtung 12 empfängt ferner Aufnahmen des Innenraummikrofons 7-2. Sie ist ausgebildet, ein während der Ausgabe eines Informationsinhalts oder für ein Zeitintervall nach der Ausgabe eines Informationsinhalts erfasstes Gespräch zu analysieren. Die

Analyseeinrichtung 12 ermittelt anhand dieser Gesprächsanalyse und den erfassten

Erkennungsdaten des während oder vor dem Gespräch ausgegebenen Informationsinhalts, ob der ausgegebenen Informationsinhalt von einem Insassen des Fahrzeugs 1 wahrgenommen wurde. Die Analyseeinrichtung 12 extrahiert dabei insbesondere Wörter des erfassten

Gesprächs während oder in einem Zeitintervall nach der Informationsausgabe und vergleicht diese extrahierten Wörter mit Schlüsselwörtern der Erkennungsdaten. Wird ein gewisses Maß an Übereinstimmung ermittelt, kann die Analyseeinrichtung 12 verifizieren, dass ein Insasse 2 das Objekt 5, welches den Informationsinhalt ausgegeben hat, wahrgenommen hat.

Bei dem erfindungsgemäßen System zur Analyse der Wahrnehmung von Objekten 5 in einem Verkehrsraum sind eine Vielzahl von Fahrzeugen 1 mit der vorstehend beschriebenen erfindungsgemäßen Vorrichtung ausgestattet. Die Fahrzeuge 1 überwachen einen oder mehrere Insassen 2 des jeweiligen Fahrzeugs 1 im Hinblick auf die Wahrnehmung von

Objekten 5. In der jeweiligen Analyseeinrichtung 11 eines Fahrzeugs 1 wird erfasst, welches Objekt 5 zu welchem Zeitpunkt von welchem Insassen 2 wahrgenommen wurde. Ferner können die genannten Metadaten zu der Wahrnehmung des Objekts 5 erfasst werden. Die von den Analyseeinrichtungen 11 erfassten Daten werden an die fahrzeugexterne Auswerteeinrichtung 14 übertragen, so dass diese umfassend auswerten kann, wie ein bestimmtes Objekt wahrgenommen wurde.

Die fahrzeugexterne Auswerteeinrichtung ermittelt anhand der Daten einer Vielzahl von Fahrzeugen, wie ein zu Metadaten zugehöriger Informationsinhalt wahrgenommen wird. Bezugszeichenliste Fahrzeug

Insasse

Blickrichtung

Fahrbahn

Objekt

Betrachtungsbereich

Sensoren

-1 Innenraumkamera

-2 Innenraummikrofon

-3 Identifikationseinheit

-4 Positionserfassungseinrichtung

Blickerfassungseinrichtung

Stimmungserfassungseinrichtung

0 Insassenerfassungseinrichtung

1 fahrzeuginterne Analyseeinrichtung

2 Kommunikationsschnittstellen

3 Objektermittlungseinrichtung

4 Auswerteeinrichtung

5 Datenspeicher