Verfahren zur Auswertung des Verhaltens einer Person mittels eines Eve-Tracking-Systems sowie Eye-T racking-Svstem und Kraftfahrzeug mit einem solchen Eye-T racking-System

ANWENDUNGSGEBIET UND STAND DER TECHNIK

Die Erfindung betrifft den Bereich des Eye-Trackings, also die Erfassung und Auswertung der Augen und Augenbewegung einer beobachteten Person mittels einer Kamera und einer hiermit verbundenen Auswerteeinheit. Die Erfindung betrifft dabei insbesondere ein Verfahren zum Kalibrieren eines Eye- T racking-Systems sowie die Verwendung des derart kalibrierten Eye-T racking-Systems für die Auswer tung des Verhaltens einer Person. Die Erfindung betrifft weiterhin auch ein entsprechend ausgebilde tes Eye-T racking-System.

Dabei geht es im Kontext der vorliegenden Erfindung insbesondere um die Erfassung eines Fahrzeug führers oder Flugzeugführers durch ein in einem Fahrzeug oder Flugzeug vorgesehenes Eye-T racking- System. Eye-T racking dient in diesen Kontexten insbesondere dem Zweck, die jeweils aktuelle Tätig keit des Fahrzeugführers oder Flugzeugführers zu ermitteln oder seine Konzentration zu beurteilen.

So ist es bereits bekannt, Eye-T racking zu verwenden, um im autonomen Betrieb teilautonomer Fahr zeuge beurteilen zu können, wie lange ein Fahrzeugführer voraussichtlich benötigen wird, um die Kontrolle des Fahrzeugs wieder zu übernehmen. Dies ist auch im Artikel“Ready for Take-Over? A New Driver Assistance System for an Automated Classification of Driver Take-Over Readiness” von Chris tian Braunagel, Wolfgang Rosenstiel und Enkelejda Kasneci (IEEE Intelligent transportation Systems magazine, Ausgabe Winter 2017, Seiten 10 bis 22) beschrieben.

Die Auswertung der Kopf- und Augenbewegungen insbesondere in einem Fahrzeug ist gegenüber ei nem stationären Aufbau eines Eye-T racking-Systems erschwert, so dass eine sichere Erkennung der Blickrichtung des Fahrzeugführers aufgrund verschiedener Faktoren nicht ohne weiteres gewährleis tet ist. Unterschiedliche Einstellungen des Sitzes oder wechselnde Sitzhaltungen erschweren die Aus wertung. Auch ist das sichere Erkennen von für die Blickrichtung charakteristischen Merkmalen des Auges durch ein Kamerasystem in einem Fahrzeug oder Flugzeug aufgrund beispielsweise wechseln der Lichtverhältnisse mit Ungenauigkeiten behaftet. Es ist daher bereits vorgeschlagen worden, mehrere Kameras oder besonders hochauflösende Kame ras zu verwenden. Eine derartige Konfiguration eines Kamerasystems ist jedoch vergleichsweise teu er.

Um individuelle Abweichungen in der Auswertung von Eye-Tracking-Systemen zu kompensieren, ist es bekannt, Eye-Tracking-Systeme vor dem Gebrauch zu kalibrieren. Dies kann beispielsweise dadurch erfolgen, dass die zu beobachtende Person zunächst in einem Kalibrierungsmodus einen Punkt oder nacheinander mehrere Punkte mit dem Blick zu fixieren hat. Die jeweilige Blickrichtung wird von der Kamera des Eye-Tracking-Systems erfasst und es werden Abweichu ngsparameter ermit telt, die die Abweichung zwischen ermittelter und erwarteter Blickrichtung repräsentieren. Eine sol che Kalibrierungsphase ist jedoch in die Alltagspraxis zumindest von Kraftfahrzeugen nur schwer zu integrieren. Zudem können im Fährbetrieb wechselnde Sitzhaltungen eines Fahrzeugführers hiermit nicht erfasst werden, da eine wiederholte Kalibrierung in der Praxis kaum möglich ist.

Zum Stand der Technik zählt auch der Artikel„SubsMatch 2.0: Scanpath comparison and Classifica tion based on subsequence frequencies“ von Thomas C. Kühler, Colleen Rothe, Ulrich Schiefer und Wolfgang Rosenstiel (Behavior Research Methods (2017) 49: 1048-1064). Darin ist beschrieben, wie die Auswertung der Augenbewegung einer Person erfolgen kann, indem die Augenbewegung bzw. der sich aus der Änderung der Blickrichtung ergebende Blickpfad in kurze Teilabschnitte untergliedert wird. Die Auswertung erfolgt dann auf Basis dieser Teilabschnitte, deren Vorkommen in einem Blick pfad einer gegebenen zeitlichen Länge gezählt wird und hieraus eine Klassifikation abgeleitet wird.

Im Kontext der Erfindung können die im genannten Artikel verwendeten Techniken zur Auswertung genutzt werden. Der genannte Artikel wird daher du rch explizite Bezugnahme zum Teil dieser Offen barung gemacht.

AUFGABE UND LÖSUNG

Aufgabe der Erfindung ist es, eine Möglichkeit zur verbesserten Kalibrierung eines Eye-Tracking- Systems und darauf aufbauend eine verbesserte Möglichkeit zur Auswertung der erfassten Augenbe wegungen zu schaffen, insbesondere zur Verwendung in einem Fahrzeug oder Flugzeug. Zu diesem Zweck wird ein Verfahren zum Kalibrieren eines Eye-T racking-Systems vorgeschlagen, wel ches die folgenden Merkmale erfüllt und welches insbesondere zur Anwendung im Eye-T racking- System eines Kraftfahrzeugs vorgesehen ist.

Das erfindungsgemäße Verfahren sieht vor, dass die Augen einer Person, insbesondere eines Fahr zeugführers eines Kraftfahrzeugs, mittels eines Kamerasystems erfasst werden und die Blickrichtung der Person anhand optisch erfasster Merkmale ermittelt wird. Der zeitliche Verlauf dieser Blickrich tungen ergibt einen Blickpfad.

Dieser Blickpfad ist aufgrund vielfältiger Ursachen ungenau und kann daher nicht unmittelbar genutzt werden, um mittels einer Verarbeitungseinheit zu ermitteln, was der Fahrzeugführer jeweils in den Blick nimmt oder wie seine Konzentration oder Übernahmebereitschaft zu beurteilen sind. Zu diesen Ursachen gehören eine variable Sitzposition, Unterschiede in den zur Erfassung der Blickrichtung ausgewerteten optisch erfassten Merkmalen sowie ein begrenztes Auflösungsvermögen der verwen deten Kamera. Dies führt dazu, dass übereinstimmende reale Blickrichtungen, beispielsweise auf ei nen Seitenspiegel, bei der Erfassung der Blickrichtung zu unterschiedlichen erfassten Blickrichtungen und entsprechend unterschiedlichen Blickpfaden führen, sowohl im Falle unterschiedlicher Personen, jedoch auch im Falle der gleichen Person zu verschiedenen Zeitpunkten. Die Kalibrierung zielt darauf ab, die genannten individuellen Einflussgrößen zu kompensieren.

Der erfasste Blickpfad wird durch zeitlich aufeinander folgende vom Eye-T racking-System erfasste Blickrichtungen gebildet, wobei er vorzugsweise entsprechend einer vorgegebenen Frequenz um die jeweils aktuelle Blickrichtung ergänzt wird. Die mit der vorgegebenen Frequenz erfassten Blickrich tungen bilden die durch Kanten verbundenen Knoten des erfassten Blickpfades. Alternativ ist es grundsätzlich auch möglich, die genannten Knoten nicht definiert zeitlich voneinander beabstandet als Blickpfad zu erfassen, sondern direkt durch Knoten gleicher oder ähnlicher Beabstandung zu bil den, so dass ein hierfür beim nachfolgenden Clustering vorgesehener Resampling-Schritt (siehe un ten) beim ersten Clustering-Durchgang entfallen kann.

Ausgehend von dem ermittelten und noch ungenauen Blickpfad werden dann Blickpfadbündel häufig genutzter Teilpfade des ermittelten Blickpfades mittels Clustering ermittelt. Dieses Clustering bedeu tet, dass einander ähnliche Teilpfade des Blickpfades, entlang derer ein Blickrichtungswechsel statt gefunden hat, als zusammengehörig identifiziert werden, so dass die Vielzahl von erfassten Teilpfaden auf eine geringere Zahl von Bündeln von Teilpfaden zurückgeführt werden, die typische Blickrich- tungswechsel oder Teilstrecken hiervon wiederspiegeln, beispielsweise der Wechsel von einem Blick auf die Straße vor dem Fahrzeugzum Seitenspiegel.

Diese durch Clustering ermittelten Blickpfadbündel werden ihrerseits erfindungsgemäß herangezo gen, um Korrekturparameter abzuleiten, die bei der späteren Auswertung weiterer erfasster Blickpfa de zur Datennormierung genutzt werden können, wie im weiteren noch näher erläutert wird.

Das erfindungsgemäße Verfahren zur Kalibrierung eines Eye-Tracking-Systems zeichnet sich demnach dadurch aus, dass es keine separate Kalibrierungsphase verlangt, sondern die Blickrichtungen der Person, insbesondere des Fahrzeugführers im normalen Fährbetrieb des Fahrzeugs, für die Kalibrie rung nutzt. Dabei werden die erfassten Blickrichtungen oder der sich hieraus ergebende Blickpfad nicht unmittelbar genutzt, um Korrekturparameter abzuleiten, da diese sich nicht für eine direkte Kalibrierung eignen. Stattdessen werden die durch das Clustering ermittelten Bündel von Blickpfaden verwendet. Das Clustering führt dazu, dass quasi aus einem feinen Netz, welches der erfasste Blick pfad bildet, ein grobes Netz mit weniger Kanten und Knoten entsteht.

Dieses grobe Netz aus den gebündelten Teilpfaden eignet sich gut für die Auswertung im Zuge der Kalibrierung. Es ist hiermit möglich, im Rahmen eines Vergleichs mit einem aus Referenzdaten gebil deten groben Referenznetz zu ermitteln, in welchem Maße Abweichungen zum Referenznetz vorlie gen.

Die Auswertung der Blickrichtung zur Bildung von Blickpfaden für das nachfolgende Clustering erfolgt vorzugsweise, indem vom Kamerasystem erfasste Bilder dahingehend ausgewertet werden, dass die Augen der erfassten Person sowie ihre Pupillen lokalisiert werden und hieraus ein die Blickrichtung repräsentierender Vektor abgeleitet wird. Die optisch erfassten Merkmale zur Ermittlung dieser Blick richtung umfassen die Erfassung eines Pupillenzentrums der Person, die Erfassung einer Pupillenkon tur der Person, die Erfassung einer Augenkontur der Person, die Erfassung einer Iriskontur der Person, die Erfassung eines Augenlides der Person und/oder die Erfassung von Reflexen auf einer Augenhorn haut der Person.

Der ermittelte Vektor wird vorzugsweise zusammen mit einer gedachten (virtuellen) Projektionsfläche verwendet, um die zur Erzeugung des Blickpfades genutzte Blickrichtung in Art zweidimensionaler Koordinaten zu bestimmen. H i e rf ü r wird ermittelt, wo der Blickvektor die gedachte Projektionsfläche kreuzt. Das hier beschriebene Kalibrierungsverfahren kann jedoch grundsätzlich auch mit mehr als zwei die Blickrichtung der beobachteten Person beschreibenden Parametern oder Koordinaten ge nutzt werden.

Die Korrekturparameter, die ermittelt werden, können im Falle zweier die Blickrichtung kennzeich nenden Koordinaten (X, Y) beispielsweise insgesamt fünf Parameter sein, die die Abweichung des durch das Clustering gebildeten groben Netzes gegenüber einem Referenznetz in Hinblick auf hori zontale Verschiebung, vertikale Verschiebung, horizontale Skalierung, vertikale Skalierung und Dre hung beschreiben.

Das Clustering erfolgt vorzugsweise mittels der folgenden Verfahrensschritte, wobei diese Verfahrens schritte insbesondere vorzugsweise mehrfach durchgeführt werden. Im Rahmen eines ersten Durch gangs bildet dabei das oben genannte feine Netz, welches den erfassten Blickpfad bildet, die Ein gangsdaten. In anschließenden Durchgängen bilden die Zieldaten des vorangegangenen Durchgangs die Eingangsdaten für den nächsten Durchgang.

Beim vorgeschlagenen Clustering zur Ermittlung von Blickpfadbündeln erfolgt in einem ersten Teil schritt ein Neuberechnen des Blickpfades, im weiteren „Resampling“ genannt. Bei diesem Resampling bleibt der Blickpfad, also entweder der durch die Kamera zuvor ermittelte Blickpfad oder ein in einem vorherigen Clustering-Durchgang erzeugter resultierender Blickpfad, im Wesentlichen unverändert, allerdings werden die Knoten neu gesetzt, so dass ihr Abstand auf dem Blickpfad vonei nander nicht mehr von der Geschwindigkeit der Änderung der Blickrichtung abhängt. Insbesondere können die Knoten auf dem Blickpfad in identischem Abstand angeordnet werden. Im Zuge des Resamplings kann gleichzeitig auch eine Glättung des Blickpfades erfolgen.

In einem zweiten Teilschritt des Clusterings wird eine Dichtekarte (Heatmap) erzeugt. Hierbei werden vorzugsweise die Knoten des Blickpfades auf der genannten gedachten Projektionsfläche verwendet. Die Dichtekarte gibt also wieder, wie viele Knoten sich in einem vorzugsweise quadratischen Bereich der gedachten Projektionsfläche relativ zu den anderen quadratischen Bereichen der gedachten Pro jektionsfläche befinden. Die Dichtekarte kann alternativ auch auf Basis der Kanten des Blickpfades erfolgen.

Anschließend wird in einem dritten Teilschritt der resampelte Blickpfad, der im ersten Teilschritt er zeugt worden ist, modifiziert, indem die Knoten oder zumindest ein Teil der Knoten in Richtung eines lokalen Maximums der Dichtekarte verschoben werden, beispielsweise um 10% der Distanz zwischen der Position des Knotens und dem lokalen Maximum.

Ergebnis ist ein modifizierter Blickpfad, der die Zieldaten des Durchgangs darstellt. Dieser modifizierte Blickpfad kann dann verwendet werden, um erneut dem genannten Verfahren mit den drei Verfah rensschritten unterworfen zu werden. Üblicherweise sollte das Clustering mit Resampling, Erstellung einer Dichtekarte und Verlagerung von Knoten zwischen 5- und 400-mal durchgeführt werden, vor zugsweise zwischen 10- und 200-mal.

Beim ersten Durchgang durch das genannte Clustering kann das Resampling gegebenenfalls entfal len, wenn bereits zuvor bei der Erstellung des Blickpfades die Knoten durch in etwa gleich beabstan- dete Blickrichtungen gebildet wurden (s.o.).

Sobald der letzte Clustering-Durchgang abgeschlossen ist, liegt ein resultierender Blickpfad vor, der nur noch wenige unterschiedliche und deutlich voneinander beabstandete Knoten oder Bereiche mit vielen Knoten aufweist. Die zusammengezogenen Knoten sind miteinander durch die Blickpfadbündel häufig genutzter Teilpfade des resultierenden Blickpfades verbunden.

Die Auswertung der ermittelten Blickpfadbündel zur Ableitung der Korrekturparameter erfolgt vor zugsweise durch einen Vergleich mit hinterlegten Referenzwerten, insbesondere durch lineare Opti mierung.

Wie zuvor bereits beschrieben können die Referenzwerte insbesondere ihrerseits ein grobes Refe renznetz aus Kanten und Knoten bilden, das auch als gegeben angesehen wird, wenn die Referenz werte in ein Referenznetz transformiert werden können. Dieses Referenznetz kann mit dem groben Netz aus Teilpfaden des resultierenden Blickpfades nach dem Clustering verglichen werden, insbe sondere mittels der genannten linearen Optimierung. Hierdurch lassen sich die Korrekturparameter ermitteln, mittels derer die ermittelten Blickpfadbündel in die Referenzwerte überführbar sind.

Die mittels des beschriebenen Kalibrierungsverfahrens ermittelten Korrekturparameter gestatten es, diese nach Ermittlung zu verwenden, um die Blickrichtung des Fahrers im kalibrierten Betrieb derart zu normieren, dass sie nachfolgend ausgewertet werden kann. Die beschriebene Kalibrierung, insbesondere mit dem im Detail beschriebenen Clustering-Verfahren, gestattet es, ein vergleichsweise günstiges Kamerasystem zu verwenden, welches das Gesicht der beobachteten Person im Nahinfrarot-Spektralbereich (Wellenlängenbereich: 780 nm bis 1000 nm) erfasst. Üblicherweise reicht genau eine Kamera zur Erzielung ausreichend guter Ergebnisse aus. Die se vergleichsweise geringen Anforderungen an die verwendete Kameratechnik werden durch das be schriebene Kalibrierungsverfahren ermöglicht, da dieses unter anderem durch die Kamera bedingte Ungenauigkeiten durch die Ermittlung der genannten Korrekturparameter kompensiert.

Die Kamera ist bei Einbau in ein Fahrzeug vorzugsweise im Bereich der Armaturentafel, der A-Säule oder oberhalb der Windschutzscheibe positioniert. Aber auch die Integration in eine Brille ist möglich und kann je nach Anwendungsfall von Vorteil sein.

Die Erfindung umfasst auch ein Verfahren zur Auswertung des Verhaltens eines Fahrzeugführers mit tels eines Eye-Tracking-Systems, im Rahmen dessen das beschriebene Kalibrierungsverfahren ange wendet wird.

Die nach erfolgter Kalibrierung mittels des Kamerasystems erfassten Blickrichtungen oder hieraus ermittelte Blickpfade werden mittels der ermittelten Korrekturparameter normiert und können dann durch Vergleich mit Referenzwerten ausgewertet werden, um eine Beurteilung des Verhaltens der beobachteten Person zu gestatten.

Im einfachsten Falle kann die Auswertung der durch die Korrekturparameter normierten Blickrichtun gen dahingehend erfolgen, dass zuverlässig interpretiert wird, wohin die beobachtete Person, insbe sondere der Fahrzeugführer, blickt, also beispielsweise ob er/sie Tacho, Seitenspiegel oder Navigati onsgerät anschaut oder durch die Windschutzscheibe schaut (AOI = Area of Interest).

Von Vorteil ist demgegenüber jedoch eine Auswertung, die auf einer Identifikation des Wechsels zwi schen durch die Person in den Blick genommenen Bereichen basiert (TOI = T ransitions Of Interest).

Ähnlich wie zuvor bei der Kalibrierung wird dabei auf Basis der normierten Blickrichtungen ein nor mierter Blickpfad ermittelt, der den zeitlichen Verlauf der Blickrichtung und ihrer Änderung wieder gibt. Dieser Blickpfad kann insbesondere einen begrenzten jeweils gerade zurückliegenden Zeitraum überspannen, der für die Beurteilung der beobachteten Person, insbesondere des Fahrzeugführers, besonders aussagekräftig ist. So wird es als zweckmäßig angesehen, einen zurückliegenden Zeitraum zwischen 5 Sekunden und 300 Sekunden Länge, insbesondere zwischen 15 Sekunden und 60 Sekun den Länge, auszuwerten.

Für die Auswertung dieses normierten Blickpfades wird vorgeschlagen, das Verfahren gemäß des ein gangs genannten Artikels„SubsMatch 2.0: Scanpath comparison and Classification based on subse- quence frequencies“ zu verwenden. Es wird primär eine Auswertung vorgeschlagen, die wie folgt durchgeführt wird.

Zunächst wird der durch die Korrekturparameter normierte Blickpfad oder ein hieraus abgeleiteter vereinfachter normierter Blickpfad, in Teilabschnitte untergliedert. Diese Teilabschnitte des Blickpfa des umfassen vorzugsweise die Blickrichtungen eines definierten Zeitraums, insbesondere eines Zeit raums zwischen 0,1 Sekunde und 1,0 Sekunde. Die Teilabschnitte überlappen sich dabei vorzugswei se, statt dass sie bündig aneinander anliegen.

Insbesondere vorzugsweise wird nicht unmittelbar der normierte Blickpfad in Teilabschnitte unter gliedert, sondern der genannte vereinfachte normierte Blickpfad. Dieser kann dadurch erzeugt wer den, dass der normierte Blickpfad in Richtung einer durch Referenzdaten definierten Struktur ver schoben wird oder hierauf projiziert wird, so dass die dabei verschobenen Knoten des normierten Blickpfades unmittelbar auf einer Struktur liegen, die durch die Referenzdaten definiert ist. Hierdurch wird erreicht, dass auch die Teilabschnitte auf dieser Struktur liegen und somit die weiteren Auswer tungsschritte vereinfacht sind.

Die weiteren Auswertungsschritte umfassen insbesondere einen Schritt, bei dem Vorkommnisse übereinstimmender oder einander ähnlicher Teilabschnitte gezählt werden. Die hierdurch bestimm ten Werte können als Eingangsgröße eines trainierten maschinellen Lernsystems, beispielsweise einer „Support Vector Machine“, verwendet werden, welches den jeweils spezifischen Zählwerten für ver schiedene Teilabschnitte ein Auswertungsresultat zuordnet.

Ein solches Auswertungsresultat kann je nach Training des maschinellen Lernsystems verschieden geartet sein. So kann ein Rückschluss auf die Tätigkeit der beobachteten Person erfolgen, die an schließend vor dem Hintergrund der aktuellen Straßensituation auf Angemessenheit bewertet wird. Alternativ kann das Auswertungsresultat jedoch auch unmittelbar ein Wert sein, der die Übernahme bereitschaft der beobachteten Person quantifiziert, beispielsweise ein Zeitraum, innerhalb dessen die beobachtete Person, beurteilt anhand des vorausgegangenen Blickpfades, voraussichtlich die Kon trolle über das Fahrzeug wieder übernehmen kann.

Ein solcher Zahlenwert kann dann mit einem korrespondierenden Zeitraum abgeglichen werden, der die autonomen Fahrfunktionen eines Fahrzeugs betrifft und prognostiziert, wie lange ausgehend von der aktuellen Verkehrssituation die autonomen Fahrfunktionen ohne Eingriff des Fahrzeugführers ein sicheres Fahren noch gewährleisten können. Sobald die prognostizierte Übernahmezeit des Fahrzeug führers sich dem genannten sicheren Zeitraum der autonomen Fahrfunktionen nähert oder gar diesen unterschreitet, kann der Fahrzeugführer gewarnt werden, beispielsweise durch eine akustische, hap tische oder optische Warnung.

Die Erfindung betrifft neben den beschriebenen Verfahren auch das Eye-Tracking- System selbst, wel ches mit einem Kamerasystem und einer Auswerteeinheit ausgestattet ist. Diese Auswerteeinheit ist erfindungsgemäß dafür ausgebildet, das oben beschriebene Kalibrierungsverfahren durchzuführen. Vorzugsweise ist die Auswerteeinheit weiter dafür ausgebildet, das beschriebene Verfahren zur Ermitt lung des Verhaltens einer Person auf Basis des kalibrierten Eye-T racking-Systems durchzuführen und bei Bedarf akustische, haptische oder optische Warnhinweise zu geben.

Die Erfindung betrifft weiterhin auch ein Kraftfahrzeug oder ein Flugzeug, welches mit einem solchen Eye-T racking-System ausgerüstet ist. Die Kamera eines solchen Eye-T racking-Systems ist vorzugswei se fest in das Fahrzeug integriert, insbesondere im Bereich der Armaturentafel, der A-Säule oder über der Windschutzscheibe, und auf den Fahrer gerichtet. In einem Flugzeug gilt entsprechendes.

Grundsätzlich kann aber auch ein mobiles System verwendet werden, bei dem die Kamera zur Erfas sung der Augen in eine kopfgebundene Struktur, insbesondere in Art einer Brille, integriert ist. Diese Brille ist dann zusätzlich im Raum zu orten, um in der dargestellten Weise zu gestatten, die Blickrich tung des Fahrers in einer gedachten Projektionsebene zu ermitteln. Die Ortung der Brille im Raum kann durch eine weitere Kamera realisiert werden, die entweder ebenfalls an der Brille vorgesehen ist oder aber fest in das Fahrzeug integriert ist. KURZBESCH REIBUNG DER ZEICHNUNGEN

Weitere Vorteile und Aspekte der Erfindung ergeben sich aus den Ansprüchen und aus der nachfol genden Beschreibung von bevorzugten Ausführungsbeispielen der Erfindung, die nachfolgend an hand der Figuren erläutert sind.

Fig. 1 zeigt den Innenraum eines Personenkraftwagens mitsamt Eye-Tracking-System sowie den Kopf des Fahrzeugführers und typische Blickvektoren.

Fig. 2 ist eine auf Fig. 1 aufbauende Darstellung, die die Bestimmung von Blickrichtungen durch den Schnittpunkt der Blickvektoren mit einer gedachten Projektionsfläche verdeutlicht.

Fig. 3 zeigt einen zum Zweck der Kalibrierung ermittelten Blickpfad.

Fig. 4A und 4B zeigen das Resampling eines Abschnitts des ermittelten Blickpfades zum Zwecke eines C l u ste ri n g-Ve rf a h re n ssc h ri ttes.

Fig. 5 zeigt den gesamten resampelten Blickpfad in einem Teilabschnitt der gedachten Projektionsflä che.

Fig. 6 zeigt eine Dichtekarte, die auf Basis des resampelten Blickpfades erstellt wird.

Fig. 7A und 7B zeigen das Clustering anhand derVerlagerung von Knoten des resampelten Blickpfades in Richtung lokaler Maxima sowie den sich dadurch ergebenden modifizierten Blickpfad.

Fig. 8 zeigt die sich nach mehreren Clustering-Schritten ergebenden Blickpfadbündel häufig benutzter Teilpfade des Blickpfades.

Fig. 9 verdeutlicht die Ableitung von Korrekturparametern durch Vergleich der ermittelten Blick pfadbündel mit Referenzwerten.

Fig. 10 zeigt den Fahrzeuginnenraum mitsamt einem vom zuvor kalibrierten Eye-Tracking-System ermittelten Blickpfad und dem hieraus anhand der Korrekturparameter normierten Blickpfad. Fig. 11 zeigt den ermittelten Blickpfad in der gedachten Projektionsfläche sowie die anhand der Refe renzwerte des Systems erstellte Referenzstruktur.

Fig. 12 zeigt den normierten und nachfolgend auf die Referenzstruktur projizierten Blickpfad.

Fig. 13A bis 13D zeigen die Zergliederung des normierten und durch Projektion auf die Referenzstruk tur erzeugten Blickpfades in Teilsegmente zur nachfolgenden Auswertung.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE

Fig. 1 zeigt ein Cockpit eines Personenkraftwagens mit einem Eye-Tracking-System 10, umfassend eine Kamera 12, die derart angebracht ist, dass sie einen Fahrzeugführer 2 und insbesondere seine Augen 3 erfassen kann. Die Kamera 12 ist zu diesem Zweck derart ausgebildet, dass sie unabhängig von der konkreten Größe und Kopfstellung des Fahrzeugführers dessen Augen stets oder zumindest fast immer erfassen kann. Die zur Erfassung des Bildes im Nahinfrarot-Spektralbereich ausgebildete Kamera 12 ist mit einer nur schematisch dargestellten elektronischen Auswerteeinheit 14 verbunden, die zur Auswertung des von der Kamera 12 erfassten Bildes und zur Durchführung der nachfolgend beschriebenen Verfahren ausgebildet ist. Auch wenn in Fig. 1 die Auswerteeinheit 14 als separate Komponente ausgebildet ist, kann sie natürlich stattdessen auch Teil eines Bordcomputers sein.

Die Auswerteeinheit 14 kann insbesondere unmittelbar oder mittelbar mit Signalisierungsmitteln, wie einem Lautsprecher 16, verbunden sein, um im Bedarfsfälle Signale an den Fahrzeugführer 2 geben zu können.

Der Fahrzeugführer 2 nimmt während der Fahrt verschiedene Dinge in den Blick, was in Fig. 1 durch mehrere Blickvektoren 20 verdeutlicht wird. Hierzu zählen neben der vor dem Fahrzeug liegenden Straße 4 auch verschiedene andere fahrzeugeigene Objekte wie der Außenspiegel, der Innenspiegel, das Navigationsgerät oder das Radio, die Instrumente hinter dem Lenkrad oder auch andere Teile des Fahrzeugs wie bspw. der Beifahrersitz.

Dabei ändert sich nicht nur die Stellung der Pupillen, sondern es ändern sich auch die Position und Stellung des Kopfes, was in Fig. 1 jedoch nicht näher dargestellt ist.

Das Eye-Tracking-System 10 nimmt mittels der Kamera 12 durchgängig Bilder des Fahrzeugführers 2 auf und leitet diese weiter an die genannte Auswerteeinheit 14. Diese Auswerteeinheit 14 erkennt den gerade aktuellen Blickvektor 20, wobei sie hierfür die Augenstellung und die Pupillenstellung erfasst. Optisch erfassbare Merkmale, die zu diesem Zweck nutzbar sind, sind allgemein bekannt.

Der jeweils erkannte Blickvektor 20 wird aufgrund einfacher Kameratechnik und Variabilität in der Person und Sitzposition des Fahrers nicht absolut fehlerfrei erkannt. Dies ist aufgrund des im Weiteren beschriebenen Kalibrierungsverfahrens jedoch kaum erheblich.

Die Auswerteeinheit 14 leitet aus den Blickvektoren 20, die beispielsweise durch drei Koordinaten und zwei Winkel beschrieben sein können, Blickrichtungen 22 ab, die im Falle des Ausführungsbeispiels der Erfindung durch den Schnittpunkt zwischen dem Blickvektor 20 mit einer gedachten Projektions fläche 30 gebildet werden und somit in Form zweier Koordinaten vorliegen. Diese zwei Koordinaten (X, Y) dienen in diesem konkreten Ausführungsbeispiel der weiteren Verarbeitung.

Zwar ist diese Form der Ermittlung von Blickrichtungen 22 nicht fehlerfrei, da eine so ermittelte Blick richtung sich bei geänderter Kopfposition des Fahrzeugführers 2 identisch aus unterschiedlichen Blickvektoren 20 ergeben könnte. Da der Kopf des Fahrzeugführers 2 jedoch in der Praxis nur wenig nach oben und unten bzw. nach rechts und links verlagert wird, spielt diese Ungenauigkeit in der Pra xis keine Rolle.

Der zeitliche Verlauf der Blickrichtungen 22 führt zu dem in der gedachten Projektionsfläche 30 der Fig. 2 dargestellten Blickpfad 24.

Dieser Blickpfad 24 bildet den Ausgangspunkt für die Kalibrierung des Eye-T racking-Systems. Das Eye- T racking-System 10 kann hierfür beispielsweise zum Fahrtantritt die Blickrichtung 22 über einen defi nierten Zeitraum von einigen Minuten beobachten und den Blickpfad 24 hieraus ermitteln. Dabei wird die Blickrichtung vorzugsweise in fester Frequenz ermittelt, beispielsweise mit einer Frequenz von 50 Hz.

Fig. 3 zeigt den ermittelten Blickpfad 24 auf der gedachten Projektionsfläche 30 und einen im Weite ren näher betrachteten Teilbereich 32. Der hier dargestellte exemplarische Blickpfad 24 ist gegenüber einem realen Blickpfad, der über einige Minuten ermittelt wurde, zum Zwecke der besseren Erfass- barkeit im Rahmen dieser Beschreibung vereinfacht. Dennoch zeigt er, dass der Blickpfad 24 übli cherweise erkennbar besonders häufig benutzte Teilabschnitte aufweist, die jedoch naturgemäß nicht einen exakt gleichen Verlauf aufweisen. Ausgehend von diesem ermittelten Blickpfad erfolgt anschließend ein Schritt des Clusterings, also eine Vereinfachung des Blickpfades durch Zusammenfassen oder Zusammenführen von ähnlichem. Vorliegend geschieht das mittels des Ablaufs, der den Figuren 4A bis 7 zu entnehmen ist.

Im ersten Schritte des Clusterings, der in den Fig. 4A und 4B verdeutlicht ist, werden die aufgrund der ursprünglich variablen Geschwindigkeit der Blickrichtungsänderung ebenfalls variabel beabstandete Knoten 25 des Blickpfades durch ein Resampling neu gesetzt. Bereiche, auf die der Fahrzeugführer 2 seinen Blick lange gerichtet hat, ohne dabei die Blickrichtung 20 wesentlich zu verändern, erfahren hierdurch gegebenenfalls eine Vereinfachung. Fig. 4B zeigt einen Teilabschnitt des resampelten Blickpfades 24‘.

Fig. 5 zeigt den gesamten Blickpfad 24‘ im Teilbereich 32 nach dem Resampling.

Im zweiten Schritt wird eine Dichtekarte 40 (Fleatmap) erzeugt. Flierzu wird vorliegend die gedachte Projektionsfläche 30 in quadratische Teilbereiche untergliedert. Die Anzahl der durch das vorherige Resampling neu gesetzten Knoten 25‘, die sich in einem solchen quadratischen Teilbereich befinden, bestimmt die relative Gewichtung des Teilbereichs gegenüber den anderen Teilbereichen. Die in Fig. 6 dargestellte Dichtekarte stellt dabei eine grobe Vereinfachung dar, da hier die Zahl der Teilbereiche recht gering ist. In der Praxis ist es von Vorteil, eine Dichtekarte mit höherer Auflösung zu erstellen. Auch ist die Unterscheidung von nur fünf verschiedenen Gewichtungen in Fig. 5 eine Vereinfachung gegenüber der Praxis.

Aus der Dichtekarte 40 ergeben sich lokale Maxima. Wie in den Figuren 7A und 7B dargestellt, erfolgt nach Erzeugung der Dichtekarte 40 eine Verschiebung der Knoten 25‘ des Blickpfades. Diese werden in Richtung eines lokalen Maximums verschoben, wobei auch Alternativen denkbar sind, bei denen die Knoten in gewichteter Art und Weise durch mehrere lokale Maxima bei der Verschiebung beeinflusst werden. Die verschobenen Knoten 25“ sind in den Fig. 7A und 7B als nicht ausgefüllte Kreise darge stellt. Dies definieren einen modifizierten Blickpfad 24“, der in Fig. 7B dargestellt ist.

Es ist zu ersehen, dass die verschobenen Knoten 25“ und Kanten näher zusammengerückt sind und somit beginnend gebündelt werden.

Die genannten Schritte des Clusterings, also das Resampling, die Erzeugung der Dichtekarte 40 und die Verlagerung der Knoten 25‘ in Richtung mindestens eines lokalen Maximums, erfolgt vorzugsweise mehrfach, wobei eine Anzahl von Durchläufen zwischen 10 und 200 als insbesondere zweckmäßig angesehen wird.

Es ergibt sich hierdurch eine Struktur ähnlich jener, die in Fig. 8 dargestellt ist. Diese Struktur besteht nur noch aus vergleichsweise wenig unterschiedlichen Knoten. Die Teilabschnitte des Blickpfades sind in dieser Struktur quasi gebündelt, bilden also die dargestellten Blickpfadbündel 26. Die Strich stärke in Fig. 7 spiegelt wieder, wie viele der jeweiligen Teilabschnitte im modifizierten Blickpfad in den jeweiligen Blickpfadbündeln 26 enthalten sind.

Die Blickpfadbündel-Struktur der Fig. 8 wird verwendet, um aus ihren Unterschieden zu Referenzwer ten, die vorliegend eine Referenzstruktur 28 bilden, Korrekturparameter abzuleiten. In Fig. 9 sind die Blickpfadbündel 26 der Fig. 7 gestrichelt dargestellt. Weiterhin in Fig. 9 dargestellt ist die aus den Re ferenzwerten gebildete Referenzstruktur 28.

Diese Strukturen, das Blickpfadbündel 26 und die Referenzstruktur 28, oder alternativ auf Basis dieser Strukturen erzeugte Dichtekarten, werden anschließend genutzt, um mittels linearer Optimierung die Korrekturparameter zu ermitteln. Im vorliegenden Fall handelt es sich um insgesamt fünf Korrektur parameter, die die Verschiebung und die Stauchung / Dehnung in horizontaler und vertikaler Richtung sowie die Drehung um einen Normalenvektor auf der gedachten Projektionsfläche 30 repräsentieren. Auf die Blickpfadbündel 26 in Form von Verschiebungen, Stauchungen/Dehnungen und Drehung an gewendet, führen diese Korrekturparameter zur Überführung zur Referenzstruktur 28.

Nach Ermittlung der Korrekturparameter kann das Eye-Tracking-System 10 nachfolgend erfasste Blickrichtungen 122 oder Blickpfade 124 mittels dieses Korrekturparameter normieren, also die Blick richtungen 122 derart umrechnen, dass sie zur weiteren Verarbeitung geeignet sind. Dieser nachfol gende Betrieb des durch die Ermittlung der Korrekturparameter kalibrierten Eye-Tracking-Systems 10 kann insbesondere dem Zweck dienen, die Blickrichtung des Fahrzeugführers 2 dahingehend auszu werten, dass seine Konzentration auf das Verkehrsgeschehen bewertet wird. Insbesondere kann durch die Auswertung im Falle eines teilautonomen Fährbetriebs des Fahrzeugs abgeschätzt werden, wie lange der Fahrzeugführer 2 voraussichtlich ausgehend von einer beispielsweise akustischen Sig nalisierung benötigen wird, bis er die Kontrolle über das Fahrzeug wieder übernehmen kann.

Die einfachste Art der Weiterverarbeitung von mit dem kalibrierten Eye-Tracking-System erfassten Blickrichtungen liegt darin, sicher zu ermitteln, wo der Fahrer gegenwärtig hinschaut, beispielsweise auf das Verkehrsgeschehen vor dem Fahrzeug oder im Rückspiegel, oder aber beispielsweise auf In strumente des Fahrzeugs oder ein Multimedia-System oder dergleichen. Die Positionen dieser Kom ponenten im Fahrzeug sind bekannt (AOI = Areas of Interest) und die Blickrichtungen des Fahrzeug führers 2 können aufgrund der vorherigen Kalibrierung zuverlässig zugeordnet werden.

Insbesondere von Vorteil ist es, wenn im kalibrierten Betrieb die Auswertung der Blickrichtung 122 des Fahrzeugführers 2 und ihres zeitlichen Verlaufs in der im eingangs genannten Artikel„SubsMatch 2.0: Scanpath comparison and Classification based on subsequence frequencies“ beschriebenen Weise entsprechend erfolgt.

Dies bedeutet, dass der im kalibrierten Betrieb erfasste Blickpfad in Teilabschnitte 27 zerlegt wird, die im oben referenzierten Artikel als„n-grams“ bezeichnet werden. Bei diesen Teilabschnitten 27 han delt es sich um Teilabschnitte 27 des Blickpfades 124, die üblicherweise zwischen 0,1 Sekunde und 1,0 Sekunde repräsentieren. Sie eignen sich sehr gut als Eingangsgröße eines trainierten maschinellen Lernsystems. Ein solches trainiertes maschinelles Lernsystem kann sowohl für eine Auswertung ge nutzt werden, deren Zielinformation eine Bestimmung der Tätigkeit des Fahrers ist. Sie kann aber insbesondere auch ohne Ermittlung von Zwischenwerten die Tätigkeit betreffend eine unmittelbare Beurteilung als Zielinformation haben, ob der Fahrzeugführer zur Übernahme der Fahrzeugkontrolle aus einem autonomen Fahrmodus bereit ist bzw. welche Zeitdauer bis zur Übernahmebereitschaft zu erwarten ist.

Die Fig. 10 bis 13D verdeutlichen ein solches Verfahren.

Fig. 10 zeigt die Fahrsituation. Der Blickvektor 20 des Fahrers 2 wird durch das kalibrierte Eye- Tracking-System 10 erfasst und sein Schnittpunkt mit der gedachten Projektionsfläche 30 als Blick richtung 22 zur Weiterverarbeitung zur Verfügung gestellt. Die Blickrichtung 22 wird mit einer Fre quenz von beispielsweise 50 Hz ermittelt. Die Sequenz der Blickrichtungen 22 bildet den Blickpfad 24.

Die während der Kalibrierung erfassten Korrekturparameter werden genutzt, um den erfasste Blick pfad 24 in einen normierten Blickpfad 124 umzuwandeln. Dieser ist in Fig. 10 gepunktet dargestellt.

Zum Zwecke der Auswertung wird dieser normierte Blickpfad 124 nun auf die Referenzstruktur 28 projiziert und bildet somit einen vereinfachten normierten Blickpfad 124‘. Der so geänderte verein fachte Blickpfad 124‘ ist in Fig. 12 dargestellt. Dieser Blickpfad 124‘ wird nun in die genannten Teilab- schnitte 27 umgewandelt, die in den Fig. 13A bis 13D durch eine durchgezogene Hervorhebung darge stellt sind.

Die Teilabschnitte 27 stellen also Teilabschnitte des vereinfachten normierten Blickpfades 124“ dar, wobei es typischerweise, jedoch nicht zwingend, Teilabschnitte 27 übereinstimmender Zeitdauer sind. Eine solche Zeitdauer kann beispielsweise zwischen 0,1 Sekunde und 1,0 Sekunde betragen.

Wie anhand der Fig. 13A bis 13D zu ersehen ist, überlappen die Teilabschnitte 27 hierbei.

Zu Bewertung des Fahrzeugführers 2 und seiner Übernahmebereitschaft kann beispielsweise ein normierter Blickpfad 124, der 15 Sekunden repräsentiert, in der oben skizzierten Weise durch die Re- ferenzstrukur 28 vereinfacht werden, so dass er den vereinfachten Blickpfad 124‘ bildet, und dann in 900 überlappende Teilabschnitte 27 von 0,1 Sekunde Länge aufgegliedert werden.

Diese 900 Teilabschnitte 27 werden dahingehend ausgewertet, dass die Anzahl jeweils typgleicher Teilabschnitte 27 gezählt wird und die ermittelten Werte mittels eines trainierten maschinellen Lern systems ausgewertet werden. Hierdurch kann eine Abschätzung darüber erzeugt werden, wie lange der Fahrzeugführer 2 voraussichtlich benötigen wird, um die Kontrolle über das Fahrzeug wieder zu übernehmen.

Die zwei hier unterschiedenen Phasen des Betriebs, die einleitende Phase der Kalibrierung (Fig. 1 bis 9) und die nachfolgende Phase der Auswertung (Fig. 10 bis 13), müssen nicht klar voneinander abge grenzt sein. Auch ist es möglich, dass die Auswertung der Blickrichtungen und gegebenenfalls des sich ergebenden Blickpfades bereits während der Phase der Kalibrierung erfolgt, entweder ohne Korrek turparameter oder mit jenen, die bei der letzten Fahrt des Fahrzeugführer oder einer anderen Person ermittelt wurden.

Weiterhin kann die Kalibrierung auch wiederholt werden oder es können die Korrekturparameter im Rahmen einer durchgängigen Kalibrierung laufend aktualisiert werden, beispielsweise auf Basis des Blickpfades der jeweils vorherigen 60 Sekunden.