Verfahren und Vorrichtung zum Lokalisieren eines Kopfes eines

Fahrzeuginsassen

Stand der Technik

Die Erfindung geht aus von einer Vorrichtung oder einem Verfahren nach Gattung der unabhängigen Ansprüche. Gegenstand der vorliegenden Erfindung ist auch ein Computerprogramm.

Die Kopforientierung eines Fahrers eines Fahrzeugs spielt eine wichtige Rolle für Sicherheits- und Komfortfunktionen. Beispielsweise kann anhand der

Kopforientierung eine Spurwechselabsicht des Fahrers vorausgesagt werden. Ferner kann die Kopforientierung als wichtiger Parameter zur visuellen

Einschätzung einer Aufmerksamkeit oder einer Müdigkeit des Fahrers verwendet werden.

Es sind verschiedene Verfahren zur Kopfposenschätzung bekannt,

beispielsweise 2-D-bildbasierte Verfahren oder Verfahren, bei denen eine Kopfpose mithilfe von Tiefendaten in Echtzeit geschätzt werden kann.

Offenbarung der Erfindung

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Lokalisieren eines Kopfes eines Fahrzeuginsassen, eine Vorrichtung, die dieses Verfahren verwendet, sowie schließlich ein entsprechendes

Computerprogramm gemäß den Hauptansprüchen vorgestellt. Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Vorrichtung möglich.

Es wird ein Verfahren zum Lokalisieren eines Kopfes eines Fahrzeuginsassen vorgestellt, wobei der Fahrzeuginsasse eine Brille trägt, und wobei das Verfahren folgende Schritte umfasst:

Einlesen einer die Brille repräsentierenden Brilleninformation; und

Verarbeiten der Brilleninformation, um den Kopf zu lokalisieren.

Bei dem Fahrzeuginsassen kann es sich um einen Fahrer oder Beifahrer eines Fahrzeugs handeln. Die Brilleninformation kann beispielsweise eine Position oder Lage der Brille repräsentieren. Beispielsweise kann die Brilleninformation verarbeitet werden, um in Abhängigkeit von der Position oder Lage der Brille eine Position oder Lage des Kopfes zu bestimmen.

Der hier vorgestellte Ansatz beruht auf der Erkenntnis, dass mithilfe von Daten bezüglich einer von einem Fahrzeuginsassen getragenen Brille ein Kopf des Fahrzeuginsassen im Fahrzeuginnenraum lokalisiert werden kann. Somit kann der Kopf des Fahrzeuginsassen auch dann genau und zuverlässig lokalisiert werden, wenn das Gesicht des Fahrzeuginsassen teilweise durch die Brille verdeckt ist.

Gemäß einer Ausführungsform kann im Schritt des Einlesens eine Position und zusätzlich oder alternativ eine Lage der Brille als die Brilleninformation eingelesen werden. Unter einer Position der Brille können einen Ort der Brille im Fahrzeuginnenraum repräsentierende Daten verstanden werden. Unter einer Lage der Brille können eine Orientierung der Brille im Fahrzeuginnenraum repräsentierende Daten verstanden werden. Beispielsweise kann die Position oder Lage der Brille unter Verwendung eines dreidimensionalen

Koordinatensystems ermittelt worden sein. Durch diese Ausführungsform wird eine genaue und zuverlässige Lokalisierung des Kopfes in Abhängigkeit von einer Lokalisierung der Brille ermöglicht. Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens zumindest ein fahrzeuginsassenspezifischer Parameter eingelesen werden. Im Schritt des Verarbeitens kann die Brilleninformation unter Verwendung des

fahrzeuginsassenspezifischen Parameters verarbeitet werden. Unter einem fahrzeuginsassenspezifischen Parameter kann beispielsweise ein Parameter verstanden werden, mit dessen Hilfe der Fahrzeuginsasse identifiziert werden kann. Der fahrzeuginsassenspezifische Parameter kann beispielsweise anzeigen, ob der Fahrzeuginsasse Brillenträger ist oder nicht. Das Weiteren kann der fahrzeuginsassenspezifischen Parameter, etwa eine gewohnte oder durchschnittliche Position oder Lage der Brille im Fahrzeuginnenraum, repräsentieren. Durch diese Ausführungsform kann die Genauigkeit beim

Lokalisieren des Kopfes erhöht werden.

Es ist vorteilhaft, wenn im Schritt des Einlesens eine Referenzposition und/oder Referenzlage der Brille als der fahrzeuginsassenspezifische Parameter eingelesen wird. Im Schritt des Verarbeitens kann der Kopf durch Vergleichen der Position und/oder Lage der Brille mit der Referenzposition und/oder

Referenzlage lokalisiert werden. Bei der Referenzposition oder -läge kann es sich beispielsweise um eine gewohnte oder durchschnittliche Position oder Lage der Brille handeln, wenn der Fahrzeuginsassen die Brille im Fahrzeug trägt. Insbesondere kann es sich bei der Referenzposition oder -läge um eine Position oder Lage der Brille handeln, die einer Position oder Lage des Kopfes bei ausreichender Wachsamkeit oder Aufmerksamkeit des Fahrzeuginsassen entspricht. Durch diese Ausführungsform kann der Kopf mit geringem

Rechenaufwand zuverlässig und genau lokalisiert werden.

Ferner ist es von Vorteil, wenn im Schritt des Verarbeitens die Brilleninformation verarbeitet wird, um eine Position und/oder Lage des Kopfes zu bestimmen. Diese Ausführungsform ermöglicht eine eindeutige Lokalisierung des Kopfes.

Gemäß einer weiteren Ausführungsform kann im Schritt des Einlesens eine unter Verwendung zumindest eines Bildes des Fahrzeuginsassen erzeugte Information als die Brilleninformation eingelesen werden. Dadurch wird eine kontinuierliche Erzeugung der Brilleninformation ermöglicht. Das Verfahren kann zudem einen Schritt des Erfassens des Bildes des

Fahrzeuginsassen durch eine Erfassungseinrichtung zum Erfassen des

Fahrzeuginsassen umfassen. Bei der Erfassungseinrichtung kann es sich beispielsweise um eine Kamera zum Überwachen des Fahrzeuginnenraums handeln. Durch diese Ausführungsform kann das Bild des Fahrzeuginsassen erfasst werden.

Des Weiteren kann im Schritt des Einlesens eine unter Verwendung zumindest eines Algorithmus erzeugte Information als die Brilleninformation eingelesen werden. Diese Ausführungsform ermöglicht ein schnelles und effizientes

Erzeugen der Brilleninformation.

Das Verfahren kann ferner einen Schritt des Erzeugens eines eine

Aufmerksamkeit des Fahrzeuginsassen repräsentierenden

Aufmerksamkeitswertes abhängig von einem Ergebnis des Verarbeitens der Brilleninformation umfassen. Zusätzlich oder alternativ kann im Schritt des Erzeugens ein Ansteuersignal zum Ansteuern eines Fahrzeugsteuergeräts abhängig vom Ergebnis des Verarbeitens erzeugt werden. Dadurch wird eine zuverlässige Bestimmung der Aufmerksamkeit des Fahrzeuginsassen oder auch eine zuverlässige Steuerung des Fahrzeugs ermöglicht.

Dieses Verfahren kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware, beispielsweise in einem Steuergerät, implementiert sein.

Der hier vorgestellte Ansatz schafft ferner eine Vorrichtung, die ausgebildet ist, um die Schritte einer Variante eines hier vorgestellten Verfahrens in

entsprechenden Einrichtungen durchzuführen, anzusteuern bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.

Hierzu kann die Vorrichtung zumindest eine Recheneinheit zum Verarbeiten von Signalen oder Daten, zumindest eine Speichereinheit zum Speichern von Signalen oder Daten, zumindest eine Schnittstelle zu einem Sensor oder einem Aktor zum Einlesen von Sensorsignalen von dem Sensor oder zum Ausgeben von Daten- oder Steuersignalen an den Aktor und/oder zumindest eine

Kommunikationsschnittstelle zum Einlesen oder Ausgeben von Daten aufweisen, die in ein Kommunikationsprotokoll eingebettet sind. Die Recheneinheit kann beispielsweise ein Signalprozessor, ein Mikrocontroller oder dergleichen sein, wobei die Speichereinheit ein Flash-Speicher, ein EPROM oder eine

magnetische Speichereinheit sein kann. Die Kommunikationsschnittstelle kann ausgebildet sein, um Daten drahtlos und/oder leitungsgebunden einzulesen oder auszugeben, wobei eine Kommunikationsschnittstelle, die leitungsgebundene Daten einlesen oder ausgeben kann, diese Daten beispielsweise elektrisch oder optisch aus einer entsprechenden Datenübertragungsleitung einlesen oder in eine entsprechende Datenübertragungsleitung ausgeben kann.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.

In einer vorteilhaften Ausgestaltung erfolgt durch die Vorrichtung eine Steuerung eines Fahrerassistenzsystems eines Fahrzeugs. Hierzu kann die Vorrichtung beispielsweise auf Sensorsignale wie etwa Bildsignale zumindest einer Kamera zum Überwachen des Innenraums des Fahrzeugs, insbesondere eines

Kopfbereichs des Fahrzeuginsassen, Umfeldsensorsignale,

Lenkwinkelsensorsignale oder Raddrehzahlsensorsignale zugreifen.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend

beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

Fig. 1 eine schematische Darstellung eines Fahrzeugs mit einer Vorrichtung gemäß einem Ausführungsbeispiel;

Fig. 2 eine schematische Darstellung eines Kopfes eines Fahrzeuginsassen aus Fig. 1;

Fig. 3 eine schematische Darstellung einer Vorrichtung gemäß einem

Ausführungsbeispiel;

Fig. 4 eine schematische Darstellung eines Ablaufs beim Lokalisieren eines Kopfes unter Verwendung einer Vorrichtung gemäß einem Ausführungsbeispiel; und

Fig. 5 ein Ablaufdiagramm eines Verfahrens gemäß einem

Ausführungsbeispiel.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren

dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche

Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.

Fig. 1 zeigt eine schematische Darstellung eines Fahrzeugs 100 mit einer Vorrichtung 102 gemäß einem Ausführungsbeispiel. Das Fahrzeug 100 ist mit einer Erfassungseinrichtung 104 ausgestattet, die ausgebildet ist, um einen Fahrzeuginsassen 106, hier einen Fahrer des Fahrzeugs 100, insbesondere einen Bereich eines Kopfes 108 des Fahrzeuginsassen 106, zu erfassen und ein Bildsignal 110, das zumindest ein beim Erfassen aufgenommenes Bild des Fahrzeuginsassen 106 repräsentiert, an die Vorrichtung 102 zu senden. Bei der Erfassungseinrichtung 104 handelt es sich beispielsweise um eine Kamera zum Überwachen eines Fahrzeuginnenraums des Fahrzeugs 100. Der

Fahrzeuginsasse 106 trägt eine Brille 112. Die Vorrichtung 102 ist ausgebildet, um unter Verwendung des Bildsignals 110 die Brille 112 zu detektieren und abhängig von einem Ergebnis des Detektierens der Brille 112 den Kopf 108 im Fahrzeuginnenraum zu lokalisieren.

Gemäß einem optionalen Ausführungsbeispiel ist die Vorrichtung 102

ausgebildet, um beim Detektieren der Brille 112 eine Position oder Lage der Brille 112 zu ermitteln und in Abhängigkeit von der Position oder Lage der Brille 112 eine Position oder Lage des Kopfes 108 zu ermitteln.

Gemäß einem weiteren optionalen Ausführungsbeispiel ist die Vorrichtung 102 ausgebildet, um abhängig von einem Ergebnis des Lokalisierens des Kopfes 108 ein Ansteuersignal 114 zu erzeugen und an ein Fahrzeugsteuergerät 116 zu senden. Das Fahrzeugsteuergerät 116 ist beispielsweise ausgebildet, um unter Verwendung des Ansteuersignais 114 eine Fahrerassistenzfunktion zum

Unterstützen des Fahrzeuginsassen 106 beim Führen des Fahrzeugs 100 zu steuern. Optional ist die Vorrichtung 102 ausgebildet, um abhängig vom Ergebnis des Lokalisierens einen eine Aufmerksamkeit des Fahrzeuginsassen 106 repräsentierenden Aufmerksamkeitswert 118 zu erzeugen und an das

Fahrzeugsteuergerät 116 zu senden. Hierbei ist das Fahrzeugsteuergerät 116 ausgebildet, um das Fahrzeug 100 unter Verwendung des

Aufmerksamkeitswertes 118 zu steuern.

Fig. 2 zeigt eine schematische Darstellung eines Kopfes 108 eines

Fahrzeuginsassen 106 aus Fig. 1. Bei dem in Fig. 2 gezeigten Kopf 108 handelt es sich beispielsweise um ein durch die Erfassungseinrichtung aufgenommenes Bild des Kopfes 108. Gezeigt ist eine Frontalansicht des Kopfes 108, bei der die Brille 112 zu erkennen ist. Die Vorrichtung ist beispielsweise ausgebildet, um die Position oder Lage der Brille 112 aus dem durch das Bildsignal repräsentierten Bild unter Verwendung eines dreidimensionalen Koordinatensystems zu extrahieren. Hierzu ermittelt die Vorrichtung die Position oder Lage der Brille 112 relativ zu einer x-, y- oder z-Achse. Anhand von x-, y- und z-Koordinaten, die die Position oder Lage der Brille 112 repräsentieren, ermittelt die Vorrichtung x-, y- und z-Koordinaten, die die Position oder Lage des Kopfes 108 repräsentieren.

Fig. 3 zeigt eine schematische Darstellung einer Vorrichtung 102 gemäß einem Ausführungsbeispiel. Bei der Vorrichtung 102 kann es sich um eine vorangehend anhand der Figuren 1 und 2 beschriebene Vorrichtung handeln. Die

Vorrichtung 102 umfasst eine Einleseeinheit 310, die ausgebildet ist, um eine die Brille repräsentierende Brilleninformation 315 einzulesen und an eine

Verarbeitungseinheit 320 weiterzuleiten. Die Verarbeitungseinheit 320 ist ausgebildet, um den Kopf des Fahrzeuginsassen unter Verwendung der Brilleninformation 315 zu lokalisieren und einen ein Ergebnis des Lokalisierens repräsentierenden Lokalisierungswert 325 zu erzeugen. Der

Lokalisierungswert 325 repräsentiert beispielsweise die in Abhängigkeit von der Position oder Lage der Brille ermittelte Position oder Lage des Kopfes.

Gemäß einem Ausführungsbeispiel ist die Einleseeinheit 310 ausgebildet, um ferner das Bildsignal 110 über eine Schnittstelle zu der Erfassungseinrichtung einzulesen und an eine optionale Erzeugungseinheit 330 weiterzuleiten. Die Erzeugungseinheit 330 ist ausgebildet, um unter Verwendung des

Bildsignals 110 die Brilleninformation 315 zu erzeugen. Hierbei liest die

Einleseeinheit 310 die Brilleninformation 315 über die Erzeugungseinheit 330 e Gemäß einem Ausführungsbeispiel ist die Erzeugungseinheit 330 ausgebildet, um die Brilleninformation 315 unter Verwendung zumindest eines Algorithmus aus dem Bildsignal 110 zu extrahieren.

Optional ist die Erzeugungseinheit 330 ausgebildet, um ferner den

Lokalisierungswert 325 von der Verarbeitungseinheit 320 zu empfangen, unter

Verwendung des Lokalisierungswertes 325 das Ansteuersignal 114 oder den Aufmerksamkeitswert 118 zu erzeugen und das Ansteuersignal 114 oder den Aufmerksamkeitswert 118 an eine Schnittstelle zu dem Fahrzeugsteuergerät auszugeben. Gemäß einem weiteren Ausführungsbeispiel dient die Einleseeinheit 310 ferner zum Einlesen zumindest eines fahrzeuginsassenspezifischen Parameters 335. Die Einleseeinheit 310 gibt den Parameter 335 an die Verarbeitungseinheit 320 weiter, wobei die Verarbeitungseinheit 120 ausgebildet ist, um den

Lokalisierungswert 325 ferner unter Verwendung des Parameters 335 zu erzeugen. Der Parameter 335 repräsentiert beispielsweise eine Referenzposition oder Referenzlage der Brille. Unter einer Referenzposition oder -läge kann eine Sollposition oder Solllage der Brille verstanden werden, die beispielsweise einer gewöhnlichen oder durchschnittlichen Position oder Lage der Brille entsprechen kann. In diesem Fall verwendet die Verarbeitungseinheit 320 den Parameter 335, um die Position oder Lage des Kopfes durch Vergleichen der Position oder Lage der Brille mit der Referenzposition oder -läge zu ermitteln. Anhand einer derartigen Brillenorientierungsschätzung kann eine robuste

Kopforientierungsschätzung durchgeführt werden.

Fig. 4 zeigt eine schematische Darstellung eines Ablaufs beim Lokalisieren eines Kopfes unter Verwendung einer Vorrichtung gemäß einem Ausführungsbeispiel, etwa einer Vorrichtung, wie sie vorangehend anhand der Figuren 1 bis 3 beschrieben ist. Hierbei repräsentiert ein Block 402 den Fahrer des Fahrzeugs, ein Block 402 einen Input, ein Block 404 einen Sensor zum Erfassen des

Fahrers, ein Block 406 eine Brillendetektion, ein Block 408 eine

Brillensegmentierung, ein Block 410 eine optionale Fahrer-ID, ein Block 412 zumindest einen optionalen weiteren Parameter, ein Block 414 eine

Kopforientierung, ein Block 416 eine Recheneinheit, ein Block 418 einen Output, ein Block 420 eine Blickrichtung des Fahrers, ein Block 422 ein

Schläfrigkeitslevel des Fahrers, ein Block 424 eine Aufmerksamkeit des Fahrers und ein Block 426 eine Airbageinstellung.

Fig. 5 zeigt ein Ablaufdiagramm eines Verfahrens 500 gemäß einem

Ausführungsbeispiel. Das Verfahren 500 kann beispielsweise im Zusammenhang mit einer vorangehend anhand der Figuren 1 bis 4 beschriebenen Vorrichtung durchgeführt werden. Hierbei wird in einem Schritt 510 die Brilleninformation eingelesen. In einem Schritt 520 wird die Brilleninformation verarbeitet, um den Kopf des Fahrzeuginsassen zu lokalisieren. Die Schritte 510, 520 können fortlaufend durchgeführt werden.

Im Fall starker Verdeckungen des Kopfes kann es schwierig sein, mithilfe bereits vorhandener Algorithmen die Kopforientierung robust zu bestimmen.

Beispielsweise kann eine (Sonnen-) Brille eine aussagekräftige und für eine Kopfposenschätzung wichtige Augenregion stark verdecken. Auch bei zusätzlichen Verdeckungen im Mundbereich kann es schwierig bis unmöglich sein, eine robuste Bestimmung der Kopforientierung durchzuführen.

Mittels des Verfahrens 500 ist es nun möglich, den Fahrer durch mehr Sicherheit und Komfortfunktionen zu unterstützen. Eine robuste Kopforientierung stellt eine Basisvariable für diese Funktionen dar.

Derzeitige Systeme zur Müdigkeitsschätzung basieren in der Regel auf nicht visuellen Parametern, etwa auf einem Lenkwinkel oder auf Daten von

Spurhaltesensoren. Solche Parameter sind in der Signalkette deutlich weiter entfernt als direkt messbare physiologische Veränderungen. Des Weiteren lässt das Lenkverhalten oft keinen eindeutigen Rückschluss auf die Müdigkeit des Fahrers zu. Beispielsweise kann beim Fahren mit Anhänger ein ähnliches Lenkwinkelsignal wie beim Fahren mit Übermüdung erzeugt werden.

Das vorangehend beschriebene Verfahren zur Kopfposenschätzung funktioniert hingegen auch dann, wenn der Fahrer eine Brille oder Sonnenbrille trägt. In diesem Fall sind die Augen des Fahrers verdeckt. Durch die Bestimmung der Kopforientierung anhand der Brillenorientierung kann die Kopforientierung dennoch robust bestimmt werden.

Gemäß einem Ausführungsbeispiel wird die Kopfposition oder -Orientierung mithilfe von 3-D-Daten aus einem Tiefenbild des Fahrers bestimmt. Die Brille wird aus dem Tiefenbild detektiert und segmentiert. Es wird die Orientierung der Brille bestimmt und daraus auf die Kopfposition und -Orientierung geschlossen. Die Lage der Brille gibt eine robuste Kopfposition und -Orientierung wieder.

Hierzu wird der Fahrer von einem Sensor kontinuierlich erfasst. Der Sensor nimmt sowohl 2-D-Nahinfrarotdaten als auch Tiefendaten auf. Aus den erhaltenen Daten wird die Brille detektiert und segmentiert. Diese

Brillensegmentierung kann durch einfache vorhandene Algorithmen

implementiert werden. Die Bestimmung der Position und Orientierung der Brille ist deutlich einfacher als die Bestimmung der Position und Orientierung des Kopfes, da Brillen insbesondere im Tiefenbild spezifische Merkmale wie etwa eine planare Fläche oder erkennbare Kanten aufweisen.

Optional werden über eine vorhandene Personen-ID zusätzliche

personenspezifische Parameter berücksichtigt, etwa eine gewohnte Position oder Orientierung der Brille des Fahrers. Alternativ kann eine durchschnittliche Position oder Orientierung einer Brille genutzt werden. Mithilfe dieser Parameter wird aus der Position oder Orientierung der Brille die Position oder Orientierung des Kopfes robust bestimmt. Optional kann daraus beispielsweise eine

Blickrichtung, ein Schläfrigkeitslevel oder ein Aufmerksamkeitslevel des Fahrers bestimmt werden.

Umfasst ein Ausführungsbeispiel eine„und/oder"-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.