Die Erfindung betrifft ein Verfahren zum Überwachen eines Zustands eines Fahrers eines Fahrzeugs durch eine Kamera in einem Innenraum des Fahrzeugs. Die Erfindung betrifft ferner ein computerlesbares Medium zum Überwachen eines Zustands eines Fahrers eines Fahrzeugs durch eine Kamera in einem Innenraum des Fahrzeugs, ein System zum Überwachen eines Zustands eines Fahrers eines Fahrzeugs durch eine Kamera in einem Innenraum des Fahrzeugs, sowie ein Fahrzeug umfassend das System zum Überwachen eines Zustands eines Fahrers eines Fahrzeugs durch eine Kamera in einem Innenraum des Fahrzeugs.

Aktuelle Fahrzeuge können eine Aufmerksamkeit oder eine Müdigkeit eines Fahrers des Fahrzeugs erkennen. Aus dem Stand der Technik ist beispielsweise bekannt, die Aufmerksamkeit des Fahrers des Fahrzeugs in Abhängigkeit einer Blickrichtung des Fahrers zu erkennen. Weiter ist aus dem Stand der Technik bekannt, eine Müdigkeit des Fahrers anhand eines Augenzustands zu schätzen. Zur Erkennung können Fahrerüberwachungskamerasysteme verwenden werden, die im Bereich eines Lenkrads des Fahrzeugs angeordnet sind. Bei aktuellen Verfahren zum Erkennen der Aufmerksamkeit und der Müdigkeit des Fahrers treten häufig Fehler auf. Beispielsweise ist der Augenzustand kein sicheres Merkmal zur Erkennung von Müdigkeit. Weiter führt ein starrer Blick des Fahrers häufig zu einer falschen Erkennung des Fahrers als aufmerksam.

Es ist daher eine Aufgabe der Erfindung, einen Zustand eines Fahrers eines Fahrzeugs effizienter zu Überwachen. Insbesondere ist eine Aufgabe der Erfindung, eine Müdigkeit und/oder eine Aufmerksamkeit eines Fahrers eines Fahrzeugs effizienter zu erkennen.

Gelöst wird diese Aufgabe durch die Merkmale der unabhängigen Ansprüche. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung ergeben sich aus den abhängigen Ansprüchen.

Gemäß einem ersten Aspekt zeichnet sich die Erfindung aus durch ein Verfahren zum Überwachen eines Zustands eines Fahrers eines Fahrzeugs durch eine Kamera in einem Innenraum des Fahrzeugs. Das Verfahren kann ein computerimplementiertes Verfahren und/oder ein steuergeräteimplementiertes Verfahren sein. Der Zustand eines Fahrers ist vorzugsweise aufmerksam und/oder müde. Das Fahrzeug kann ein Kraftfahrzeug sein. Die Kamera kann eine RGB-Kamera sein.

Das Verfahren umfasst ein Ermitteln eines Blickverhaltens eines Fahrers des Fahrzeugs während einer aktiven Fahrsituation mit dem Fahrzeug durch die Kamera in dem Innenraum des Fahrzeugs. Das Blickverhalten kann eine Blickrichtung, eine Blickdauer, einen Augenzustand, eine Blickfolge, und/oder einen zeitlichen Abstand zwischen Blicken der Blickfolge umfassen. Zusätzlich oder alternativ kann das Blickverhalten von einem oder mehreren zur Verfügung stehenden und/oder aktuell aktiven Fahrerassistenzsystemen abhängig sein. Die aktive Fahrsituation kann beispielsweise ein Geradeausfahren auf einer Straße, beispielsweise einer Autobahn oder einer Landstraße, und/oder ein Fahrmanöver, wie beispielsweise Spurwechsel, Abbiegen, Überholen, Einfahren und Ausfahren von Einfahrten, Ausfahrten, Kreuzungen und/oder Kreisverkehren, Parken, und andere weitere Fahrmanöver umfassen. Das Verfahren umfasst ein Bestimmen einer Soll-Blickfolge des aktiven Fahrsituation. Die Soll-Blickfolge ist vorzugsweise eine Blickfolge, die unter Verwendung eines historischen Blickverhaltens eines Fahrers ermittelt wurde. Zusätzlich oder alternativ kann die Soll-Blickfolge eine vorgegebene Referenzblickfolge der aktiven Fahrsituation sein. Beispielsweise kann die vorgegebene Referenzblickfolge eine minimale Folge von Blicken umfassen, die wenigstens von einem Fahrer des Fahrzeugs ausgeführt werden sollen. Weiter kann die vorgegebene Referenzblickfolge in Abhängigkeit von zur Verfügung stehenden und/oder aktuell aktiven Fahrerassistenzsystemen des Fahrzeugs ermittelt werden.

Das Verfahren umfasst weiter ein Ermitteln einer Ist-Blickfolge während der aktiven Fahrsituation in Abhängigkeit des Blickverhaltens des Fahrers des Fahrzeugs. Die Ist-Blickfolge ist vorzugsweise eine Blickfolge des Fahrers, die während einer aktuellen, aktiven Fahrsituation ermittelt wird. Das Verfahren umfasst weiterhin ein Ermitteln einer Veränderung der Ist- Blickfolge von der Soll-Blickfolge während der aktiven Fahrsituation. Falls die Veränderung der Ist-Blickfolge von der Soll-Blickfolge anzeigt, dass ein zeitlicher Abstand zwischen wenigstens zwei Blicken der Ist-Blickfolge einen vorgegebenen Schwellwert überschreitet, bestimmt das Verfahren den Zustand des Fahrers als müde. Vorteilhafterweise kann das Verfahren effizient einen Zustand eines Fahrers während einer aktiven Fahrsituation überwachen. Im Detail kann das Verfahren durch einen Vergleich von Blickfolgen des Fahrers präziser erkennen, ob der Fahrer des Fahrzeugs müde ist.

Gemäß einer vorteilhaften Ausgestaltung kann die Kamera in dem Innenraum des Fahrzeugs integriert sein und eine uneingeschränkte Sicht auf einen Fahrer, insbesondere auf einen Kopf des Fahrers, des Fahrzeugs ermöglichen, und/oder kann die Kamera in einem Innenspiegel des Fahrzeugs integriert sein. Hiermit kann der Fahrer effizient überwacht werden. Hiermit kann der Fahrer des Fahrzeugs effizient überwacht werden. Die Integration der Kamera in den Innenspiegel des Fahrzeugs ermöglicht eine kostengünstige und einfache Integration der Kamera zum Überwachen des Fahrers des Fahrzeugs.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann die Soll-Blickfolge der aktiven Fahrsituation in Abhängigkeit einer Navigationsaufgabe entlang einer Navigationsroute des Fahrzeugs bestimmt werden, und/oder kann die Soll-Blickfolge der aktiven Fahrsituation in Abhängigkeit einer Bedieninterkation des Fahrers mit einem fahrrelevanten Bedienkomponente des Fahrzeugs bestimmt werden, und/oder kann die Soll-Blickfolge der aktiven Fahrsituation in Abhängigkeit eines Fahrgeschehen bestimmt werden, und/oder kann die Soll-Blickfolge in Abhängigkeit eines Umfeldmodells des Fahrzeugs bestimmt wird. Hiermit kann die Soll- Blickfolge in Abhängigkeit verschiedener Parameter effizient bestimmt werden.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann die Soll-Blickfolge eine fahrerspezifische Soll-Blickfolge der aktiven Fahrsituation sein, und kann die fahrerspezifische Soll-Blickfolge vorzugsweise innerhalb eines vorgegebenen Zeitintervalls unter Verwendung eines historischen Blickverhaltens des Fahrers des Fahrzeugs in der aktiven Fahrsituation gelernt werden. Hiermit kann eine fahrerspezifische Blickfolge effizient ermittelt werden.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann die Soll-Blickfolge eine Folge von Kontrollblicken des Fahrers zum Überwachen des Fahrgeschehens in der aktiven Fahrsituation umfassen, und/oder kann die Soll-Blickfolge einen zeitlichen Abstand zwischen je zwei Blicken der Soll-Blickfolge umfassen. Hiermit kann die Soll-Blickfolge präzise spezifiziert werden.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann die Ist-Blickfolge eine Folge von Kontrollblicken des Fahrers zum Überwachen des Fahrgeschehens während der aktiven Fahrsituation umfassen, und/oder kann die Ist-Blickfolge einen zeitlichen Abstand zwischen je zwei Blicken der Soll-Blickfolge während der aktiven Fahrsituation umfassen. Hiermit kann die Ist-Blickfolge präzise spezifiziert werden.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Verfahren weiterhin ein Bestimmen des Zustands des Fahrers als unaufmerksam umfassen, falls die Veränderung der Ist-Blickfolge von der Soll-Blickfolge ein Verändern und/oder ein Auslassen eines Blicks der Soll-Blickfolge anzeigt. Hiermit kann effizient erkannt werden, dass der Fahrer des Fahrzeugs unaufmerksam ist.

Gemäß einer weiteren, vorteilhaften Ausgestaltung kann das Verfahren weiterhin ein Bestimmen des Zustands des Fahrers als müde und unaufmerksam umfassen, falls die Veränderung der Ist-Blickfolge von der Soll-Blickfolge anzeigt, dass ein zeitlicher Abstand zwischen wenigstens zwei Blicken der Ist-Blickfolge einen vorgegebenen Schwellwert überschreitet, und die Veränderung der Ist-Blickfolge von der Soll-Blickfolge ein Verändern und/oder ein Auslassen eines Blicks der Soll-Blickfolge anzeigt. Hiermit kann effizient erkannt werden, dass der Fahrer des Fahrzeugs unaufmerksam und müde ist.

Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein computerlesbares Medium zum Überwachen eines Zustands eines Fahrers eines Fahrzeugs durch eine Kamera in einem Innenraum des Fahrzeugs, wobei das computerlesbare Medium Instruktionen umfasst, die, wenn ausgeführt auf einem Steuergerät oder einem Computer, das oben beschriebene Verfahren ausführen.

Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein System zum Überwachen eines Zustands eines Fahrers eines Fahrzeugs durch eine Kamera in einem Innenraum des Fahrzeugs, wobei das System dazu ausgebildet ist, das oben beschriebene Verfahren auszuführen.

Gemäß einem weiteren Aspekt zeichnet sich die Erfindung aus durch ein Fahrzeug umfassend das oben beschriebene System zum Überwachen eines Zustands eines Fahrers eines Fahrzeugs durch eine Kamera in einem Innenraum des Fahrzeugs. Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Alle vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder aber in Alleinstellung verwendbar.

Im Folgenden wird anhand der beigefügten Zeichnungen ein bevorzugtes Ausführungsbeispiel der Erfindung beschrieben. Daraus ergeben sich weitere Details, bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung. Im Einzelnen zeigt schematisch

Fig. 1 ein beispielhaftes Verfahren zum Überwachen eines Zustands eines Fahrers eines Fahrzeugs durch eine Kamera in einem Innenraum des Fahrzeugs.

Im Detail zeigt Fig. 1 ein beispielhaftes Verfahren 100 zum Überwachen eines Zustands eines Fahrers eines Fahrzeugs durch eine Kamera in einem Innenraum des Fahrzeugs. Das Verfahren 100 kann ein Blickverhalten des Fahrers des Fahrzeugs während einer aktive Fahrsituation mit dem Fahrzeug durch die Kamera in dem Innenraum des Fahrzeugs ermitteln 102. Das Verfahren 100 kann den Fahrer des Fahrzeugs kontinuierlich durch die Kamera überwachen. Die Kamera kann eine Blickrichtung und einen Augenzustand des Fahrers beobachten. Über einen längeren Zeitraum, beispielsweise 5, 10, 20, 30, 40, ... Minuten, kann das Blickverhalten des Fahrers während der aktiven Fahrsituation durch die Kamera beobachtet werden. Während dieses Zeitraums können Regelmäßigkeiten im Blickverhalten erkannt werden und Zeitspannen zwischen Blicken einer Blickfolge und eine Dauer von Blicken des Fahrers gemessen werden.

Das Verfahren 102 kann eine Soll-Blickfolge der aktiven Fahrsituation bestimmen 104. Im Detail kann die Soll-Blickfolge einer Regelmäßigkeit von Blicken im Blickverhalten des Fahrers über einen längeren Zeitraum entsprechen, die der Fahrer in der aktiven Fahrsituation in einem wachen und aufmerksamen Zustand zeigt. Die Soll-Blickfolge kann eine regelmäßige Folge von Kontrollblicken des Fahrers umfassen. Beispielsweise kann die Soll-Blickfolge eine regelmäßige Folge von Kontrollblicken in einen Innenspiegel, in einen oder mehrere Außenspiegel, auf eine Geschwindigkeitsanzeige, durch eine Frontscheibe, einen Schulterblick, und/oder durch eine oder mehrere Seitenscheiben des Fahrzeugs umfassen. Die Soll-Blickfolge kann in Abhängigkeit einer geplanten Navigationsroute ermittelt werden. Die geplante Navigationsroute kann beispielsweise Abbiegevorgänge umfassen, die der Fahrer ausführen muss, um entlang der geplanten Navigationsroute zu fahren. Ein geplanter Abbiegevorgang der geplanten Navigationsroute kann dazu verwendet werden, um eine Soll-Blickfolge des Fahrers vor Eintreten der aktiven Fahrsituation, nämlich vor Eintreten des Abbiegevorgangs, zu ermitteln. Allgemein kann das Verfahren 100 die Soll-Blickfolge in Abhängigkeit der geplanten Navigationsroute prognostizieren. Zusätzlich oder alternativ kann ein Setzen eines Fahrtrichtungsanzeigers durch den Fahrer verwendet werden, um die Soll-Blickfolge zu ermitteln.

Weiter kann das Verfahren 100 eine Ist-Blickfolge während der aktiven Fahrsituation in Abhängigkeit des Blickverhaltens des Fahrers des Fahrzeugs ermitteln 106. Weiterhin kann das Verfahren 100 eine Veränderung der Ist-Blickfolge von der Soll-Blickfolge während der aktiven Fahrsituation ermitteln 108. Die Veränderung der Ist-Blickfolge von der Soll-Blickfolge kann beispielsweise eine Veränderung von Blicken in der Ist-Blickfolge im Vergleich zu der Soll- Blickfolge umfassen, und/oder eine zeitliche Veränderung von Blicken und/oder Abständen zwischen Blicken der Ist-Blickfolge von der Soll-Blickfolge. Die Veränderung kann als Indikator verwendet werden, um auf Zustand der Müdigkeit und/oder der Unaufmerksamkeit des Fahrers zu schließen.

Das Verfahren 100 kann schließlich den Zustand des Fahrers in Abhängigkeit der ermittelten Veränderung der Ist-Blickfolge von der Soll-Blickfolge während der aktiven Fahrsituation bestimmen 110. Das Verfahren 100 kann den Zustand des Fahrers als müde bestimmen, falls die Veränderung der Ist-Blickfolge von der Soll-Blickfolge anzeigt, dass ein zeitlicher Abstand zwischen wenigstens zwei Blicken der Ist-Blickfolge einen vorgegebenen Schwellwert überschreitet. Das Verfahren 100 kann den Zustand des Fahrers als unaufmerksam bestimmen, falls die Veränderung der Ist-Blickfolge von der Soll-Blickfolge ein Verändern und/oder ein Auslassen eines Blicks der Soll-Blickfolge anzeigt. Und das Verfahren 100 kann den Zustand des Fahrers als müde und unaufmerksam bestimmen, falls die Veränderung der Ist-Blickfolge von der Soll-Blickfolge anzeigt, dass ein zeitlicher Abstand zwischen wenigstens zwei Blicken der Ist-Blickfolge einen vorgegebenen Schwellwert überschreitet, und die Veränderung der Ist- Blickfolge von der Soll-Blickfolge ein Verändern und/oder ein Auslassen eines Blicks der Soll- Blickfolge anzeigt. Vorteilhafterweise kann das Verfahren effizient den Zustand des Fahrers als müde und/oder unaufmerksam bestimmen und somit den Zustand des Fahrers effizient überwachen. Bezugszeichenliste

100 Verfahren

102 Ermitteln eines Blickverhaltens eines Fahrers des Fahrzeugs während einer aktiven Fahrsituation

104 Bestimmen einer Soll-Blickfolge der aktiven Fahrsituation

106 Ermitteln einer Ist-Blickfolge während der aktiven Fahrsituation

108 Ermitteln einer Veränderung der Ist-Blickfolge von der Soll-Blickfolge

110 Bestimmen des Zustands des Fahrers als müde