Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR MONITORING AT LEAST ONE VEHICLE OCCUPANT, AND METHOD FOR OPERATING AT LEAST ONE ASSISTANCE DEVICE
Document Type and Number:
WIPO Patent Application WO/2012/139619
Kind Code:
A1
Abstract:
The invention relates to a method and a device for monitoring at least one vehicle occupant (2) in a vehicle (1), wherein images of the vehicle occupant (2) are recorded by means of at least one imaging unit (3) and are evaluated by means of an image processor. According to the invention, at least one vital parameter of the vehicle occupant (2) is determined by the evaluation of the recorded images. The invention further relates to a method for operating at least one assistance device of a vehicle (1).

Inventors:
WEIDL GALIA (DE)
HERRTWICH RALF (DE)
SCHRAUF MICHAEL (DE)
Application Number:
PCT/EP2011/006209
Publication Date:
October 18, 2012
Filing Date:
December 09, 2011
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
DAIMLER AG (DE)
WEIDL GALIA (DE)
HERRTWICH RALF (DE)
SCHRAUF MICHAEL (DE)
International Classes:
A61B5/18; A61B5/024; B60K28/02; B60R25/04; G06K9/00
Foreign References:
US20090231145A12009-09-17
US20080294017A12008-11-27
US5729619A1998-03-17
US20100070988A12010-03-18
EP1182089B12005-03-16
DE102009016936A12009-11-19
Other References:
VON MING-ZHER POH; DANIEL J. MCDUFF; ROSALIND W. PICARD: "Non-contact, automated cardiac pulse measurements using video imaging and blind source separation", OPT. EXPRESS, vol. 18, 2010, pages 10762 - 10774
Download PDF:
Claims:
Patentansprüche

1. Verfahren zur Überwachung zumindest eines Fahrzeuginsassen (2) in einem

Fahrzeug (1 ), wobei mittels zumindest einer Bilderfassungseinheit (3) Bilder des Fahrzeuginsassen (2) erfasst und mittels einer Bildverarbeitungseinheit ausgewertet werden,

dadurch gekennzeichnet, dass durch die Bildauswertung der erfassten Bilder zumindest ein Vitalparameter des Fahrzeuginsassen (2) ermittelt wird.

2. Verfahren nach Anspruch 1 ,

dadurch gekennzeichnet, dass als Vitalparameter eine Pulsfrequenz und/oder eine Atemfrequenz und/oder eine Pumpleistung des Herzens und/oder ein Blutdruck und/oder eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen (2) und/oder autonome Körperfunktionen des Fahrzeuginsassen (2) ermittelt werden.

3. Verfahren nach Anspruch 1 oder 2,

dadurch gekennzeichnet, dass der zumindest eine Vitalparameter durch eine Erfassung eines optischen Absorptionswertes und/oder eines Intensitätswertes reflektierten Lichts eines Hautbereiches des Fahrzeuginsassen (2) und/oder durch eine Ermittlung einer Änderung dieses optischen Absorptionswertes und/oder dieses Intensitätswertes ermittelt wird.

4. Verfahren nach einem der Ansprüche 1 bis 3,

dadurch gekennzeichnet, dass während der Bildverarbeitung zumindest ein zur Bildauswertung geeigneter Bereich in jedem der Bilder gesucht wird und nur dieser Bereich ausgewertet wird.

5. Verfahren nach Anspruch 4,

dadurch gekennzeichnet, dass als zur Bildauswertung geeigneter Bereich ein Bereich der Bilder gesucht und ausgewertet wird, welcher das Gesicht des Fahrzeuginsassen (2) beinhaltet.

6. Verfahren nach Anspruch 4 oder 5,

dadurch gekennzeichnet, dass als Bilder des Fahrzeuginsassen (2) Farbbilder erfasst werden, wobei der zur Bildauswertung geeignete Bereich der Bilder in einzelne Farbkanäle aufgespalten wird und zur Ermittlung des zumindest einen Vitalparameters zumindest ein Farbkanal ausgewertet wird.

7. Verfahren nach Anspruch 6,

dadurch gekennzeichnet, dass mittels schneller Fourier-Transformation eine spektrale Leistungsdichte des Farbkanals des zur Bildauswertung geeigneten Bereichs ermittelt wird.

8. Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen (2) in einem Fahrzeug (1), wobei mittels zumindest einer Bilderfassungseinheit (3) Bilder des Fahrzeuginsassen (2) erfassbar und mittels einer Bildverarbeitungseinheit auswertbar sind,

dadurch gekennzeichnet, dass mittels der Bilderfassungseinheit (3) durch

Bildauswertung der erfassten Bilder zumindest ein Vitalparameter des

Fahrzeuginsassen (2) ermittelbar ist.

9. Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs (1) unter Verwendung eines Verfahrens nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass zumindest eine Funktion der Assistenzvorrichtung aktiviert wird, wenn ein ermittelter Wert eines Vitalparameters von einem vorgegebenen Wert oder Wertebereich für diesen Vitalparameter abweicht.

10. Verfahren nach Anspruch 9,

dadurch gekennzeichnet, dass als Funktion der Assistenzvorrichtung ein Eingriff in eine Lenkvorrichtung, Bremsvorrichtung und/oder in einen Antriebsstrang des Fahrzeugs (1) und/oder eine optische, akustische und/oder haptische Warneinrichtung und/oder zumindest eine Komfortfunktion und/oder eine Notruffunktion aktiviert werden bzw. wird.

Description:
Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung

Die Erfindung betrifft ein Verfahren zur Überwachung zumindest eines Fahrzeuginsassen nach den Merkmalen des Oberbegriffs des Anspruchs 1 , eine Vorrichtung zur

Überwachung zumindest eines Fahrzeuginsassen nach den Merkmalen des Oberbegriffs des Anspruchs 8 und ein Verfahren zum Betrieb zumindest einer Assistenzvorrichtung nach den Merkmalen des Oberbegriffs des Anspruchs 9.

Aus dem Stand der Technik ist, wie in der EP 1 182 089 B2 beschrieben, ein Verfahren zur Warnung eines Fahrers eines Fahrzeugs bekannt. Dabei wird von Fahrzeugsensoren eine kritische Situation erfasst. Des Weiteren wird eine Aufmerksamkeit des Fahrers ermittelt, wobei durch eine Kameravorrichtung ein Bild des Fahrers erfasst wird und das Bild von einer Recheneinheit verarbeitet wird. Aus dem Bild wird eine Aufmerksamkeit des Fahrers ermittelt, wobei durch die Recheneinheit eine Blickrichtung des Fahrers ermittelt wird. Bei einer ermittelten hohen Aufmerksamkeit des Fahrers wird auf die Ausgabe der Warnung verzichtet. Bei mehreren gleichzeitig auszugebenden Warnungen wird eine erste Warnung vor einer kritischen Situation, die in der Blickrichtung des Fahrers liegt, erst nach einer zweiten Warnung vor einer kritischen Situation, die außerhalb der Blickrichtung des Fahrers liegt, ausgegeben.

In der DE 10 2009 016 936 A1 der Anmelderin, deren vollständiger Inhalt hiermit durch Referenz aufgenommen wird, wird ein Fahrassistenzsystem zum Unterstützen eines Fahrers eines Fahrzeugs bei Ermüdung beschrieben. Das Fahrassistenzsystem umfasst ein Müdigkeitserkennungssystem zum Erkennen einer Ermüdung des Fahrers. Bei einer mittels des Müdigkeitserkennungssystems erkannten Ermüdung des Fahrers wird ein Warnblinklicht des Fahrzeugs zum Warnen weiterer Verkehrsteilnehmer aktiviert. Des Weiteren wird in dem Artikel von Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, "Non-contact, automated cardiac pulse measurements using Video imaging and blind source Separation," Opt. Express 18, 10762-10774 (2010), dessen vollständiger Inhalt hiermit durch Referenz aufgenommen wird, ein Verfahren beschrieben, in welchem auf Grundlage mittels niedrigauflösender Videokameras unter normalen

Raumlichtbedingungen erfasster Videosequenzen von Gesichtern von Personen die Herzfrequenz der Personen ermittelt wird. Dabei werden die Helligkeits-Unterschiede des von der Haut reflektierten Lichtes gemessen und ausgewertet. Es werden zunächst die Positionen von Gesichtern im Blickfeld der Kamera identifiziert, das Videobild in diesem Ausschnitt in rote, grüne und blaue Anteile herunter gebrochen und analysiert. Während eines Herzschlags dehnen sich die Blutgefäße - vor allem die Arterien - leicht aus, da der Druck steigt. Diese Ausweitung verursacht einen Anstieg der optischen Absorption und deshalb auch ein Absinken der Intensität des Lichtes, das vom Gesicht reflektiert wird.

Der Erfindung liegt die Aufgabe zugrunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeugs und ein verbessertes Verfahren zum Betrieb zumindest einer

Assistenzvorrichtung eines Fahrzeugs anzugeben.

Die Aufgabe wird erfindungsgemäß durch ein Verfahren zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug mit den Merkmalen des Anspruchs 1 , eine Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug mit den Merkmalen des Anspruchs 8 und ein Verfahren zum Betrieb zumindest einer

Assistenzvorrichtung eines Fahrzeugs mit den Merkmalen des Anspruchs 9 gelöst.

Bevorzugte Ausgestaltungen und Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen angegeben.

In einem Verfahren zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug werden mittels zumindest einer Bilderfassungseinheit Bilder des

Fahrzeuginsassen erfasst und mittels einer Bildverarbeitungseinheit ausgewertet.

Erfindungsgemäß wird durch die Bildauswertung der erfassten Bilder zumindest ein Vitalparameter des Fahrzeuginsassen ermittelt. Dies ermöglicht es, einen Vitalzustand des Fahrzeuginsassen, beispielsweise eines Fahrzeugführers des Fahrzeugs zu beurteilen und bei einer festgestellten Verschlechterung des Vitalzustandes geeignete Maßnahmen einzuleiten, beispielsweise Funktionen einer Assistenzvorrichtung des Fahrzeugs zu aktivieren, um zumindest auf eine potentielle Unfallgefahr hinzuweisen oder gegebenenfalls einen Unfall zu vermeiden, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen zu steigern, um dadurch den Vitalzustand zu verbessern. Als Bilderfassungseinheit dient dabei vorzugsweise eine bereits im Fahrzeug, beispielsweise im Bereich einer Lenksäule installierte und auf den oder die Fahrzeuginsassen, bevorzugt auf einen Fahrzeugführer gerichtete Bilderfassungseinheit. Derartige

Bilderfassungseinheiten sind beispielsweise zur Aufmerksamkeitserkennung des

Fahrzeugsführers im Fahrzeug installiert. Zur Durchführung des Verfahrens ist dabei bereits eine Videokamera mit geringer Auflösung ausreichend, beispielsweise eine so genannte CCD-Kamera. Auch spezielle Beleuchtungseinrichtungen sind nicht

erforderlich, sondern eine im Fahrzeug übliche Umgebungsbeleuchtung, zum Beispiel Tageslicht, ist bereits ausreichend.

Zweckmäßigerweise werden als Vitalparameter insbesondere eine Pulsfrequenz bzw. Herzfrequenz und/oder eine Atemfrequenz und/oder eine Pumpleistung des Herzens und/oder ein Blutdruck und/oder eine Sauerstoffkonzentration im Blut des

Fahrzeuginsassen und/oder autonome Körperfunktionen, insbesondere Funktionen eines autonomen Nervensystems des Fahrzeuginsassen ermittelt. Anhand dieser

Vitalparameter kann der aktuelle Vitalzustand des Fahrzeuginsassen ausreichend genau beurteilt werden, um gegebenenfalls beispielsweise auf eine Unaufmerksamkeit des Fahrzeuginsassen, beispielsweise des Fahrzeugführers, oder auf eine drohende oder bereits eingetretene Bewusstlosigkeit oder schwere gesundheitliche Probleme schließen zu können. Vorteilhafterweise werden die ermittelten Vitalparameter im Fahrzeug aufgezeichnet und gespeichert, so dass sie beispielsweise in einer Notsituation bei einer medizinischen Versorgung zur Verfügung stehen. Sie können beispielsweise zusammen mit einer automatisch eingeleiteten Notrufmeldung an ein Krankenhaus oder eine

Notrufzentrale übermittelt werden, so dass eine schnelle und adäquate Hilfe eingeleitet werden kann.

Vorzugsweise wird der zumindest eine Vitalparameter durch eine Erfassung eines optischen Absorptionswertes und/oder eines Intensitätswertes reflektierten Lichts eines Hautbereiches des Fahrzeuginsassen und/oder durch eine Ermittlung einer Änderung dieses optischen Absorptionswertes und/oder dieses Intensitätswertes ermittelt. Während eines Herzschlags dehnen sich Blutgefäße, insbesondere Arterien, leicht aus, da ein Druck in den Blutgefäßen steigt. Diese Ausweitung verursacht einen Anstieg der optischen Absorption und deshalb auch ein Absinken der Intensität des reflektierten Lichts, das von dem Hautbereich reflektiert wird. Durch Ermittlung von Helligkeitsunterschieden des von dem Hautbereich im Zeitverlauf reflektierten Lichts können Vitalparameter, insbesondere die Pulsfrequenz ermittelt werden. Dieses

Verfahren wird auch Photoplethysmographie genannt. Die Grundlagen des Verfahrens sind beispielsweise in dem Artikel von Ming-Zher Poh, Daniel J. cDuff, and Rosalind W. Picard, "Non-contact, automated cardiac pulse measurements using video imaging and blind source Separation," Opt. Express 18, 10762-10774 (2010) beschrieben, dessen vollständiger Inhalt hiermit durch Referenz aufgenommen wird.

Vorzugsweise wird während der Bildverarbeitung zumindest ein zur Bildauswertung geeigneter Bereich in jedem der Bilder gesucht und nur dieser Bereich ausgewertet. Dieser Bereich ist ein Bereich in den Bildern, in welchem ein ausreichend großer

Hautbereich des Fahrzeuginsassen abgebildet ist. Bevorzugt wird als zur Bildauswertung geeigneter Bereich ein Bereich der Bilder gesucht und ausgewertet, welcher das Gesicht des Fahrzeuginsassen beinhaltet, da in diesem Bereich ein ausreichend großer, auswertbarer Hautbereich zur Verfügung steht und da insbesondere bereits im Fahrzeug installierte Bilderfassungseinheiten, welche beispielsweise zur

Aufmerksamkeitserkennung eingesetzt werden, auf das Gesicht des Fahrzeuginsassen, insbesondere des Fahrzeugführers gerichtet sind. Es können mit dem Verfahren auch gleichzeitig ein oder mehrere Vitalparameter von mehreren Fahrzeuginsassen ermittelt werden, wobei die Bildbereiche ermittelt werden, in welchen sich die Gesichter der Fahrzeuginsassen befinden, und getrennt voneinander ausgewertet werden.

Zweckmäßigerweise werden als Bilder des Fahrzeuginsassen Farbbilder erfasst, insbesondere so genannte RGB-Bilder, wobei der zur Bildauswertung geeignete Bereich der Bilder in einzelne Farbkanäle aufgespalten wird und zur Ermittlung des zumindest einen Vital Parameters zumindest ein Farbkanal ausgewertet wird. Beispielsweise wird der zur Bildauswertung geeignete Bereich in rote, grüne und blaue Anteile, d. h. Farbkanäle unterteilt. Dabei wird vorzugsweise insbesondere der grüne Anteil oder Farbkanal ausgewertet, da bei diesem die Genauigkeit der erzielten Ergebnisse am höchsten ist.

Vorzugsweise wird mittels schneller Fourier-Transformation eine spektrale

Leistungsdichte des Farbkanals des zur Bildauswertung geeigneten Bereichs ermittelt. Anhand der ermittelten spektralen Leistungsdichte können dann die

Helligkeitsunterschieden des von dem Hautbereich im Zeitverlauf reflektierten Lichts und daraus der oder die Vitalparameter ermittelt werden. Die auf diese Weise ermittelten Vitalparameter können auch mit auf andere Weise ermittelten Werten der Fahrzeuginsassen kombiniert werden, um dadurch ein besseres Gesamtbild eines Zustandes der Fahrzeuginsassen zu erhalten. Auf diese Weise kann beispielsweise frühzeitig und mit einer geringen Fehlerquote eine Müdigkeit oder Unaufmerksamkeit des Fahrzeugführers festgestellt werden. So können beispielsweise durch Sensoren in einem Fahrzeugsitz Bewegungen des jeweiligen Fahrzeuginsassen, insbesondere des Fahrzeugführers ermittelt werden, welche auf Unruhe, Stress oder beginnende Müdigkeit hindeuten können. Dies kann beispielsweise mit der ermittelten Pulsfrequenz kombiniert werden, um eine bessere Einschätzung zu erhalten.

Bei einer Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug, insbesondere zur Durchführung des Verfahrens zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug, sind mittels zumindest einer

Bilderfassungseinheit Bilder des Fahrzeuginsassen erfassbar und mittels einer

Bildverarbeitungseinheit auswertbar. Erfindungsgemäß ist mittels der

Bilderfassungseinheit durch Bildauswertung der erfassten Bilder zumindest ein

Vitalparameter des Fahrzeuginsassen ermittelbar. Dies ermöglicht es, wie bereits zum mittels der Vorrichtung durchführbaren Verfahren zur Überwachung zumindest eines Fahrzeuginsassen in einem Fahrzeug beschrieben, einen Vitalzustand des

Fahrzeuginsassen, beispielsweise eines Fahrzeugführers des Fahrzeugs zu beurteilen und bei einer festgestellten Verschlechterung des Vitalzustandes geeignete Maßnahmen einzuleiten, beispielsweise Funktionen einer Assistenzvorrichtung des Fahrzeugs zu aktivieren, um zumindest auf eine potentielle Unfallgefahr hinzuweisen oder

gegebenenfalls einen Unfall zu vermeiden, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen zu steigern, um dadurch den Vitalzustand zu verbessern.

In einem Verfahren zum Betrieb zumindest einer Assistenzvorrichtung eines Fahrzeugs unter Verwendung des Verfahrens zur Überwachung zumindest eines Fahrzeuginsassen wird erfindungsgemäß zumindest eine Funktion der Assistenzvorrichtung des Fahrzeugs aktiviert, wenn ein ermittelter Wert eines Vitalparameters von einem vorgegebenen Wert oder Wertebereich für diesen Vitalparameter abweicht. Auf diese Weise kann die Assistenzvorrichtung bei schlechten oder sich verschlechternden Vitalparametern des oder der Fahrzeuginsassen, insbesondere eines Fahrzeugführers, unterstützend eingreifen, um beispielsweise auf eine potentielle Unfallgefahr hinzuweisen oder gegebenenfalls einen Unfall zu verhindern, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen zu steigern, um dadurch den Vitalzustand zu verbessern.

Vorzugsweise wird als Funktion der Assistenzvorrichtung ein Eingriff in eine

Lenkvorrichtung, Bremsvorrichtung und/oder in einen Antriebsstrang des Fahrzeugs und/oder eine optische, akustische und/oder haptische Wameinrichtung aktiviert. Auf diese Weise kann das Fahrzeug, wie beispielsweise in der DE 10 2009 016 936 A1 der Anmelderin beschrieben, deren vollständiger Inhalt hiermit durch Referenz aufgenommen wird, durch einen entsprechenden Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder den Antriebsstrang des Fahrzeugs zum Beispiel automatisch an einen

Fahrbahnrand gesteuert und dort zum Stillstand gebracht werden. Besonders vorteilhaft kann der Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder in den Antriebsstrang des Fahrzeugs derart erfolgen, dass das Fahrzeug autonom zu einer nächstgelegenen Nothilfeeinrichtung gesteuert wird, beispielsweise zu einer Notaufnahme eines

nächstgelegenen Krankenhauses.

Alternativ oder zusätzlich können Warneinrichtungen des Fahrzeugs aktiviert werden, zum Beispiel äußere Warneinrichtungen in Form einer Warnblinkanlage und/oder einer Hupe des Fahrzeugs, um andere Verkehrsteilnehmer zu warnen, und/oder es können Warneinrichtungen in einem Fahrzeuginnenraum aktiviert werden, um den oder die Fahrzeuginsassen zu warnen, beispielsweise um einen eingeschlafenen Fahrzeugführer zu wecken oder um andere Fahrzeuginsassen auf einen schlechten oder sich

verschlechternden Vitalzustand des Fahrzeugführers hinzuweisen, so dass diese beispielsweise das Lenkrad und/oder eine Handbremse des Fahrzeugs betätigen können, um das Fahrzeug abzubremsen und/oder an den Fahrbahnrand zu steuern.

Alternativ oder zusätzlich wird zweckmäßigerweise als Funktion der Assistenzvorrichtung zumindest eine Komfortfunktion und/oder eine Notruffunktion aktiviert. Durch Aktivierung der Komfortfunktion oder einer Mehrzahl derartiger Komfortfunktionen können

Vitalparameter des oder der Fahrzeuginsassen verbessert werden, beispielsweise wenn der oder die ermittelten Vitalparameter auf eine Ermüdung insbesondere des

Fahrzeugführers hindeuten. Es können dann beispielsweise eine Massagefunktion eines Fahrzeugsitzes, eine Innenraumbelüftung und/oder eine Klimafunktion des Fahrzeugs aktiviert werden. Dabei können zur Erfrischung der Fahrzeuginsassen beispielsweise auch ätherische Öle oder andere erfrischende Mittel in den Innenraum des Fahrzeugs eingeleitet werden. Des Weiteren kann der betreffende Fahrzeuginsasse durch optische, akustische und/oder haptische Mittel auf seine aktuelle Vitalsituation hingewiesen werden, vorzugsweise verbunden mit einer Empfehlung zu geeigneten

Gegenmaßnahmen, beispielsweise zum Einlegen einer Erholungspause, zu regelmäßiger Bewegung und/oder zu einer ausreichenden Flüssigkeitsaufnahme. Der Fahrzeuginsasse kann auf diese Weise beispielsweise auch an eine erforderliche Medikamenteneinnahme erinnert werden. Des Weiteren können, beispielsweise bei einem anhand der

Vitalparameter erkannten erhöhten Stressniveau, den Fahrzeugführer unterstützende und/oder beruhigende Einrichtungen des Fahrzeugs gezielt aktiviert werden,

beispielsweise eine Navigationseinrichtung oder eine Audioanlage des Fahrzeugs, d. h. beispielsweise ein Autoradio.

Zudem können der oder die Fahrzeuginsassen auch vor drohenden Gesundheitsgefahren gewarnt werden, beispielsweise vor drohenden Herz-Kreislauf-Beschwerden. Dabei ist es besonders vorteilhaft, die Vitalparameter des oder der Fahrzeuginsassen, beispielsweise des Fahrzeugführers, über längere Zeiträume, zum Beispiel mehrere Tage oder Wochen, zu ermitteln und deren Verlauf zu analysieren, so dass auch langsame

Verschlechterungen ermittelt werden können. Insbesondere bei älteren und/oder gesundheitlich gefährdeten oder beeinträchtigten Fahrzeuginsassen, insbesondere Fahrzeugführern, ist dadurch deren Sicherheitsempfinden und Wohlbefinden erheblich gesteigert. In einem medizinischen Notfall kann zudem ein automatischer Notruf eingeleitet werden, wobei vorzugsweise die erfassten Vitalparameter an eine

Notrufleitstelle oder ein Krankenhaus übermittelt werden, so dass eine schnelle und adäquate medizinische Hilfe eingeleitet werden kann. Zu diesem Zweck werden vorzugsweise auch aktuelle Positionsdaten des Fahrzeugs ermittelt und mit dem Notruf weitergeleitet.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.

Dabei zeigt:

Fig. 1 eine schematische Darstellung eines Fahrzeugs mit einem

Fahrzeuginsassen und einer auf diesen gerichteten Bilderfassungseinheit. Figur 1 zeigt eine schematische Darstellung eines Fahrzeugs 1 mit einem Fahrzeuginsassen 2 und einer auf diesen gerichteten Bilderfassungseinheit 3 als

Vorrichtung zur Überwachung des Fahrzeuginsassen. In einem Verfahren zur

Überwachung des Fahrzeuginsassen 2 werden mittels der Bilderfassungseinheit 3 Bilder des Fahrzeuginsassen 2 erfasst, beispielsweise in Form einer Videosequenz, und mittels einer nicht näher dargestellten Bildverarbeitungseinheit ausgewertet, um auf diese Weise zumindest einen Vitalparameter des Fahrzeuginsassen 2 zu ermitteln, beispielsweise eine Pulsfrequenz bzw. Herzfrequenz und/oder eine Atemfrequenz und/oder eine

Pumpleistung des Herzens und/oder ein Blutdruck und/oder eine Sauerstoffkonzentration im Blut des Fahrzeuginsassen 2 und/oder autonome Körperfunktionen, insbesondere Funktionen eines autonomen Nervensystems des Fahrzeuginsassen 2. Mittels des oder der ermittelten Vitalparameter des Fahrzeuginsassen 2 können ein Vitalzustand des Fahrzeuginsassen 2 und eine Veränderung des Vitalzustandes beurteilt werden.

Die Bilderfassungseinheit 3 ist vorzugsweise eine bereits im Fahrzeug 1 , beispielsweise, wie hier dargestellt, im Bereich einer Lenksäule installierte und auf den

Fahrzeuginsassen 2, im hier dargestellten Beispiel auf einen Fahrzeugführer gerichtete Bilderfassungseinheit 3. Zur Durchführung des Überwachungsverfahrens ist dabei bereits eine Videokamera mit geringer Auflösung ausreichend, beispielsweise eine so genannte CCD-Kamera. Auch spezielle Beleuchtungseinrichtungen sind nicht erforderlich, sondern eine im Fahrzeug 1 übliche Umgebungsbeleuchtung, zum Beispiel Tageslicht, ist bereits ausreichend.

Der zumindest eine Vitalparameter wird durch eine Erfassung eines optischen

Absorptionswertes und/oder eines Intensitätswertes reflektierten Lichts eines

Hautbereiches des Fahrzeuginsassen 2 und/oder durch eine Ermittlung einer Änderung dieses optischen Absorptionswertes und/oder dieses Intensitätswertes ermittelt. Während eines Herzschlags dehnen sich Blutgefäße, insbesondere Arterien, leicht aus, da ein Druck in den Blutgefäßen steigt. Diese Ausweitung verursacht einen Anstieg der optischen Absorption und deshalb auch ein Absinken der Intensität des reflektierten Lichts, das von dem Hautbereich reflektiert wird. Durch Ermittlung von

Helligkeitsunterschieden des von dem Hautbereich im Zeitverlauf reflektierten Lichts können Vitalparameter des Fahrzeuginsassen 2, insbesondere die Pulsfrequenz bzw. Herzfrequenz ermittelt werden. Dieses Verfahren wird auch Photoplethysmographie genannt. Die Grundlagen des Verfahrens sind beispielsweise in dem Artikel von

Ming-Zher Poh, Daniel J. McDuff, and Rosalind W. Picard, "Non-contact, automated cardiac pulse measurements using video imaging and blind source Separation," Opt. Express 18, 10762-10774 (2010) beschrieben, dessen vollständiger Inhalt hiermit durch Referenz aufgenommen wird.

Während der Bildverarbeitung wird mittels geeigneter Methoden zumindest ein zur Bildauswertung geeigneter Bereich in jedem der Bilder gesucht und nur dieser Bereich wird ausgewertet. Dieser Bereich ist ein Bereich in den Bildern, in welchen ein ausreichend großer Hautbereich des Fahrzeuginsassen 2 abgebildet ist. Bevorzugt wird als zur Bildauswertung geeigneter Bereich ein Bereich der Bilder gesucht und ausgewertet, welcher das Gesicht des Fahrzeuginsassen 2 beinhaltet, da in diesem Bereich ein ausreichend großer, auswertbarer Hautbereich zur Verfügung steht und da insbesondere bereits im Fahrzeug 1 installierte Bilderfassungseinheiten 3, welche beispielsweise zur Aufmerksamkeitserkennung eingesetzt werden, wie auch im hier dargestellten Beispiel auf das Gesicht des Fahrzeuginsassen 2, insbesondere des Fahrzeugführers gerichtet sind.

Das Auffinden derartiger zur Bildauswertung geeigneter Bereiche ist beispielsweise mittels Methoden zur Gesichtserkennung in Bildern möglich. Es können mit dem

Verfahren auch gleichzeitig ein oder mehrere Vitalparameter von mehreren

Fahrzeuginsassen 2 ermittelt werden, wenn mehrere Fahrzeuginsassen 2 von der Bilderfassungseinheit 3 erfasst werden, wobei die Bildbereiche ermittelt werden, in welchen sich die Gesichter der Fahrzeuginsassen 2 befinden, und getrennt voneinander ausgewertet werden.

Als Bilder des Fahrzeuginsassen 2 werden zweckmäßigerweise Farbbilder erfasst, insbesondere so genannte RGB-Bilder, wobei der zur Bildauswertung geeignete Bereich der Bilder in einzelne Farbanteile oder Farbkanäle aufgespalten wird, bei RGB-Bildern in die entsprechenden RGB-Farbkanäle rot, grün und blau, und zur Ermittlung des zumindest einen Vitalparameters zumindest ein Farbkanal ausgewertet wird. Dabei wird vorzugsweise insbesondere der grüne Anteil oder Farbkanal ausgewertet, da bei diesem die Genauigkeit der erzielten Ergebnisse am höchsten ist.

Mittels schneller Fourier-Transformation wird eine spektrale Leistungsdichte des auszuwertenden Farbkanals des zur Bildauswertung geeigneten Bereichs ermittelt. Anhand der ermittelten spektralen Leistungsdichte können dann die Helligkeitsunterschiede des von dem Hautbereich im Zeitverlauf reflektierten Lichts und daraus der oder die Vitalparameter des oder der Fahrzeuginsassen 2 ermittelt werden.

Das Verfahren ist aufgrund der Bilderfassungseinheit 3, welche lediglich eine geringe Auflösung aufweisen muss, sowie aufgrund der Durchführung unter normalen

Umgebungslichtbedingungen, d. h. ohne zusätzliche spezielle Lichtquellen, sehr einfach und kostengünstig im Fahrzeug 1 zu implementieren und durchzuführen. Zudem ist das Verfahren sehr robust gegenüber unterschiedlichen Hautfarben sowie gegenüber

Bewegungen des oder der Fahrzeuginsassen 2 während der Bilderfassung. Die

Ermittlung der Vitalparameter ist dabei ausreichend exakt, um den Vitalzustand des oder der Fahrzeuginsassen 2 sowie eine Veränderung des Vitalzustandes anhand des oder der ermittelten Vitalparameter ausreichend genau bestimmen zu können, so dass ein Vitalzustand, welcher beispielsweise auf eine akute Notsituation hindeutet und

medizinische Hilfe erfordert oder welcher beispielsweise Auswirkungen auf das sichere Führen des Fahrzeugs 1 haben könnte, mit einer hohen Sicherheit erkennbar ist.

Das Überwachungsverfahren bzw. der oder die auf diese Weise ermittelten

Vitalparameter des Fahrzeuginsassen 2, insbesondere des Fahrzeugführers, können in einem Verfahren zum Betrieb zumindest einer Assistenzvorrichtung des Fahrzeugs 1 verwendet werden. Dabei wird zumindest eine Funktion der Assistenzvorrichtung aktiviert, wenn ein ermittelter Wert eines Vitalparameters von einem vorgegebenen Wert oder Wertebereich für diesen Vitalparameter abweicht.

Auf diese Weise kann die Assistenzvorrichtung bei schlechten oder sich

verschlechternden Vitalparametern des oder der Fahrzeuginsassen 2, insbesondere des Fahrzeugführers, unterstützend eingreifen, um beispielsweise einen Unfall zu verhindern, Hilfe anzufordern und/oder einen Komfort des oder der Fahrzeuginsassen 2 zu steigern, um dadurch den Vitalzustand zu verbessern.

Vorzugsweise wird als Funktion der Assistenzvorrichtung ein Eingriff in eine

Lenkvorrichtung, Bremsvorrichtung und/oder in einen Antriebsstrang des Fahrzeugs 1 und/oder eine optische, akustische und/oder haptische Warneinrichtung aktiviert. Auf diese Weise kann das Fahrzeug 1 , wie beispielsweise in der DE 10 2009 016 936 A1 der Anmelderin beschrieben, deren vollständiger Inhalt hiermit durch Referenz aufgenommen wird, durch einen entsprechenden Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder den Antriebsstrang des Fahrzeugs 1 zum Beispiel automatisch an einen Fahrbahnrand gesteuert und dort zum Stillstand gebracht werden. Besonders vorteilhaft kann der Eingriff in die Lenkvorrichtung, Bremsvorrichtung und/oder in den Antriebsstrang des Fahrzeugs 1 derart erfolgen, dass das Fahrzeug 1 autonom zu einer

nächstgelegenen Nothilfeeinrichtung gesteuert wird, beispielsweise zu einer

Notaufnahme eines nächstgelegenen Krankenhauses.

Alternativ oder zusätzlich können Warneinrichtungen des Fahrzeugs 1 aktiviert werden, zum Beispiel äußere Warneinrichtungen in Form einer Warnblinkanlage und/oder einer Hupe des Fahrzeugs 1 , um andere Verkehrsteilnehmer zu warnen, und/oder es können Warneinrichtungen in einem Fahrzeuginnenraum aktiviert werden, um den oder die Fahrzeuginsassen 2 zu warnen, beispielsweise um einen eingeschlafenen

Fahrzeugführer zu wecken oder um andere Fahrzeuginsassen 2 auf sich

verschlechternde Vitalparameter des Fahrzeugführers, welche möglicherweise auf einen sich verschlechtern Gesundheitszustand hindeuten, hinzuweisen, so dass diese beispielsweise das Lenkrad und/oder eine Handbremse des Fahrzeugs 1 betätigen können, um das Fahrzeug 1 abzubremsen und/oder an den Fahrbahnrand zu steuern.

Alternativ oder zusätzlich wird zweckmäßigerweise als Funktion der Assistenzvorrichtung zumindest eine Komfortfunktion und/oder eine Notruffunktion aktiviert. Durch Aktivierung der Komfortfunktion oder einer Mehrzahl derartiger Komfortfunktionen können

Vitalparameter des oder der Fahrzeuginsassen 2 verbessert werden, beispielsweise wenn der oder die ermittelten Vitalparameter auf eine Ermüdung insbesondere des

Fahrzeugführers hindeuten.

Es können dann beispielsweise eine Massagefunktion eines Fahrzeugsitzes, eine

Innenraumbelüftung und/oder eine Klimafunktion des Fahrzeugs 1 aktiviert werden. Dabei können zur Erfrischung des oder der Fahrzeuginsassen 2 beispielsweise auch ätherische Öle oder andere erfrischende Mittel in einen Innenraum des Fahrzeugs 1 eingeleitet werden. Des Weiteren kann der betreffende Fahrzeuginsasse 2 durch optische, akustische und/oder haptische Mittel auf seine aktuelle Vitalsituation hingewiesen werden, vorzugsweise verbunden mit einer Empfehlung zu geeigneten

Gegenmaßnahmen, beispielsweise zum Einlegen einer Erholungspause, zu regelmäßiger Bewegung und/oder zu einer ausreichenden Flüssigkeitsaufnahme. Der

Fahrzeuginsasse 2 kann auf diese Weise zum Beispiel auch an eine erforderliche

Medikamenteneinnahme erinnert werden. Des Weiteren können, beispielsweise bei einem anhand der Vitalparameter erkannten erhöhten Stressniveau, den Fahrzeugführer unterstützende und/oder beruhigende Einrichtungen des Fahrzeugs 1 gezielt aktiviert werden, beispielsweise eine Navigationseinrichtung oder eine Audioanlage des

Fahrzeugs 1 , d. h. beispielsweise ein Autoradio.

Zudem können die Fahrzeuginsassen 2 auch vor drohenden Gesundheitsgefahren gewarnt werden, beispielsweise vor drohenden Herz-Kreislauf-Beschwerden.

Insbesondere bei älteren und/oder gesundheitlich gefährdeten oder beeinträchtigten Fahrzeuginsassen 2, insbesondere Fahrzeugführern, ist dadurch deren

Sicherheitsempfinden und Wohlbefinden erheblich gesteigert. In einem medizinischen Notfall kann zudem ein automatischer Notruf eingeleitet werden, wobei vorzugsweise die erfassten und gespeicherten Vitalparameter an eine Notrufleitstelle oder ein Krankenhaus übermittelt werden, so dass eine schnelle und adäquate medizinische Hilfe eingeleitet werden kann. Zu diesem Zweck werden vorzugsweise auch aktuelle Positionsdaten des Fahrzeugs 1 ermittelt und mit dem Notruf weitergeleitet.

Die mittels des Überwachungsverfahrens ermittelten Vitalparameter können auch mit auf andere Weise ermittelten Werten des oder der Fahrzeuginsassen 2 kombiniert werden, um dadurch ein besseres Gesamtbild eines Zustandes des oder der Fahrzeuginsassen 2 zu erhalten. Auf diese Weise kann beispielsweise frühzeitig und mit einer geringen Fehlerquote eine Müdigkeit oder Unaufmerksamkeit des Fahrzeugführers festgestellt werden. So können zum Beispiel durch Sensoren in einem Fahrzeugsitz Bewegungen des jeweiligen Fahrzeuginsassen 2, insbesondere des Fahrzeugführers ermittelt werden, welche auf Unruhe, Stress oder beginnende Müdigkeit hindeuten können. Zudem kann auch die Un- aufmerksamkeitserkennungsfunktion, für welche die Bilderfassungseinheit ursprünglich im Fahrzeug 1 installiert ist, genutzt werden. Auf diese Weise ermittelte zusätzliche Werte des oder der Fahrzeuginsassen 2 können beispielsweise mit der ermittelten Pulsfrequenz kombiniert werden, um eine bessere Einschätzung des Vitalzustandes des oder der Fahrzeuginsassen 2 zu erhalten.

Als Bilderfassungseinheit kann auch einfache schwarz-weiß Kamera eingesetzt werden, z.B. um eine robustere Auswertung zu erhalten. Als Bilderfassungseinheit kann auch eine infra-rot Kamera eingesetzt werden, um die Vitalparameter in dunklen Straßensegmenten oder bei Dunkelheit zu erfassen. Eine Umschaltung in den Infrarot-Bereich kann automatisch mittels einer Helligkeitserkennung, wie sie bei der automatischen Fahrlichtsteuerung eingesetzt wird, erfolgen. Wie bereits erwähnt, wird vorzugsweise insbesondere der grüne Anteil oder Farbkanal ausgewertet, da bei diesem die Genauigkeit der erzielten Ergebnisse am höchsten ist. Bei Verwendung einer Farbkamera kann die Robustheit erhöht werden, wenn alle drei RGB-Komponenten des Bildsignals gewichtet ausgewertet werden, da alle 3 RGB-Kanäle redundante Information zu den gemessenen Vitalparametern tragen.

Ein Vorteil des ausgeführten Verfahrens besteht darin, dass mit ein und demselben Bildsignal aus dem Gesichtsbereich sowohl Puls als auch die Atemfrequenz ermittelt werden kann. Ein Verschwenken der Kamera auf den Brustbereich, um die Atemfrequenz zu messen ist nicht notwendig. Allgemein besteht keine Notwendigkeit zur Umrichtung der Kamera zwischen Gesicht-, Brust- oder andere Körperbereiche.

Wie bereits erwähnt, sind spezielle Beleuchtungseinrichtungen nicht erforderlich, da eine im Fahrzeug übliche Umgebungsbeleuchtung, zum Beispiel Tageslicht bereits ausreichend ist. Eine Machbarkeitsanalyse zeigt dass fehlende Bildsequenzen, z.B. bei Fahrt in dunklen Straßensegmenten, wie stark schattierte Straßenabschnitte, z.B. unter Brücken oder Tunnel keinen negativen Einfluss auf die ganzheitliche Auswertung des Zustande des Fahrers tagsüber haben, wenn es sich um kurze Zeitabschnitten (wenige Minuten) handelt. Für längere dunkle Zeitabschnitten tagsüber oder bei Nacht ist es erforderlich eine infra-rot Kamera zu verwenden, um die Daten für die Bildverarbeitung aufzunehmen. Die so erzeugten Bilder sind in gleicher Qualität wie die Bilder einer schwarz-weiss Kamera. Dies ist jedoch keine Einschränkung, weil das Verfahren auch robust mit schwarzweißen Bildern umgehen kann.

Zur Nomenklatur: Die„schnelle Fourier-Transformation" ist besser bekannt als„Fast- Fourier-Transform (FFT)".

Es wurde bereits erwähnt, dass mit dem beschriebenen Verfahren auf eine Unaufmerksamkeit des Fahrzeuginsassen, beispielsweise des Fahrzeugführers, oder auf eine drohende oder bereits eingetretene Bewusstlosigkeit oder schwere gesundheitliche Probleme geschlossen werden kann. Darüber hinaus bietet die berührungslose Messung der Vitaldaten einen diagnostischen Wert für a) Tachykardie, Brachykardie, Bradykardie, b) Herzratenvariabilität (zur Unterscheidung von z.B. Ruhe, Stress, Freude) und c) die Erkennung von Tendenzen zu Virusinfektionen (Hauttemperatur, Puls, Atemfrequenz.

Es wurde beschrieben, dass zumindest eine Funktion der Assistenzvorrichtung aktiviert wird, wenn ein ermittelter Wert eines Vitalparameters von einem vorgegebenen Wert oder Wertebereich für diesen Vitalparameter abweicht. Es kann aber auch eine Kombination der ermittelten Vitalparameter mit auf andere Weise ermittelten Werten der Fahrzeuginsassen (wie Aufmerksamkeit, Unruhe, Müdigkeit, Stress) zur Aktivierung von mindest eine Komfortfunktion, Notrufaktion oder Empfehlung von Gegenmaßnahmen verwendet werden. Solche Empfehlungen können das Einlegen einer Erholungspause, zu regelmäßiger Bewegung, zu einer ausreichenden Flüssigkeitsaufnahme oder zu einer erforderlichen Medikamenteneinnahme sein.