TITRE : Procédé de détermination d’un niveau de vigilance d’un conducteur [Domaine technique]

[0001] L’invention se rapporte au domaine de l’assistance à la conduite, manuelle ou autonome, d’un véhicule automobile et concerne, plus particulièrement, un calculateur et un procédé de détermination d’un niveau de vigilance d’un conducteur de véhicule.

[Etat de la technique antérieure]

[0002] De nos jours, il est connu d’équiper certains véhicules automobiles d’un dispositif permettant la surveillance de l’état du conducteur du véhicule afin notamment de le prévenir s’il apparaît distrait ou s’il sombre dans un état de somnolence. Ce type de dispositif de surveillance comprend une caméra et un calculateur, qui traite les images générées par la caméra afin de déterminer le niveau de vigilance du conducteur. Le calculateur peut par exemple analyser le mouvement des yeux, de la tête ou du haut du corps du conducteur, la taille ou la forme de son visage, l’orientation et la posture de sa tête ou une combinaison de certains ou de l’ensemble de ces paramètres.

[0003] Dans une solution connue, le calculateur analyse le mouvement des yeux du conducteur, il peut notamment déterminer la fréquence de battement des paupières, l’amplitude de battement des paupières, la durée des battements de paupière, etc. Il compare ensuite ces valeurs à des intervalles de valeurs prédéterminés caractérisant des niveaux de vigilance du conducteur afin d’en déduire si ledit conducteur est éveillé et attentif, éveillé mais distrait ou somnolent et de l’alerter le cas échéant.

[0004] Ainsi, dans cette solution existante, le dispositif de surveillance est basé sur des mesures directes des caractéristiques du visage du conducteur, lesdites mesures étant réalisées par le calculateur. Cependant, ce type de dispositif présente des limites concernant sa capacité à mesurer l’ouverture des yeux et à détecter les mouvements réalisés par les pupilles. En effet, dans certains cas, par exemple lorsque le conducteur porte une paire de lunettes de soleil ou encore une casquette ou lorsque la luminosité est élevée, les différentes parties du visage (les yeux, la bouche, les oreilles... ) sont difficilement visibles et différenciables par le calculateur sur la séquence d’images générées par la caméra. Ainsi, dans certains cas, les mouvements réalisés par chaque partie du visage, et notamment par les yeux, ne sont pas visibles ni exploitables, et le dispositif de surveillance se révèle donc inefficace.

[0005] De ce fait, le dispositif peut ne pas déclencher d’alerte alors que le conducteur est dans un état distrait ou somnolent, ce qui présente alors un risque pour la sécurité du conducteur. [Exposé de l’invention]

[0006] Il existe donc le besoin d’une solution simple et efficace permettant de remédier au moins en partie à ces inconvénients.

[0007] La présente invention vise à proposer une solution simple, fiable et efficace permettant de déterminer le niveau de vigilance d’un conducteur de véhicule.

[0008] A cette fin, l’invention a pour objet un procédé de détermination d’un niveau de vigilance d’un conducteur dans un véhicule, notamment automobile, à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule comprenant une caméra et un calculateur, ledit calculateur mettant en œuvre ledit algorithme prédéterminé à partir d’au moins un paramètre dit « d’entrée » relatif à l’attitude du conducteur, le procédé comprenant les étapes de:

- génération par la caméra d’une séquence d’images de la tête du conducteur,

- exécution de l’algorithme prédéterminé sur ladite séquence d’images générée afin de détecter une série comprenant au moins un mouvement de la tête du conducteur,

- détermination d’au moins une valeur d’au moins un paramètre prédéterminé relatif à chaque mouvement de la série détectée,

- comparaison de l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle prédéterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête,

- identification de chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée,

- détermination de la vitesse et/ou de l’amplitude de chaque mouvement identifié,

- détection des périodes dynamiques et statiques de la tête du conducteur et de mesure de la fréquence et de la durée de chaque période détectée,

- détermination d’un niveau de vigilance du conducteur à partir de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période détectée.

[0009] Le procédé selon l’invention permet de déterminer efficacement le niveau de vigilance du conducteur à partir des mouvements de tête, notamment de leur vitesse et/ou de leur amplitude, et de l’analyse de la fréquence et la durée de chaque période d’activité et de fixation basée sur les mouvements de la tête, et ainsi d’alerter le conducteur en cas de risque de signe de somnolence ou de distraction. Ceci permet notamment de détecter un état distrait ou de somnolence du conducteur lorsque ce dernier a le visage en partie masqué (lunettes, casquette, etc.) et/ou que la luminosité est élevée. [0010] De manière préférée, l’au moins un paramètre mesuré lors de la mise en œuvre du procédé comprend un angle de rotation de la tête du conducteur par rapport à la verticale terrestre ou d’inclinaison de la tête du conducteur par rapport à l’horizontale terrestre.

[0011] De préférence, l’au moins un paramètre mesuré lors de la mise en œuvre du procédé comprend l’amplitude de la rotation ou de l’inclinaison de la tête du conducteur et/ou la vitesse de la rotation ou de l’inclinaison de la tête du conducteur et/ou la durée de chaque mouvement et/ou la fréquence de chaque mouvement.

[0012] Les caractéristiques des paramètres cités dans ci-avant permettent au procédé de déterminer avec précision à quel mouvement de tête correspond chaque mouvement de tête de la série de mouvements.

[0013] De manière avantageuse, un état de somnolence du conducteur est détecté lorsque la fréquence de mouvement de la tête du conducteur par rapport à la verticale ou à l’horizontale terrestre est inférieure à un seuil dynamique prédéterminé qui, par exemple, est à 1 par défaut pour une fenêtre prédéfinie, par exemple de 30 secondes, puis à 3 par la suite. Ce seuil est caractéristique et fiable avec une mise à jour dynamique basée sur les paramètres caractéristiques de chaque mouvement de tête identifié. Les paramètres caractéristiques de chaque mouvement permettent d’identifier l’activité et l’inactivité du conducteur dans une fenêtre de temps, par exemple inférieure à 10 minutes, pour caractériser un état de somnolence.

[0014] Avantageusement, un état de somnolence du conducteur est détecté lorsqu’au moins une inclinaison de la tête du conducteur vers le bas par rapport à l’horizontale terrestre, de préférence avec une accélération qui caractérise un mouvement libre de la tête pendant une durée inférieure à 2 secondes, est détectée. Ce seuil est un autre seuil caractéristique et fiable permettant de détecter un état de somnolence.

[0015] De manière préférée, un état éveillé du conducteur est détecté lorsqu’au moins une rotation de la tête du conducteur vers la droite ou vers la gauche par rapport à la verticale terrestre est déterminée dans une fenêtre de temps prédéfinie, par exemple dans les dernières 30 secondes, sans dégradation notable des caractéristiques de mouvements dans la fenêtre de temps, c’est-à-dire avec des caractéristiques similaires aux mouvements détectés quand le conducteur est éveillé, par exemple lorsque la fréquence de rotation de la tête du conducteur reste supérieure à 1 rotation par minute. Cette combinaison de paramètres est caractéristique et fiable afin de détecter un état éveillé.

[0016] De manière préférée, un état distrait du conducteur est détecté par le procédé lorsqu’au moins une rotation de la tête du conducteur vers la droite ou vers la gauche par rapport à la verticale terrestre ou vers le bas par rapport à l’horizontale terrestre est déterminée pendant une durée supérieure à une durée prédéterminée, par exemple supérieure à 4 secondes. Ce type de seuil est caractéristique et fiable d’un état distrait du conducteur.

[0017] L’invention concerne également un calculateur pour véhicule, notamment automobile, pour la détermination d’un niveau de vigilance d’un conducteur dudit véhicule à partir d’un algorithme prédéterminé d’analyse d’images, ledit véhicule comprenant une caméra, ledit calculateur mettant en œuvre ledit algorithme prédéterminé à partir d’au moins un paramètre dit « d’entrée » relatif à l’attitude du conducteur et étant configuré pour :

- recevoir une séquence d’images de la tête du conducteur générée par la caméra,

- exécuter l’algorithme prédéterminé sur ladite séquence d’images reçue afin de détecter une série comprenant au moins un mouvement de la tête du conducteur,

- déterminer au moins une valeur d’au moins un paramètre prédéterminé relatif à chaque mouvement de la série détectée,

- comparer l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle prédéterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête,

- identifier chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée,

- déterminer la vitesse et/ou l’amplitude de chaque mouvement identifié,

- détecter les périodes dynamiques et statiques de la tête du conducteur et mesurer la fréquence et la durée de chaque période détectée,

- déterminer un niveau de vigilance du conducteur à partir de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période détectée.

[0018] Avantageusement, l’au moins un paramètre mesuré par le calculateur comprend un angle de rotation de la tête du conducteur par rapport à la verticale terrestre ou d’inclinaison de la tête du conducteur par rapport à l’horizontale terrestre.

[0019] De manière avantageuse, l’au moins un paramètre mesuré par le calculateur comprend l’amplitude de la rotation ou de l’inclinaison de la tête du conducteur et/ou la durée de chaque mouvement et/ou la fréquence de chaque mouvement.

[0020] De manière préférée, le calculateur détecte un état de somnolence du conducteur lorsque la fréquence de rotation de la tête du conducteur par rapport à la verticale terrestre est faible et que les caractéristiques de chaque mouvement sont inférieures en vitesse et accélération comparées aux mêmes mouvements réalisés à l’état éveillé.

[0021] Avantageusement, le calculateur est configuré pour détecter un état éveillé du conducteur lorsqu’au moins une rotation de la tête du conducteur vers la droite ou vers la gauche par rapport à la verticale terrestre ou une inclinaison de la tête par rapport à la l’horizontale terrestre est déterminée.

[0022] De manière avantageuse, le calculateur est configuré pour détecter un état distrait du conducteur lorsqu’au moins une rotation de la tête du conducteur vers la droite ou vers la gauche par rapport à la verticale terrestre ou une inclinaison de la tête par rapport à la l’horizontale terrestre est déterminée pendant une durée supérieure à une durée prédéterminée, par exemple supérieure à 4 secondes.

[0023] De manière analogue, le calculateur permet de déterminer avec précision et fiabilité le niveau de vigilance du conducteur.

[0024] L’invention concerne également un véhicule automobile comprenant une caméra configurée pour générer une séquence d’images de la tête du conducteur dudit véhicule et un calculateur, tel que présenté ci-avant, connecté à ladite caméra afin de recevoir ladite séquence d’images.

[0025] L’ajout de données relatives au véhicule, notamment l’angle du volant, la vitesse, l’accélération, le freinage et la durée du trajet améliore et rend l’algorithme plus précis dans l’estimation du niveau de vigilance du conducteur.

[0026] De telles données permettent de calibrer le début de la conduite et suivre la dégradation du niveau de vigilance du conducteur dans le temps basé sur les caractéristiques des mouvements de tête détectés.

[0027] De préférence, la fenêtre d’enregistrement des mouvements et ses caractéristiques avec le période d’activités et de fixation est de 5 minutes minimum. L’apprentissage et l’évolution dynamique de seuils personnalisés pour déterminer le niveau de vigilance du conducteur nécessitent une historique de minimum 5 minutes pour avoir un diagnostic robuste.

[0028] Avantageusement, la fenêtre d’analyse peut varier en fonction de nombre de mouvements détectés dans les instants précédents, par exemple pendant la dernière minute.

[Description des dessins]

[0029] D’autres caractéristiques et avantages de l’invention apparaîtront lors de la description qui suit faite en regard des figures annexées données à titre d’exemples non limitatifs et dans lesquelles des références identiques sont données à des objets semblables.

[Fig. 1] illustre schématiquement une forme de réalisation du véhicule selon l’invention. [Fig. 2] illustre schématiquement les trois axes permettant de définir les mouvements de la tête d’un conducteur en trois dimensions.

[Fig. 3] représente un mode de réalisation du procédé selon l’invention.

[Description des modes de réalisation]

[0030] Le calculateur selon l’invention est destiné à être monté dans un véhicule, notamment automobile, à conduite manuelle ou autonome, afin de détecter un défaut de vigilance (i.e. un défaut d’attention) du conducteur dudit véhicule et d’alerter ou d’activer la conduite automatique si nécessaire.

[0031] On a représenté schématiquement à la figure 1 un exemple de véhicule 1 selon l’invention. Le véhicule 1 comprend une caméra 11 , un calculateur 12 et une interface 13.

[0032] La caméra 1 1 est, par exemple, placée derrière le volant ou sur le pare-brise avant du véhicule 1. T oute position de la caméra 11 est possible tant que le visage du conducteur 2 reste visible dans le champ de vision de la caméra 1 1.

[0033] La caméra 11 est configurée pour générer une séquence d’images de manière périodique, par exemple à une fréquence variant entre 10 et 200 images par secondes, représentant la tête du conducteur 2, notamment son visage. La séquence d’images générée est envoyée en temps réel au calculateur 12.

[0034] Le calculateur 12 est configuré pour recevoir et traiter en temps réel la séquence d’images générée par la caméra 1 1. Plus précisément, le calculateur 12 est configuré pour mettre en œuvre un algorithme de traitement d’images prédéterminé sur ladite séquence d’images reçue afin de déterminer le niveau de vigilance du conducteur 2.

[0035] Le niveau de vigilance du conducteur 2 caractérise l’état plus ou moins alerte du conducteur 2, notamment un état éveillé, un état distrait ou un état de somnolence.

[0036] L’algorithme prédéterminé est stocké dans une zone mémoire du calculateur 12 et est mis en œuvre à partir d’un ensemble comprenant un ou plusieurs paramètres relatifs à l’attitude du conducteur 2. Cet ensemble peut comprendre un ou plusieurs paramètres parmi : l’amplitude de rotation ou d’inclinaison de la tête du conducteur 2, la vitesse de rotation ou d’inclinaison de la tête du conducteur 2, la durée de chaque mouvement de la tête du conducteur 2 et la fréquence de chaque mouvement de la tête du conducteur 2, la durée de chaque période statique de la tête du conducteur 2 et leur fréquence.

[0037] Le véhicule 1 comprend en outre une interface 13, par exemple au niveau du tableau de bord du véhicule 1 , permettant notamment d’afficher ou diffuser un message d’alerte à l’attention du conducteur lorsque son niveau de somnolence est supérieur à un seuil d’alerte prédéterminé. [0038] En référence à la figure 2, par le terme « rotation », on entend la rotation de la tête du conducteur 2 par rapport à un axe X parallèle à la verticale terrestre (lacet). Par le terme « inclinaison », on entend l’inclinaison de la tête du conducteur 2 par rapport à un axe Y parallèle à l’horizontale terrestre (tangage) ou par rapport à un axe Z parallèle à la verticale terrestre (roulis).

[0039] L’algorithme prédéterminé permet de détecter, dans la séquence d’images reçue, une série comportant chaque mouvement de la tête du conducteur 2 puis de déterminer au moins une valeur pour chaque paramètre de l’ensemble de paramètre(s) relatif à chaque mouvement détecté dans la séquence d’images.

[0040] Le calculateur 12 est configuré pour comparer l’au moins une valeur de chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre, chaque intervalle prédéterminé de valeurs dudit paramètre étant associé à un type différent de mouvement de tête.

[0041] Le calculateur 12 est configuré pour identifier chaque mouvement de la série détectée à partir de l’au moins une comparaison réalisée.

[0042] Le calculateur 12 est configuré pour déterminer la vitesse et/ou l’amplitude de chaque mouvement identifié de la série.

[0043] Le calculateur 12 est configuré pour déterminer le niveau de vigilance du conducteur 2 à partir de la série détectée et de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement de la série.

[0044] Le calculateur 12 est configuré pour détecter les périodes dynamiques (activité) et statiques (fixation) de la tête du conducteur 2 et mesurer la fréquence et la durée de chaque période dynamique ou statique.

[0045] L’invention va maintenant être décrite dans sa mise en œuvre en référence à la figure 3.

[0046] Tout d’abord, dans une étape E0, la caméra 12 génère une séquence d’images représentant la tête du conducteur 2 et envoie la séquence d’images générée au calculateur 12.

[0047] Le calculateur 12 exécute ensuite, dans une étape E1 , l’algorithme prédéterminé sur la séquence d’images reçue afin de détecter une série comprenant au moins un mouvement de la tête du conducteur 2. L’algorithme détecte un mouvement basé sur le changement de l’angle de la tête comparé à l’horizontale et à la verticale terrestre. L’analyse de chaque mouvement permet de calculer les caractéristiques de chaque paramètre utilisé pour classifier le mouvement. Plus précisément, le calculateur 12 va caractériser chaque mouvement de tête du conducteur 2 dans la série détectée afin d’en identifier le type.

[0048] Ensuite, dans une étape E2, le calculateur 12 détermine au moins une valeur d’au moins un paramètre prédéterminé relatif à un mouvement de tête du conducteur 2. Autrement dit, le calculateur 12 détermine la valeur d’un ou de plusieurs paramètres de préférence parmi : l’angle de rotation de la tête du conducteur 2 par rapport à la verticale terrestre, l’angle d’inclinaison de la tête du conducteur 2 par rapport à l’horizontale terrestre, l’amplitude de la rotation ou de l’inclinaison de la tête du conducteur 2, la vitesse de la rotation ou de l’inclinaison de la tête du conducteur 2, la durée de chaque mouvement et la fréquence de chaque mouvement, la durée par rapport au mouvement précèdent, la durée et l’accélération du front montant et descendant de la variation des angles pendant le mouvement, la durée totale du mouvement, la direction de la tête du conducteur 2 pendant le mouvement.

[0049] Une fois le ou les valeurs de paramètres déterminées, le calculateur 12 compare, dans une étape E3, la valeur déterminée pour chaque paramètre avec un intervalle prédéterminé de valeurs dudit paramètre. Chaque intervalle prédéterminé de valeurs est caractéristique d’un type de mouvement de tête. Par exemple, la rotation de la tête du conducteur 2 lorsqu’il regarde le rétroviseur droit du véhicule 1 est caractérisée par un angle de rotation compris entre 30 et 60 degrés. Il en va de même pour tous les autres mouvements de tête (rotation et/ou inclinaison de la tête vers le rétroviseur gauche, vers le rétroviseur central, vers la fenêtre droite, vers la fenêtre gauche, vers le tableau de bord, etc.). On notera qu’un mouvement de tête donné peut être caractérisé par un ou plusieurs paramètres.

[0050] Après avoir réalisé ce ou ces comparaisons, le calculateur 12 identifie au fur et à mesure, dans une étape E4, chaque mouvement de tête effectué par le conducteur 2, c’est- à-dire détermine le type de mouvement effectué. De préférence, le calculateur 12 met à jour en parallèle l’historique de la série constituée des types de mouvements identifiés dans la séquence d’images reçue de la caméra 1 1 , une telle séquence de type de mouvement traduisant le niveau de vigilance du conducteur 2.

[0051] Le calculateur 12 détermine, dans une étape E5, la vitesse et/ou de l’amplitude de chaque mouvement de tête identifié puis, dans une étape E6, détecte les périodes dynamiques et statiques de la tête du conducteur 2 et mesure la fréquence et la durée de chaque période détectée.

[0052] Dans une étape E7, le calculateur 12 détermine le niveau de vigilance du conducteur 2 à partir de la série de mouvements de tête identifiés et de la vitesse et/ou de l’amplitude déterminée pour chaque mouvement identifié et de la fréquence et de la durée de chaque période dynamique ou statique détectée.

[0053] Les différents niveaux de vigilance sont définis de la façon suivante :

un état de somnolence du conducteur 2 est détecté lorsque la fréquence de rotation de la tête du conducteur 2 par rapport à la verticale terrestre est très faible, par exemple inférieure à 1 rotation par minute, avec une dégradation des caractéristiques de vitesse et d’accélération pendant les mouvements visibles dans la fenêtre de temps étudiée,

un état de somnolence du conducteur 2 est détecté lorsqu’au moins une inclinaison de la tête du conducteur 2 vers le bas (par rapport à l’horizontale terrestre) est détectée avec des paramètres spécifiques de mouvement libre des muscles de la tête quand le conducteur 2 est endormi (par exemple la vitesse, l’accélération, l’amplitude ou la durée des mouvements),

un état éveillé du conducteur 2 est détecté lorsqu’au moins une rotation de la tête du conducteur 2 vers la droite ou vers la gauche par rapport à la verticale terrestre ou vers le bas par rapport à l’horizontale terrestre est déterminée dans les dernières 30 secondes et/ou que la fréquence de rotation de la tête du conducteur 2 reste supérieure à 1 rotation par minute sans dégradation visible des caractéristiques de mouvements dans la fenêtre de temps,

un état distrait du conducteur 2 est détecté lorsqu’au moins une rotation de la tête du conducteur 2 vers la droite ou vers la gauche par rapport à la verticale terrestre ou vers le bas par rapport à l’horizontale terrestre est déterminée pendant une durée supérieure à une durée prédéterminée, par exemple supérieure à 4 secondes.

[0054] Enfin, le calculateur 12 alerte le conducteur 2, dans une étape E8, lorsqu’un état de somnolence ou de distraction du conducteur 2 est détecté. Par exemple, le calculateur 12 envoie une alerte sur l’interface 13. Cette alerte peut se présenter sous la forme d’un signal sonore ou d’un signal lumineux, par exemple un voyant. Cette étape permet de catégoriser l’attitude du conducteur 2 selon si le conducteur 2 est éveillé et attentif à la conduite, s’il est distrait ou s’il est en état de somnolence. Il peut y avoir plusieurs niveaux dans chaque catégorie.

[0055] Dans le cas où le véhicule 1 peut être piloté de manière automatique dans un mode autonome, le calculateur 12 pourrait commander le passage en mode de conduite autonome lorsque le conducteur 2 est distrait ou sombre dans un état de somnolence.

[0056] L’invention permet de déterminer le niveau de vigilance du conducteur 2 de manière fiable et efficace. L’invention permet notamment de s’adapter à chaque conducteur 2 de véhicule afin de déterminer son niveau de vigilance et de l’alerter en cas de problème le cas échéant.