Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR ASSISTING WITH DRIVING A MOTOR VEHICLE
Document Type and Number:
WIPO Patent Application WO/2016/131528
Kind Code:
A1
Abstract:
The invention relates to a method for assisting with driving a motor vehicle subjected to weather conditions, including static conditions relating to the vehicle and dynamic conditions relating to the surroundings of the vehicle. The method includes capturing (E0) at least one image using a camera, calculating (E1) at least one fuzziness level of at least one group of pixels of said image, determining (E2) at least one value for at least one parameter of said group of pixels, which parameter relates to the dynamic weather conditions, comparing (E3a, E3b, E3c) said fuzziness level and said parameter value, and determining (E4) the static or dynamic nature of the weather conditions from said comparison in order to assist the driver with driving.

Inventors:
BAJARD, Laure (30 rue Franc, Toulouse, Toulouse, 31000, FR)
Application Number:
EP2016/000201
Publication Date:
August 25, 2016
Filing Date:
February 05, 2016
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
CONTINENTAL AUTOMOTIVE FRANCE (1 Avenue Paul Ourliac, Toulouse, 31100, FR)
CONTINENTAL AUTOMOTIVE GMBH (Vahrenwalder Strasse 9, Hannover, 30165, DE)
International Classes:
G06K9/00; B60S1/08
Foreign References:
US6097024A2000-08-01
US20070115357A12007-05-24
Other References:
GARG K ET AL: "Detection and removal of rain from videos", PROCEEDINGS OF THE 2004 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION 27 JUNE-2 JULY 2004 WASHINGTON, DC, USA, IEEE, PROCEEDINGS OF THE 2004 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION IEE, vol. 1, 27 June 2004 (2004-06-27), pages 528 - 535, XP010708612, ISBN: 978-0-7695-2158-9, DOI: 10.1109/CVPR.2004.1315077
XUNSHI YAN ET AL: "Weather Recognition Based on Images Captured by Vision System in Vehicle", 26 May 2009, ADVANCES IN NEURAL NETWORKS - ISNN 2009, SPRINGER BERLIN HEIDELBERG, BERLIN, HEIDELBERG, PAGE(S) 390 - 398, ISBN: 978-3-642-01512-0, XP019117384
HANGHANG TONG; MINGJING LI; HONGJIANG ZHANG; CHANGSHUI ZHANG, IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA, June 2004 (2004-06-01)
Attorney, Agent or Firm:
CONTINENTAL AUTOMOTIVE FRANCE (1 Avenue Paul Ourliac, Toulouse, 31100, FR)
Download PDF:
Claims:
REVENDICATIONS

1. Procédé d'assistance à la conduite d'un véhicule automobile soumis à des conditions climatiques, lesdites conditions climatiques comprenant des conditions statiques associées au véhicule, générant la présence persistante de matière sur une partie du véhicule, et nécessitant l'activation d'un chauffage dans le véhicule et des conditions dynamiques associées à l'environnement du véhicule, ne nécessitant pas l'activation de chauffage dans le véhicule le véhicule comprenant un pare-brise sur lequel est montée une caméra, ledit procédé étant caractérisé en ce qu'il comprend les étapes :

• d'acquisition (E0) d'au moins une image par la caméra,

• de calcul (E1 ) d'au moins un niveau de flou d'au moins un groupe de pixels de ladite image,

• de détermination (E2) de conditions climatiques dynamiques,

- par l'analyse de la variation du niveau de flou dans une série d'images consécutives capturées par la caméra (10) et

- par l'analyse de la variation du niveau de flou avec la distance des objets représentés dans l'image et,

- par l'analyse de la variation du niveau de flou avec l'intensité des pixels du groupe de pixels.

• de comparaison (E3a, E3b, E3c) entre ledit niveau de flou et ladite variation de flou,

· de détermination (E4) de la nature statique ou dynamique des conditions climatiques à partir de ladite comparaison afin d'assister le conducteur dans sa conduite.

2. Procédé selon la revendication 1 , caractérisé en ce qu'il comprend l'activation (E5a, E5b) d'au moins une fonction du véhicule en fonction de la nature statique ou dynamique des conditions climatiques déterminée.

3. Procédé selon la revendication 2, caractérisé en ce que l'activation d'une fonction du véhicule correspond à l'activation du chauffage (E5a) lorsque les conditions climatiques sont de nature statique et à l'envoi d'un message d'information au conducteur (E5b) lorsque les conditions climatiques sont de nature dynamique.

4. Dispositif (1 ) d'assistance à la conduite d'un véhicule automobile soumis à des conditions climatiques, lesdites conditions climatiques comprenant des conditions statiques associées au véhicule et des conditions dynamiques associées à l'environnement du véhicule, ledit dispositif étant caractérisé en ce qu'il comprend :

• une caméra (10), montée sur le pare-brise du véhicule, configurée pour acquérir une pluralité d'images,

· une unité (20) de calcul d'au moins un niveau de flou d'au moins un groupe de pixels de ladite image,

• une première unité (30) de détermination d'au moins une valeur d'au moins un paramètre dudit groupe de pixels relatif aux conditions climatiques dynamiques,

• une unité (40) de comparaison entre ledit niveau de flou et ladite valeur de paramètre,

• une deuxième unité (50) de détermination de la nature statique ou dynamique des conditions climatiques à partir de ladite comparaison afin d'assister le conducteur dans sa conduite.

5. Dispositif (1 ) selon la revendication précédente, caractérisé en ce qu'il comprend en outre une unité (60) d'activation d'au moins une fonction du véhicule en fonction de la nature statique ou dynamique des conditions climatiques déterminée.

6. Véhicule comprenant un dispositif (1 ) selon l'une des revendications 4 ou 5.

Description:
Procédé et dispositif d'aide à la conduite d'un véhicule automobile

La présente invention se rapporte au domaine de l'automobile et concerne plus particulièrement un procédé et un dispositif d'aide à la conduite d'un véhicule automobile, ainsi qu'un véhicule automobile comprenant un tel dispositif.

De nos jours, il est connu d'équiper un véhicule automobile avec un système d'assistance à la conduite appelé communément ADAS (Advanced Driver Assistance System en langue anglaise). Un tel système comprend de manière connue une caméra, montée sur le pare-brise du véhicule, qui permet de générer un flux d'images représentant l'environnement dudit véhicule. Ces images sont exploitées par une unité de traitement du système afin d'assister le conducteur, par exemple en détectant un obstacle ou bien le franchissement d'une ligne blanche. Les informations données par les images capturées par la caméra doivent être suffisamment fiables et pertinentes pour permettre au système d'assister efficacement le conducteur du véhicule.

Cependant, certaines conditions climatiques peuvent dégrader la visibilité et donc la qualité des images capturées par la caméra. A titre d'exemples, une température externe basse combinée au manque de circulation d'air dans le véhicule peut générer de la condensation sur le capteur de la caméra et/ou sur le pare-brise du véhicule, ce qui dégrade la qualité des images. De même, le brouillard, la glace, la neige, la pluie ou les rayons lumineux peuvent dégrader la qualité des images capturées par la caméra.

Le manque de visibilité provoqué par certaines de ces conditions climatiques peut être amélioré en activant certaines fonctions du véhicule telles que, par exemple, les essuie-glaces ou bien le chauffage de l'intérieur du véhicule. Aujourd'hui, l'analyse de ces conditions et l'activation des fonctions adéquates du véhicule doivent être réalisées par le conducteur pendant qu'il pilote le véhicule. Or, de telles manœuvres peuvent s'avérer dangereuses et compromettre la sécurité du véhicule. De plus, le conducteur ne connaît pas toujours la fonction optimum à activer en fonction des conditions climatiques, son champ de vision étant réduit.

Des solutions existantes permettent de détecter la présence de brouillard, de pluie, d'éblouissement ou de condensation à partir d'images capturées par la caméra du véhicule. Toutefois, chacune de ces méthodes ne permet pas nécessairement de faire la différence entre les différentes conditions climatiques, et notamment entre les conditions climatiques statiques, telles que la condensation ou la neige présentes sur le pare-brise du véhicule, pour lesquelles il est recommandé d'activer le chauffage dans le véhicule, et les conditions climatiques dynamiques de l'environnement du véhicule telles que la pluie, le soleil ou le brouillard pour lesquelles il n'est pas nécessaire d'activer le chauffage dans le véhicule. La présente invention a pour but de remédier au moins en partie à ces inconvénients en permettant de distinguer les conditions climatiques statiques des conditions climatiques dynamiques de manière simple, fiable et efficace afin notamment d'activer une fonction adéquate du véhicule.

A cet effet, l'invention a pour objet un procédé d'assistance à la conduite d'un véhicule automobile soumis à des conditions climatiques, lesdites conditions climatiques comprenant des conditions statiques associées au véhicule et des conditions dynamiques associées à l'environnement du véhicule, le véhicule comprenant un pare-brise sur lequel est montée une caméra, ledit procédé étant remarquable en ce qu'il comprend les étapes :

• d'acquisition d'au moins une image par la caméra,

• de calcul d'au moins un niveau de flou d'au moins un groupe de pixels de ladite image,

• de détermination d'au moins une valeur d'au moins un paramètre dudit groupe de pixels relatif aux conditions climatiques dynamiques,

• de comparaison entre ledit niveau de flou et ladite valeur de paramètre,

• de détermination de la nature statique ou dynamique des conditions climatiques à partir de ladite comparaison afin d'assister le conducteur dans sa conduite.

Par les termes « conditions statiques associées au véhicule », on entend des conditions climatiques générant la présence persistante de matière sur une partie du véhicule tel que, par exemple, de la condensation sur le capteur de la caméra ou sur le pare-brise du véhicule, de la neige sur le pare-brise, etc. pour lesquelles il est recommandé d'activer le chauffage dans le véhicule, et des conditions dynamiques associées à l'environnement du véhicule telles que la pluie, le soleil ou le brouillard pour lesquelles il n'est pas nécessaire d'activer le chauffage dans le véhicule.

La détermination de la nature statique ou dynamique des conditions climatiques permet notamment de détecter une anomalie et aider au diagnostic de ladite anomalie, par exemple lorsque les fonctions d'assistance du système ADAS sont régulièrement indisponibles pour un véhicule donné.

De préférence, le procédé comprend une étape d'activation d'au moins une fonction du véhicule en fonction de la nature statique ou dynamique des conditions climatiques déterminée. Une telle activation peut correspondre à une mise en place d'une stratégie d'activation différente d'une fonction du véhicule en fonction de la nature statique ou dynamique.

De préférence encore, l'activation d'une fonction du véhicule correspond à l'activation du chauffage lorsque les conditions climatiques sont de nature statique et à l'envoi d'un message d'information au conducteur lorsque les conditions climatiques sont de nature dynamique.

Selon un aspect de l'invention, le paramètre de l'image relatif aux conditions climatiques dynamiques est la variation du niveau de flou dans une série d'images consécutives capturées par la caméra. Ainsi, lorsque le niveau de flou varie, par exemple de plus de 15 %, sur la série d'images consécutives alors les conditions climatiques sont de nature dynamique et correspondent en particulier à de la pluie ou de la grêle.

Selon un autre aspect de l'invention, le paramètre de l'image relatif aux conditions climatiques dynamiques est la variation du niveau de flou avec la distance des objets représentés dans l'image. Ainsi, lorsque le niveau de flou varie de manière exponentielle avec la distance sur l'image alors les conditions climatiques sont de nature dynamique et correspondent en particulier à du brouillard.

Selon un autre aspect de l'invention, le paramètre de l'image relatif aux conditions climatiques dynamiques est la variation du niveau de flou avec l'intensité des pixels du groupe de pixels. Ainsi, lorsque le niveau de flou augmente avec l'intensité des pixels du groupe alors les conditions climatiques sont de nature dynamique et correspondent à des éblouissements provoqués par des rayons lumineux.

L'invention concerne aussi un dispositif d'assistance à la conduite d'un véhicule automobile soumis à des conditions climatiques, lesdites conditions climatiques comprenant des conditions statiques associées au véhicule et des conditions dynamiques associées à l'environnement du véhicule, ledit dispositif étant remarquable en ce qu'il comprend :

• une caméra, montée sur le pare-brise du véhicule, configurée pour acquérir une pluralité d'images,

· une unité de calcul d'au moins un niveau de flou d'au moins un groupe de pixels de ladite image,

• une première unité de détermination d'au moins une valeur d'au moins un paramètre dudit groupe de pixels relatif aux conditions climatiques dynamiques,

· une unité de comparaison entre ledit niveau de flou et ladite valeur de paramètre,

• une deuxième unité de détermination de la nature statique ou dynamique des conditions climatiques à partir de ladite comparaison afin d'assister le conducteur dans sa conduite en fonction de la nature statique ou dynamique des conditions climatiques déterminée. De préférence, le dispositif comprend en outre une unité d'activation d'au moins une fonction du véhicule en fonction de la nature statique ou dynamique des conditions climatiques déterminée.

L'invention concerne également un véhicule comprenant un dispositif tel que présenté précédemment.

D'autres caractéristiques et avantages de l'invention apparaîtront lors de la description qui suit faite en regard des figures annexées données à titre d'exemples non limitatifs et dans lesquelles des références identiques sont données à des objets semblables :

- La figure 1 illustre une forme de réalisation du dispositif selon l'invention.

- La figure 2 illustre un mode de mise en œuvre du procédé selon l'invention.

Le dispositif selon l'invention est destiné à être monté dans un véhicule automobile afin d'assister le conducteur dudit véhicule dans sa conduite. De manière connue, le véhicule est soumis à des conditions climatiques qui sont à la fois statiques et dynamiques. Les conditions statiques sont associées au véhicule et génèrent la présence persistante de matière sur une partie du véhicule tel que, par exemple, de la condensation sur le capteur de la caméra ou sur le pare-brise du véhicule, de la neige sur le pare-brise, etc.. De telles conditions statiques nécessitent préférentiellement d'activer le chauffage du véhicule pour évacuer la condensation ou faire fondre la neige. Les conditions dynamiques sont associées à l'environnement du véhicule et peuvent, par exemple, être la pluie, le soleil ou le brouillard. A l'opposé des conditions statiques, ces conditions dynamiques ne nécessitent pas l'activation du chauffage du véhicule.

En référence à la figure 1 , le dispositif 1 comprend une caméra 10, une unité de calcul 20, une première unité de détermination 30, une unité de comparaison 40, une deuxième unité de détermination 50 et une unité d'activation 60.

La caméra 10 est montée au niveau de la partie supérieure du pare-brise du véhicule et est configurée pour acquérir une pluralité d'images représentant l'environnement du véhicule.

L'unité de calcul 20 est configurée pour calculer au moins un niveau de flou d'au moins un groupe de pixels d'une image acquise par la caméra 10.

La première unité de détermination 30 est configurée pour déterminer au moins une valeur d'au moins un paramètre d'un groupe de pixels d'une image acquise par la caméra 10, ledit paramètre étant relatif à des conditions climatiques dynamiques.

L'unité de comparaison 40 est configurée pour comparer un niveau de flou calculé par l'unité de calcul 20 et une valeur de paramètre déterminée par la première unité de détermination 30. La deuxième unité de détermination 50 est configurée pour déterminer la nature statique ou dynamique des conditions climatiques à partir d'une comparaison effectuée par l'unité de comparaison 40.

Enfin, l'unité d'activation 60 est configurée pour activer une fonction du véhicule afin d'assister le conducteur dans sa conduite en fonction de la nature statique ou dynamique des conditions climatiques déterminée, par exemple pour activer le chauffage du véhicule, envoyer un message au conducteur ou stocker un message pour un diagnostic ultérieur de maintenance.

L'invention va maintenant être décrite dans sa mise en oeuvre.

Dans une étape E0, la caméra 10 acquière une ou plusieurs images de l'environnement du véhicule. Chaque image est divisée en une pluralité de portions égales, par exemple 5 x 5 portions rectangulaires. Chaque portion d'image est divisée en une pluralité de portions de pixels, par exemple des groupes de 16 x 16 pixels.

Ensuite, l'unité de calcul 20 calcule, dans une étape E1 , au moins un niveau de flou pour chaque groupe de pixels de chaque portion de chaque image acquise par la caméra 10.

Dans un mode de mise en œuvre préféré, trois paramètres relatifs aux conditions climatiques dynamiques sont déterminés dans une étape E2 afin d'être utilisés : le temps, la distance des objets dans une image et l'intensité des pixels d'une image.

En ce qui concerne le paramètre de temps, la variation du niveau de flou dans une série d'images consécutives capturées par la caméra est analysée dans une étape E3a.

Une manière de déterminer le niveau de flou est d'estimer une probabilité de blocage pour chaque groupe de pixels de chaque portion d'une image acquise par la caméra 10.

Ainsi, par exemple, pour chaque groupe de 16 x 16 pixels, on peut déterminer un contour par transformée de Haar, par exemple en appliquant trois filtres de trois résolutions différentes, puis en déduire une classification du contour sur le groupe de pixels (par exemple, un Dirac). Un contour correspond à une différence notable de niveau de flou entre des pixels d'une même portion de l'image. Ensuite, selon la répartition des contours classifiés, on en déduit une probabilité de blocage dudit groupe de pixels. Un exemple de transformée de Haar et de classification est donné dans le document « Blur détection for digital images using wavelet transform. » (Hanghang Tong, Mingjing Li, Hongjiang Zhang, Changshui Zhang; IEEE International Conférence on multimédia, Juin 2004) incorporé ici par référence. Lorsque le niveau de flou ne varie pas ou varie peu, par exemple de moins de 15 %, sur la série d'images consécutives alors les conditions climatiques sont déterminées, dans une étape E4, comme étant de nature statique et peuvent par exemple correspondre à de la condensation sur la caméra ou le pare-brise ou à de la neige sur le pare-brise. Dans ce cas, le chauffage du véhicule peut être activé dans une étape E5a.

Lorsque le niveau de flou varie, par exemple de plus de 15 %, et/ou que le niveau de flou moyen est supérieur à 50 % sur la série d'images consécutives alors les conditions climatiques sont déterminées, dans une étape E4, comme étant de nature dynamique et correspondent en particulier à de la pluie ou de la grêle. Dans ce cas, un message d'information peut être envoyé au conducteur dans une étape E5b.

En ce qui concerne le paramètre de distance, la variation du niveau de flou avec la distance des objets représentés dans l'image est analysée dans une étape E3b.

Une manière de déterminer la variation du niveau de flou avec la distance est d'estimer le contraste qui évolue de manière inversement proportionnelle au niveau de flou pour chaque groupe de pixels, par exemple de 12 x 12 pixels, de chaque portion d'une image acquise par la caméra 10. A titre d'exemple, on peut établir le rapport entre la différence maximum entre deux pixels voisins (en ligne ou en colonne) et la différence entre l'intensité maximum et l'intensité minimum.

Ainsi, par exemple, lorsque le niveau de flou augmente avec la distance sur l'image alors les conditions climatiques sont déterminées, dans une étape E4, comme étant de nature dynamique et correspondent en particulier à du brouillard. Dans ce cas, un message d'information peut être envoyé au conducteur dans une étape E5b.

En ce qui concerne le paramètre d'intensité, la variation du niveau de flou avec l'intensité des pixels de chaque groupe de pixels d'une image est analysée dans une étape E3c.

Comme expliqué précédemment, une manière de déterminer le niveau de flou est d'estimer une probabilité de blocage, par exemple comme décrit précédemment pour chaque groupe de pixels, par exemple de 5 x 5 pixels, de chaque portion d'une image acquise par la caméra 10.

L'estimation de l'intensité des groupes de pixels peut être réalisée en calculant la moyenne pour chaque portion de chaque bloc 16 x 6 qui ne sont pas considérés comme des contours.

Ainsi, lorsque le niveau de flou augmente avec l'intensité des pixels du groupe alors les conditions climatiques sont déterminées, dans une étape E4, comme étant nature dynamique et correspondent à des éblouissements provoqués par des rayons lumineux. Dans ce cas, un message d'information peut être envoyé au conducteur dans une étape E5b. On notera qu'il n'est pas nécessaire d'activer une fonction du véhicule lorsque les conditions climatiques sont de nature dynamique, l'envoi d'un message étant optionnel mais préférentiel.

Le procédé selon l'invention permet avantageusement d'assister le conducteur dans sa conduite en déterminant de manière rapide et fiable la nature des conditions climatiques associées au véhicule et à son environnement. Une détermination peut être utilisée par exemple pour activer une ou plusieurs fonctions du véhicule ou pour réaliser un diagnostic relatif à une anomalie.

Il est à noter enfin que la présente invention n'est pas limitée aux exemples décrits ci-dessus et est susceptible de nombreuses variantes accessibles à l'homme de l'art.