L'invention a pour domaine technique le traitement et l'affichage d'images acquises par une caméra embarquée, et plus particulièrement l'application d'un tel traitement aux systèmes d'aide à la circulation routière.

Lorsqu'un conducteur de véhicule automobile arrive sur un échangeur routier, il est intéressant pour lui d'identifier la voie qu'il doit emprunter afin de se positionner correctement selon sa direction et éviter des manœuvres précipitées au dernier moment.

Ceci est généralement proposé par les systèmes de navigation lorsqu'un parcours est défini. Par contre, lorsque le parcours dans le système de navigation n'a pas été défini, que la cartographie n'est plus à jour, que des zones de contournements/déviations sont proposées pour des raisons de travaux sur voie, que des itinéraires « bis » sont proposés ou que le signal GPS est perdu en cours de roulage (ex : sous tunnel), il est intéressant pour le conducteur d'avoir une aide visuelle sur l'écran présent dans le tableau de bord du véhicule.

De l'état de la technique, on connaît le document KR101478258 divulguant une méthode de détection de voie de circulation sur une route à plusieurs voies. Toutefois, les panneaux de direction ne sont ni détectés ni affichés.

De plus, il est connu de l'état de la technique, des procédés d'affichage des panneaux de limitation de vitesse dans un écran multimédia de véhicule automobile. Ces panneaux de limitation de vitesse sont situés sur la scène routière. Cependant, ces procédés ne permettent pas d'afficher les panneaux de direction.

II existe un besoin pour un procédé et un système d'affichage d'images de panneaux de direction de la scène routière détectés sur une image acquise par une caméra embarquée. L'invention a pour objet un procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile muni d'une caméra, d'un écran et d'un premier moyen de calcul apte à réaliser une reconnaissance des panneaux de vitesse, la caméra étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule, l'écran étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule.

Le procédé comprend les étapes suivantes :

on acquiert, sans zoom numérique, une image de la scène observée avec la caméra,

on détecte si au moins un panneau de signalisation est présent sur l'image de la scène routière observée par le premier moyen de calcul,

si tel est le cas, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés par l'intermédiaire du premier moyen de calcul,

si tel est le cas, on détermine le panneau de direction à afficher et on procède à une reconnaissance des caractères sur le panneau de direction à afficher,

on détermine la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule,

si le panneau de direction est considéré comme lisible, on réalise une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et

on maintient l'affichage sur l'écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise.

Pour déterminer si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés, on peut déterminer la forme des panneaux détectés par reconnaissance des panneaux de vitesse et on peut comparer les formes déterminées à une base de données de formes de panneaux de direction.

On peut déterminer si un panneau de signalisation est un panneau de direction en déterminant la présence d'une flèche de direction par comparai son avec une base de données des flèches de direction présentes sur des panneaux de direction.

Lorsque la route comprend plusieurs voies de circulation, on peut déterminer le panneau à afficher en réali sant les étapes suivantes :

on détermine la présence de voies en fonction des lignes de signali sation présentes sur la route par l ' intermédiaire d'un procédé d' alerte de franchi ssement involontaire de ligne AFIL (en langue anglai se « Lane departure warning System ») ou d' assi stance de maintien de ligne réali sables par un système de calcul équipant le véhicule,

on associe les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies,

on détermine la voie dans l aquelle le véhicule circule, et on choi sit comme panneau à afficher le panneau de directio n parmi les panneaux de direction détectés associé à la voie dans laquelle le véhicule circule.

Lorsque la route comprend une seule voie de circulation, on peut déterminer que le panneau à afficher est le panneau de direction détecté.

Pour déterminer la lisibilité du panneau de direction à affi cher, on peut déterminer la taill e en nombre de pixels des caractères dont la présence a été détectée sur l ' image rognée du panneau à afficher i ssue de la reconnai ssance des panneaux de vitesse,

on peut déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixel s correspondant à 50% de reconnai ssance d' un caractère déterminée empiriquement, et

si tel est le cas, on peut confirmer la possibilité d'une mi se à l ' échelle sans dégradation de la li sibilité sur l ' écran en fonction de règles ergonomiques .

Un autre obj et de l ' invention est un système d' affichage d' un panneau de direction de la scène routière pour un véhicule automobil e muni d'une caméra, d'un écran et d'un premier moyen de calcul apte à réaliser une reconnaissance des panneaux de vitesse, la caméra étant fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule, l'écran étant disposé de sorte à être visible du conducteur durant l'utilisation du véhicule.

Le système comprend le premier moyen de calcul apte à détecter la présence de panneaux de signalisation sur l'image reçue de la caméra, un deuxième moyen de calcul apte à déterminer si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés, et un quatrième moyen de calcul apte à déterminer la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule. Le quatrième moyen de calcul est par ailleurs apte à réaliser une mise à l'échelle de l'image du panneau de direction à afficher ainsi qu'un traitement de l'image mise à l'échelle, et à maintenir l'affichage sur l'écran du panneau de direction à afficher, tant que le panneau de direction demeure présent sur l'image acquise, le premier moyen de calcul étant relié en sortie au deuxième moyen de calcul lui-même connecté en sortie au quatrième moyen de calcul, le quatrième moyen de calcul étant connecté en sortie à l'écran.

Le deuxième moyen de calcul peut être apte à déterminer si un panneau de signalisation est un panneau de direction en comparant la forme du panneau de signalisation avec une base de données des formes des panneaux de direction.

Le deuxième moyen de calcul peut être apte à déterminer si un panneau de signalisation est un panneau de direction en déterminant la présence d'une flèche de direction par comparaison avec une base de données des flèches de direction présentes sur des panneaux de direction.

Le système peut comprendre un troisième moyen de calcul apte à réaliser une alerte de franchissement involontaire de ligne ou une assistance de maintien de ligne connecté entre le deuxième moyen de calcul et le quatrième moyen de calcul, le troisième moyen de calcul étant apte à déterminer si la route comprend une ou plusieurs voies de circulation, et apte à déterminer le panneau de direction à afficher en fonction des positions respectives des panneaux, des voies et du véhicule.

Pour déterminer la lisibilité des caractères du panneau de direction à afficher sur l'écran du véhicule, le quatrième moyen de calcul peut être apte à déterminer la taille en nombre de pixels des caractères dont la présence a été détectée sur l'une image rognée du panneau à afficher issue du premier moyen de calcul, à déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixels correspondant à 50% de reconnaissance d'un caractère déterminée empiriquement et si tel est le cas, à confirmer la possibilité d'une mise à l'échelle sans dégradation de la lisibilité sur l'écran en fonction de règles ergonomiques,

D'autres buts, caractéristiques et avantages de l'invention apparaîtront à la lecture de la description suivante, donnée uniquement à titre d'exemple non limitatif et faite en référence aux dessins annexés sur lesquels :

- la figure 1 illustre les principales étapes d'un procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile selon l'invention,

- la figure 2 illustre les principaux éléments d'un système d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile selon un premier mode de réalisation de l'invention, et

- la figure 3 illustre les principaux éléments d'un système d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile selon un deuxième mode de réalisation de Γ invention.

Le critère Johnson Rosell a été initialement défini pour des applications militaires d'observation thermique au cours desquelles des seuils de détection, d'identification et de reconnaissance devaient être déterminés. Ce critère est employé dans la présente invention afin de déterminer la capacité du conducteur à détecter, identifier et reconnaître sur un écran d'affichage l'image de caractères présents sur un panneau de direction.

Le critère de Johnson Rosell consiste à substituer à l'objet à détecter une cible de même taille contenant une ou plusieurs paires de lignes dans sa hauteur et dans sa largeur. Le nombre de paires de lignes de la cible est associé à un taux de détection, de reconnaissance et d'identification. Ces taux représentent les probabilités de détection, de reconnaissance ou d'identification de l'objet par l'utilisateur. En d'autres termes, la mise en œuvre du critère de Johnson Rosell dans l'invention permet de déterminer si une image acquise peut être affichée ou non, tout en sachant qu'elle sera lisible pour le conducteur.

Appliqué à la détermination de la lisibilité de caractères sur un panneau de direction, le nombre de paires de lignes N correspond à un nombre de paires de lignes de pixels sur l'écran affichant l'image finale tandis que l'objet à identifier correspond à la forme d'une lettre sur le panneau de direction. La courbe des probabilités du critère de Johnson est construite selon la formule suivante :

E

( N

Probabilité (N)= (Eq. 1)

Avec

N : le nombre de paires de lignes

N50 : le nombre de paires de lignes avec une probabilité de 'identification. La valeur N50 doit être déterminée empiriquement et est dépendante de l'écran et de la caméra, ainsi que de la position de celui-ci par rapport à l'utilisateur.

Cette courbe permet donc de déterminer le nombre N de lignes ou de pixels sur l'écran nécessaires à l'utilisateur pour pouvoir identifier une lettre avec une probabilité de réussite Probabilité (N) donnée et un nombre N50 de lignes ou de pixels sur l'écran nécessaires à l'utilisateur pour pouvoir identifier une lettre avec une probabilité de réussite de 50% donnée.

Connaissant le nombre de pixels N requis pour une identification, on peut le comparer au nombre de pixels affichés afin de déterminer si l'utilisateur peut identifier une lettre ou non.

Sur le capteur de la caméra, la lettre doit à minima faire le même nombre de pixels que sur l'écran (un pixel de l'écran correspond à un pixel de la caméra) pour qu'une telle conclusion soit valable. Dans le cas contraire, un ratio de pixels entre la caméra et l'écran doit être introduit.

Compte tenu des éléments exposés ci-dessus, on peut également définir les probabilités suivantes par extension de l'équation (Eq. 1) à différentes situations :

Sur la scène de route avec l'acquisition d'un panneau de direction par la caméra, on peut détecter la présence d'informations à l'intérieur de ce panneau à hauteur d'une probabilité de détection. Dans ce cas on considère une valeur N50 relative à la détection.

Parmi les informations détectées à l'intérieur du panneau, on peut reconnaître un caractère d'un autre type d'information (flèche, symbole, etc.) à hauteur d'une probabilité de reconnaissance. Dans ce cas, on considère une valeur N50 relative à la reconnaissance.

Sur les panneaux contenant des caractères reconnus, on peut identifier ces caractères à hauteur d'une probabilité d'identification. Dans ce cas, on considère une valeur N50 relative à l'identification.

Dans chacune de ces situations, on peut déterminer une taille caractéristique minimale de détection, de reconnaissance et d'identification à comparer avec la taille de l'objet correspondant sur l'image issue de la caméra ou affichée sur l'écran.

On va maintenant décrire l'évaluation de la lisibilité d'un caractère.

Le raisonnement présenté ci-après est effectué par rapport à la direction horizontale d'un caractère et doit être reproduit de la même façon pour la taille verticale.

On pose qu'un pixel de la caméra correspond à un pixel de l'écran.

On pose également que le nombre de paires de lignes de la caméra est égal au nombre de paires de pixels.

On définit également les grandeurs suivantes :

Pe_h : Taille horizontale de l'écran en pixels

Pe_v : Taille verticale de l'écran en pixels

PL h : Taille horizontale de la lettre en pixels

PL v : Taille verticale de la lettre en pixels

On définit ensuite une table de probabilité d'identification d'une lettre en fonction du nombre de paires de lignes acquises. Une telle table peut être déterminée de façon empirique.

De cette table, on détermine un seuil de nombre de paires de lignes permettant de dépasser un seuil de probabilité d'identification choisi. Par exemple, une telle table peut renseigner qu'une probabilité de 95% de bonne identification correspond à un nombre de paires de pixels égal au minimum à 12, soit 24 pixels de hauteur.

En d'autres termes, dans cet exemple, lorsque la taille de la lettre est supérieure à 24 pixels, le caractère est considéré comme identifiable dans la direction horizontale.

On reproduit ensuite les mêmes étapes pour déterminer la taille verticale minimale d'identification.

On considère ensuite que le caractère est lisible lorsque ses dimensions satisfont les tailles minimales d'identification, dans les deux directions. Le procédé d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile va maintenant être décrit en relation avec la figure 1.

Au cours d'une première étape 1, on acquiert, sans zoom numérique, une image de la scène observée avec une caméra fixée sur le véhicule automobile de sorte à acquérir des images de la scène routière située devant le véhicule.

Au cours d'une deuxième étape 2, on détecte si au moins un panneau de signalisation est présent sur la scène observée par l'intermédiaire d'une reconnaissance des panneaux de vitesse connus de l'état de la technique antérieure. En effet, ce type de procédé est apte à reconnaître les panneaux de signalisation, et parmi ces panneaux, à reconnaître ceux du type panneau de vitesse. Un tel procédé peut donc être utilisé pour détecter la présence d'un panneau de signalisation. Si tel est le cas, le procédé se poursuit par une troisième étape.

Au cours de la troisième étape 3, on détermine si au moins un panneau de direction est présent parmi les panneaux de signalisation détectés. Pour cela, on classe les panneaux détectés en fonction de leur type en déterminant la forme des panneaux détectés par reconnaissance des panneaux de vitesse et en comparant les formes déterminées à une base de données de formes de panneaux. Alternativement, on détermine également par comparaison avec une base de données si le panneau comprend une flèche de direction. Si tel est le cas, le panneau est un panneau de direction. Si au moins un panneau détecté est un panneau de direction, le procédé se poursuit par une quatrième étape.

Au cours d'une quatrième étape 4 optionnelle selon les modes de réalisation, on détermine si la route comprend une ou plusieurs voies de circulation par l'intermédiaire d'un procédé d'alerte de franchissement involontaire de ligne AFIL (en langue anglaise « Lane departure warning System ») ou d'assistance de maintien de ligne (en langue anglaise « Lane Keeping Assist ») connus de l'état de la technique antérieure. Lorsque la route comprend plusieurs voies de circul ation et que plusieurs panneaux de direction sont détectés sur la partie centrale de la route au-dessus de chaque voie, on détermine le panneau de direction à afficher en réali sant les étapes suivantes :

-on détermine la présence de voies en fonction des lignes de signali sation présentes sur la route,

-on associe les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies,

-on détermine la voie dans laquelle le véhicule circule,

-on choi sit comme panneau à afficher le panneau de direction parmi les panneaux de direction détectés associé à la voie dans laquelle le véhicule circule.

Lorsque la route comprend une seule voie de circulation, on détermine que le panneau à afficher est le panneau de direction détecté.

On considère implicite la présence de caractères dès lors qu ' un panneau de direction est détecté.

Au cours d' une cinquième étape 5 , on détermine la li sibilité du panneau de direction à afficher sur l ' écran. Pour réali ser cel a, on applique les étapes suivantes :

on détermine la taill e en nombre de pixels des caractères dont la présence a été détectée sur l ' image rognée du panneau à afficher i ssue du procédé de reconnai ssance des panneaux de vitesse,

on détermine si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur N50 de nombre de pixel s correspondant à 50% de reconnai ssance d'un caractère déterminée empiriquement,

si tel est le cas, on confirme la possibilité d'une mi se à l ' échelle sans dégradation de la li sibilité sur l ' écran par application de règles ergonomiques propres au constructeur.

Au cours d' une éventuelle sixième étape 6, on met à l ' échelle l ' image du panneau de direction à afficher avec la mi se à l ' échelle déterminée à la cinquième étape. Au cours d'une éventuelle septième étape 7, on réalise un traitement de l'image (saturation, contraste) du panneau de direction à afficher et mis à l'échelle.

Dans tous les cas, le procédé se poursuit par l'affichage sur l'écran du panneau de direction à afficher, l'affichage du panneau étant maintenu tant que le panneau demeure présent sur l'image acquise.

Alternativement, le procédé affiche au moins un autre type de panneaux routiers, par exemple un panneau d'indication de radars fixes de contrôle de vitesse.

La figure 2 illustre les principaux éléments d'un système d'affichage d'un panneau de direction de la scène routière pour un véhicule automobile. On peut voir que le système d'affichage comprend un calculateur 10 comprenant des moyens de calculs (10a, 10b, 10c, lOd), connectés en entrée à une caméra 11 de sorte à acquérir des images de la scène routière située devant le véhicule, le calculateur étant connecté en sortie à un écran 12 disposé dans l'habitacle pour l'affichage d'informations au conducteur lors de l'utilisation du véhicule.

Le calculateur 10 comprend un premier moyen de calcul 10a apte à analyser l'image reçue de la caméra 11 afin d'y détecter la présence de panneaux de signalisation. Un moyen de calcul 10a peut être un moyen de reconnaissance des panneaux de limitation de vitesse. En effet, un tel moyen est apte à déterminer la présence de panneaux de signalisation routière puis parmi ces panneaux, ceux signalant une limitation de vitesse. Il est ainsi possible d'utiliser le résultat intermédiaire d'un tel moyen pour disposer des panneaux de signalisation routière de la scène.

Le premier moyen de calcul 10a est relié en sortie à un deuxième moyen de calcul 10b apte à détecter la présence de panneaux de direction parmi les panneaux détectés.

Pour cela, le moyen de calcul 10b est apte à déterminer la forme des panneaux détectés par des moyens connus de l'état de la technique et à comparer les formes déterminées à une base de données de formes de panneaux de direction. En variante, le moyen de calcul 10b est également apte à déterminer si un panneau de signali sation est un panneau de direction en déterminant la présence d' une fl èche de direction par comparai son avec une base de données des flèches de direction présentes sur des panneaux de direction. Le deuxième moyen de calcul 10b est connecté en sortie à un quatrième moyen de calcul l Od apte à évaluer la li sibilité des caractères détectés qui sera décrit plus loin.

Selon un deuxième mode de réali sation illustré par la figure 3 , le système comprend un troi sième moyen de calcul 10c connecté en entrée au deuxième moyen de calcul l Od et connecté en sortie au quatrième moyen de calcul l Od apte à évaluer la li sibilité des caractères détectés .

Le troi sième moyen de calcul 10c est apte à déterminer la position desdits panneaux par rapport aux différentes voies de circul ation sur la route et à détecter les caractères présents sur lesdit s panneaux. Le troi sième moyen de calcul 10c peut être un sy stème d' alerte de franchi ssement involontaire de ligne AFIL (en langue anglai se « Lane departure warning System ») ou un sy stème d' assi stance de maintien de ligne (en langue anglai se « Lane Keeping Assi st ») connus de l ' état de la technique antérieure.

Pour déterminer la position desdits panneaux par rapport aux différentes voies de circulation sur la route, le moyen de calcul 10c est apte à déterminer si la route comprend une ou plusieurs voies de circul ation. Lorsque la route comprend plusieurs voies de circulatio n et que plusieurs panneaux de direction sont détectés sur la partie centrale de la route au-dessus de chaque voie, le moyen de calcul 1 0c est apte à déterminer le panneau de direction à affi cher en déterminant la présence de voies en fonction des lignes de signali sation présentes sur la route, en associant les panneaux de direction détectés à une voie en fonction des positions respectives des panneaux et des voies, en déterminant la voie dans laquelle le véhicule circule, en choisissant comme panneau à afficher le panneau de direction parmi les panneaux de direction détectés associé à la voie dans laquelle le véhicule circul e.

Lorsque la route comprend une seule voie de circulation, le moyen de calcul 10c est apte à déterminer que le panneau à afficher est le panneau de direction détecté .

Par ailleurs, on considère implicite la présence de caractères dès lors qu' un panneau de direction est détecté.

Quel que soit le mode de réali sation, le moyen de calcul l Od est apte à déterminer la taille en nombre de pixels des caractères dont la présence a été détectée sur l ' image rognée du panneau à afficher reçue du premier moyen de calcul 10a, à déterminer si la taille déterminée des caractères est supérieure ou égale à une valeur minimale de taille de caractère prédéterminée en fonction du critère de Johnson Rosell avec une valeur de nombre de pixel s correspondant à 50% de reconnai ssance d'un caractère déterminée empiriquement et si tel est le cas, à confirmer la possibilité d'une mise à l ' échelle sans dégradation de la li sibilité sur l ' écran en fonction de règl es ergonomiques propres au constructeur.

La présente invention peut s' appliquer à tout type de panneau et permet de garantir un affichage compréhensibl e par le conducteur de l ' image capturée par la caméra.