Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
ROAD IMAGE SEQUENCE ANALYSIS DEVICE AND METHOD FOR OBSTACLE DETECTION
Document Type and Number:
WIPO Patent Application WO/1993/021596
Kind Code:
A1
Abstract:
A method for analyzing road image sequences from the on-board camera of a moving vehicle. The method combines the analysis (130, 131, 132) of a luminance signal, from which outlines are determined, with the analysis (110) of colour video signals, while taking into account the fact that the colorimetric components of a road area in an image contain no red or green cast, in order reliably to locate the edges of the road in the image on the basis of said outlines. A road mask is then formed by filling. The method may be used in particular to detect obstacles on the road on which a vehicle is travelling, and the data generated may be combined with data from other detectors in a road traffic obstacle detection system.

Inventors:
RABOISSON STEPHANE (FR)
EVEN GILLES (FR)
Application Number:
PCT/FR1992/000329
Publication Date:
October 28, 1993
Filing Date:
April 14, 1992
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
THOMSON CSF (FR)
RABOISSON STEPHANE (FR)
EVEN GILLES (FR)
International Classes:
G05D1/02; G06T5/00; G08G1/16; (IPC1-7): G06F15/68; G08G1/16; G05D1/03
Foreign References:
EP0361914A21990-04-04
Other References:
PROCEEDINGS OF THE FIRST INTERNATIONAL CONFERENCE ON COMPUTER VISION, LONDRES , 8-11 JUIN 1987 NEW YORK pages 557 - 566 DARVIN KUAN ET AL. 'autonomous land vehicle road following'
PROCEEDINGS OF THE 22 ND ASILOMAR CONFERENCE ON SIGNALS,SYSTEMS AND COMPUTERS, PACIFIC GROVE,CALIFORNIE,VOL1 ,31 OCTOBRE 1988 F. CARTOSIO ET AL. 'a fuzzy data-fusion approach to segmentation of colour images'
Download PDF:
Claims:
REVENDICATIONS
1. Procédé d'analyse de séquences d'images routières , prises par une caméra embarquée à bord d'un véhicule roulant pour l'extraction de routes dans les images , caractérisé en ce qu'il comporte : une première étape d'analyse (130, 131, 140) de l'infor¬ mation luminance des signaux vidéo images pour extraire les contours et régions des images et établir un masque de la route, une deuxième étape (110) , d'analyse des signaux vidéo couleurs au cours de laquelle une partition de l'image est réali sée sur les points qui de manière certaine ne peuvent appartenir à la route, une troisième étape (150) qui combine les informations issues de l'étape d'analyse de la luminance et de l'étape d'analyse couleurs, pour l'extraction finale de la route .
2. Procédé selon la revendication 1, caractérisé en ce que l'étape d'analyse de la luminance comporte une phase (130) de calcul des gradients sur le signal de luminance, les amplitudes des gradients calculés aux différents points d'image constituant une image de contours , ~ une phase de calcul d'une caractéristique région définis¬ sant un masque de la route à partir de l'image des contours au cours de laquelle un filtrage moyenneur (131) dans un voisinage local du point courant est effectué et donne pour chaque point d'image une valeur caractéristique de l'énergie du signal dans le voisinage local considéré, puis une étape (132) de seuillage pour ne retenir que les valeurs d'énergie supérieures à un seuil, associées aux segments de contours image des bords de route dans l'image, et de traitement des segments de contour pour les rendre connexes , et enfin de remplissage de la région délimitée par les bords de route . FEUILLE DE R .
3. Procédé selon l'une des revendications 1 et 2, caracté¬ risé en ce que l'étape d'analyse couleurs (110) utilise le fait que dans les séquences images routières, les routes ne compor¬ tent pas de dominante colorimétrique verte ou rouge et comporte une phase (112) de calcul de composantes moyennes des trois couleurs fondamentales autour d'un point courant, et de détermination de la composante moyenne maximum entre les deux composantes verte et rouge, une comparaison (113) de cette valeur maximum et de la valeur de la composante moyenne bleue, suivie d'une phase de test (116) de la différence entre ces valeurs par rapport à un seuil, les points pour lesquels cette différence est supérieure au seuil étant de manière certaine situés en dehors de la route.
4. Procédé selon l'une des revendications 1 à 3, caractéri se en ce que l'étape (150) de combinaison des informations rela¬ tives au masque de la route établies au cours de la première étape et les informations relatives à la zone d'image en dehors de la route obtenues dans la deuxième étape établit précisément les voies de roulement contenues dans les séquences images rou tières initiales et éventuellement de localiser des obstacles sur ces voies de roulement.
5. Procédé selon l'une quelconque des revendications précé¬ dentes, caractérisé en ce que l'étape d'analyse de luminance et l'étape d'analyse couleurs sont effectuées en parallèle 5 6 Dispositif d'analyse de séquences d'images routières issues d'une caméra (3) et disponibles sous forme de composan¬ tes numériques de couleur et après conversion des composantes de couleur, sous forme d'une composante de luminance, destiné à la mise en oeuvre du procédé d'analyse selon l'une des reven Q dications 1 à 5, caractérisé en ce qu'il comporte un dispositif d'analyse contour et régions (13) dont l'entrée est destinée à recevoir le signal de luminance d'image, FEUILLE DE RE un dispositif d'analyse couleurs (11) dont l'entrée est destinée à recevoir les trois composantes de couleur, consti¬ tuant l'image vidéo, et un dispositif (15) d'extraction de route relié aux sorties du dispositif d'analyse contours et régions et du dispo¬ sitif d'analyse couleurs .
6. Application du procédé selon l'une des revendications 1 à 5 à la détection d'obstacles sur voies de roulement, caractéri¬ sé en ce que l'analyse de séquences d'images vidéo routières conduit à l'extraction de routes dans les images et à la locali¬ sation éventuelle d'obstacles lorsque le masque de la route est discontinu .
7. Application selon la revendication 7, caractérisé en ce qu'un dispositif de fusion de données destiné à recevoir simulta nément les informations issues d'un dispositif d'analyse de séquences d'images selon la revendication 6 et des informations issues du traitement de signaux issus d'autres moyens détecteurs d'obstacles (1, 2) , est prévu pour générer des informations relatives aux obstacles détectés sur la route telle qu'analysée par la caméra et résultant des séquences d'images d'une part, et telle qu'analysée par les autres moyens détecteurs d'autre part, ce dispositif de fusion de données étant reliée à un ensemble de visualisation et d'alarmes (8) . FEUILLE DE REMPLACEMENT.
Description:
Procédé et dispositif d 'analyse de séquences d ' images routières pour la détection d 'obstacles.

L'invention se rapporte au domaine du traitement d'images et a plus particulièrement pour objet un procédé d'analyse de séquences d'images routières en vue de l'extraction de routes , un dispositif pour sa mise en oeuvre , et son application à la détection d'obstacles .

L'extraction d'informations relatives à la route, par l'intermédiaire d'images a été étudiée dans le cadre d'applica¬ tions mettant en oeuvre des véhicules de type robot mobile . La détection de route à partir d'images s'est développée dès lors qu'on a voulu rendre autonomes des engins de type robot mobile .

D'une manière générale un traitement dans ce domaine consiste à analyser l'information délivrée par une caméra à capteur CCD sous forme d'un signal vidéo couleur. Les images issues de la caméra portée par le mobile sont stockées en mé- moire oii elles sont transmises à différents modules de traitement.

Les méthodes classiques de détermination de contours ont été largement employées pour détecter les bords de route , avec plus ou moins de réussite du fait des problèmes d'ombres portées sur la route . En effet, une approche de type modélisation géométrique liée à la recherche de segments forts sur les images peut ne pas correspondre au mieux au modèle ligne droite dési ¬ ré , notamment dans le cas de conditions non optimales de prises de vues (mauvais temps, données brtiitées , . . . ) .

Les publications qui suivent se rapportent à ces travaux : ~ par C . THORPE et ai : "Vision and navigation for the

Carne ie -MELLON Navlab" I . E. E. E. Transactions on pattern analysis and machine intelligence , vol . 10 , n° 3, p . 362-373, mai 1988 ; - par J.M. LOWRIE et al : "The Autonomo s Land Vehicle preliminary road-follo in démonstration" Proc . SPIE 579 D . P .

CASAENT Ed; p .336-350, septembre 1985

FEUILLE DE REMPLACEMENT

- par M. TURK et al : "VITS : A vision system for Autonomous Land Véhicule navigation" I.E.E.E Trans . PAMI, Vol.10, n° 3 , p.343-361, mai 1988.

Ces travaux ne peuvent être appliqués au cas de la circu- lation automobile sur des axes autoroutiers, en vue d'applica¬ tions dans le domaine de la sécurité routière, du fait des con ¬ traintes imposées par ce type d'applications : vitesses élevées et circulation dense.

Dans le cadre de la détection d'obstacles "Hughes Arti- ficial Intelligence Center" a développé des techniques de télémétrie couplées à des bases de connaissances . On se repor¬ tera aux travaux de M.J. DAILY et al : "Detecting obstacles in range imagery" Proc. DARPA Image Understanding orhop, p.87-97, février 1987. L'avantage d'un tel procédé, utilisant la télémétrie réside dans la possibilité d'obtenir directement les distances séparant le véhicule des obstacles potentiels, en s'affranchissent des problèmes d'éclairement des scènes. Par contre le rayonnement des ondes émises peut être un inconvénient pour rester en conformité avec les normes de sécurité nécessaires .

D'une manière générale l'utilisation d'un capteur optique d'images associé à un procédé de traitement d'images permet de constituer d'un organe de perception pour le véhicule automo¬ bile. Dès lors, on peut envisager un grand nombre d'applications basées sur l'analyse de l'image et l'interprétation de scène.

Cependant, dans ce contexte, les principaux éléments constituant la scène sont la route et les objets qui s'y trouvent. Il est donc essentiel, préalablement à toute interprétation d'image, d'extraire et de localiser la route par rapport à laquelle le reste de la scène peut ensuite être décrit.

De nombreuses techniques de segmentation sont classique¬ ment utilisées, en traitement d'images , pour regrouper des ré¬ gions, sous des contraintes de similarité de caractéristiques .

La segmentation de scènes naturelles extérieures est une opération particulièrement complexe s'il faut prendre en compte

FEUILLE D

tous les éléments constituant celles-ci. Les conditions liées à l'environnement et leurs variations ne font qu'accentuer cette difficulté : (différentes saisons , météorologie, éclairage , heures de prises de vue : réflexion spectrale lorsque le soleil est bas , ombres, boue sur la chaussée , . . . ) .

Le but de l'invention est le développement d'un procédé d'analyse de séquences d'images routières en vue de l'extraction de voies de roulement (routes) et de la détection d'obstacles à partir de ces images . L'invention a pour objet un procédé d'analyse de séquen¬ ces d'images routières performant permettant d'obtenir des infor¬ mations relatives à la route et éventuellement aux obstacles susceptibles de s'y trouver, applicable même à la circulation sur axes autoroutiers, en vue notamment d'améliorer la sécurité dans la conduite automobile . A partir de ces informations , l'automatisation de certaines fonctions peut être établie et une extension des capacités de perception du conducteur est envisa¬ geable lors de longs trajets sur autoroute notamment, par déclen¬ chement d'alarmes ou de signalisation de danger. Selon l'invention, le procédé d'analyse de séquences d'ima¬ ges routières en vue de l'extraction de routes dans les images , est caractérisé en ce qu'il comporte :

- une première étape d'analyse de l'information luminance des signaux vidéo images pour extraire les contours et régions des images et établir un masque de la route ,

- une deuxième étape , d'analyse des signaux vidéo cou¬ leurs au cours de laquelle une partition de l'image est réalisée sur les points qui de manière certaine ne peuvent appartenir à la route, ~ une troisième étape qui combine les informations issues de l'étape d'analyse de la luminance et de l'étape d'analyse couleurs , pour l'extraction finale de la route .

L'invention a également pour objet un dispositif d'analyse de séquences d'images routières issues d'une caméra et disponi- blés sous forme de composantes numériqxies de couleur et après

FEUILLE DE

conversion des composantes de couleur, sous forme d'une compo ¬ sante de luminance, destiné à la mise en oeuvre du procédé d'analyse tel que décrit ci-dessus , est caractérisé en ce qu'il comporte - un dispositif d'analyse contour et régions dont l'entrée est destinée à recevoir le signal de luminance d'image associé à un dispositif de prédétermination du marquage horizontal,

- un dispositif d'analyse couleurs dont l'entrée est desti¬ née à recevoir les trois composantes de couleur, constituant l'image vidéo,

- et un dispositif d'extraction de route relié aux sorties du dispositif d'analyse contours et régions et du dispositif d'analyse couleurs.

L'invention a également pour objet l'application de ce procédé dans un système de détection d'obstacles applicable à la circulation automobile où l'analyse de séquences d'images vidéo routières conduit à l'extraction de routes dans les images et à la localisation éventuelle d'obstacles lorsque le masque de la route est discontinu. L'invention sera mieux comprise et d'autres caractéristi ¬ ques apparaîtront à l'aide de la description qui suit en réfé ¬ rence aux figures annexées .

La figure 1 est un schéma général d'un système de détec ¬ tion d'obstacles applicable à la sécurité automobile ; La figure 2 est le schéma synoptique du dispositif d'ana ¬ lyse d'images pour l'extraction de routes selon l'invention ;

La figure 3 est un organigramme du procédé d'analyse d'images mis en oeuvre pour l'extraction de routes ;

La figure 4 est un organigramme détaillé de la phase de calcul des gradients à partir du signal de luminance ;

La figure 5 est l'organigramme de la phase d'analyse couleur ;

La figure 6 est un schéma explicatif ;

La figure 7 est un organigramme de la phase de remplis - sage du masque de la route ;

FE L

Les figures 8 et 9 sont des schémas explicatifs de la fonction remplissage ;

La figure 10 est un schéma synoptique illustrant la mise en oeuvre du procédé selon l'invention en combinaison avec un procédé de détection d'obstacles, dans un système de détection d'obstacles appliqué à la sécurité automobile .

Comme indiqué ci-dessus l'invention concerne principale¬ ment l'extraction de la route et la détection d'anomalies sur les voies de roulement telles que par exemple des problèmes de revêtement sur la chaussée, ou des objets ou véhicules entrant dans la zone de sécurité limitée autour du véhicule roulant, à partir d'une analyse de séquence d'images routières .

La diversité des conditions naturelles d'éclairement et des aspects de la chaussée nécessite un procédé d'extraction "robuste" . En partant de l'hypothèse qu'à tout instant le véhicule roule sur la route et que la camr-ra, fixée par exemple au niveau du rétroviseur intérieur, reçoit les informations liées à la route et aux éventuels obstacles s'y trouvant, le dispositif de vision proposé "apprend" , de manière itérative, puis "reconnaît" l'apparence du revêtement de la chaussée . Le procédé d'extraction de la surface de la route dans l'image est fondé sur l'analyse de caractéristiques des voies de roulement en champ proche (apprentissage) et sur la segmentation de la route en perspective (reconnaissance) . Le traitement d'images a pour but de rechercher les attributs de caractérisation nécessai¬ res, c est-à-dire des informations contours/régions et des don¬ nées spécifiques couleurs liées à la composition colorimétrique de la chaussée par rapport au fond.

Pour la mise en oeuvre de ce traitement l'invention uti- lise des opérateurs simples, faciles à mettre en oeuvre dans une architecture dédiée à cette fonction . Un seul capteur vidéo est utilisé pour la mise en oeuvre du procédé d'analyse comme décrit ci-après, ce qui est un facteur économique important quant au coût de réalisation . Cependant, l'adjonction d'autres capteurs du même type (caméra CCD) ou d'autres types (lidar, radar,

FEUILLE DE REMP

gyromètre . . . ) permet d'augmenter les possibilités d'analyse telles la stéréo -vision, la reconstruction d'informations tridi ¬ mensionnelles et la détection active d'obstacles sur la route, dans un système composite de détection d'obstacles . La structure d'un tel système composite de détection d'ob¬ stacles est illustrée sur la figure 1.

L'environnement du véhicule est analysé par exemple à partir de 4 types d'informations : Des informations détectées par un radar 1, des informations détectées par un lidar 2, des images prises par une caméra CCD, 3 (utilisant un capteur à transfert de charges) , et des images prises par une caméra infrarouge IR, 4. Les signaux issus du radar et du lidar sont traités par un dispositif de traitement de signal 5, tandis que les images obtenues des caméras sont traitées par un dispositif de traitement d'images 6. Un dispositif de fusion 7 de l'ensemble des données résultant de ces traitements est alors utilisé pour générer des images et/ou des alarmes sur un ensem¬ ble de visualisation et de déclenchement d'alarmes 8 disposé sur le tableau de bord du véhicule. Le procédé selon l'invention concerne plus particulière¬ ment le traitement d'images mis en oeuvre par le dispositif 6 pour l'extraction de routes de ces images .

La figure 2 est le schéma synoptique du dispositif d'ana¬ lyse d'images pour l'extraction de routes selon l'invention. L'image de l'environnement du véhicule est prise par la caméra

CCD, 3. A partir des trois signaux analogiques de couleur fournis par cette caméra, un ensemble 10 comportant un conver¬ tisseur analogique-numérique, convertit ces trois signaux en suites de valeurs numériques ; à ce convertisseur sont associés classiquement dans l'ensemble 10 un circuit de base de temps et une mémoire d'images ; ces images sont transmises d'une part à un dispositif d'analyse de couleurs, 11, et d'autre part à un dispositif de conversion 12 effectuant la combinaison des compo¬ santes de couleur pour restituer une suite de valeurs numéri- ques caractérisant la luminance Y des points d'image. La suite

des valeurs de luminance est transmise à un dispositif d'analyse de contours et de régions 13. Les informations issues d'une part du dispositif d'analyse de couleurs 11 et d'autre part du dispositif 13 sont transmises à un dispositif d'extraction de routes et de localisation d'obstacles 15.

Le procédé de traitement proprement dit comporte donc trois étapes :

- La première étape consiste en une analyse conjointe des contours et régions pour la détection de la route. Elle utilise l'information luminance du signal vidéo.

- La seconde étape, parallèle à la première, repose sur une analyse des signaux de couleurs (R-V-B) , afin d'établir un masque global sur l'image, destiné à confirmer la présence et la position de la route. - La troisième étape consiste à utiliser judicieusement, comme décrit en détails ci-après, les informations extraites par l'analyse contours/régions et l'analyse de couleurs, pour abou¬ tir à une détection précise de la route.

Les voies de roulement, ou routes, une fois extraites, permettent une détermination de la zone de manoeuvre du véhi¬ cule.

L'étape d'analyse contours/régions du traitement est une étape essentielle du procédé . Elle utilise le signal de lumi¬ nance, avec la possibilité d'effectuer un sous -échantillonnage temporel (analyse en trame) pour réduire le temps de traitement, ceci permettant une architecture plus simple (liée au temps de calcul) . L'organigramme détaillé de cette étape d'analyse con¬ tours/régions effectuée par le dispositif 13 est illustré sur la figure 3. L'image source est lue dans une mémoire d'image dans une étape 100. Pour cela les valeurs du signal de luminance d'une trame sont stockées dans un tableau itab , de dimension (icol, ilig) données , icol et ilig étant respectivement les nombres de colonnes et de lignes du tableau . Chaque élément de ce tableau

FEUILLE DE

est codé sur 8 bits, le signal de luminance étant quantifié sur 256 niveaux.

Le calcul de l'amplitude des contours s'effectue dans une étape 130 à l'aide d'opérateurs gradient qui sont des masques de convolution connus, de type "PREWITT", en horizontal et en vertical. Ces masques de convolution, de dimension faible (5x5) se prêtent bien à une réalisation temps réel grâce à la structure de leur noyau (addition et soustraction binaire) .

Les masques horizontaux et verticaux utilisés sont repré- sentes sur la figure 4 qui détaille l'organigramme de la phase

130 de calcul des gradients sur le signal de luminance. L'image source est convoluée par les masques 5x5, respectivement horizontal et vertical, ce qui conduit aux valeurs de gradient horizontal GH et vertical GV. L'amplitude du gradient G en chaque point est alors calculée par la formule

G = y GH 2 +GV 2

Une image des contours est alors formée par l'image des amplitudes des gradients ainsi calculés.

On obtient ainsi à la fin de la phase 130 un tableau de dimension (icol, ilig) représentant le résultat du calcul de l'image de l'amplitude des contours, codée sur 16 bits pour chaque point d'image.

Le calcul de la caractéristique région se fait dans une étape 131 (figure 3) à partir de cette image des amplitudes des gradients du signal de luminance. A partir de l'image des contours obtenue dans l'étape précédente, cette opération con ¬ siste à effectuer un filtrage moyenneur sur l'image des ampli ¬ tudes des gradients, de support faible (masques 5x5) . Le but est d'obtenir une information relative à l'énergie du signal dans un voisinage local du point considéré, en évitant les pro ¬ blèmes de bruit et de détection quadratique. L'énergie, calculée de manière classique, est égale au carré du signal à mesurer dans une fenêtre centrée sur le point courant. Pour diminuer le temps de calcul et en raison des résultats proches obtenus ,

seule la valeur simple de ce signal a été utilisée dans un mode de réalisation de l'invention. En sortie , un tableau de dimen¬ sion (icol, ilig) est alors obtenu, représentant le résultat du calcul de la caractéristique "région" , codé sur 8 bits pour chaque point d'image . Cette nouvelle "image" est notée INRJ .

Une prédétermination des bords de route est alors effectuée dans une étape 132 à partir de l'image INRJ : un seuillage est effectué pour ne retenir que les niveaux hauts relatifs aux contours des régions. Une première détection des bords de route est alors obtenue avec une meilleure "confiance" que celle qui aurait été obtenue avec un simple seuillage sur l'image origi¬ nale. Cette étape est complétée par un traitement destiné à rendre connexes les segments de contours détectés .

L'analyse des composantes couleurs , étape 110 sur la fi- gure 3, effectuée par le dispositif d'analyse couleurs 11 de la figure 2 permet de valider le masque de la route obtenu par l'analyse du signal de luminance (contours/régions) . Il ne s'agit pas ici d'aboutir à une segmentation de la scène comme décrit ci-dessus, au sens classique du terme, mais plutôt de prendre en compte les qualités intrinsèqties de l'information présente dans ces signaux couleurs, pour aboutir à une segmen¬ tation de la route confirmée avec une bonne fiabilité, et une robustesse importante . De plus , il est nécessaire que cette procédure de segmentation de la route soit effectuée à une ca- dence vidéo ou quasi- temps réel.

La méthode de segmentation utilisée dans la phase d'ana¬ lyse couletir du procédé selon l'invention et décrite ci-après a été motivée par l'aspect architecture en vτιe d'une réalisation en circuits rapides, ainsi que par les hypothèses selon lesquel- les on peut trouver des informations caractéristiques spécifiant l'appartenance ou non à la route des régions analysées .

Selon l'invention l'analyse couleurs effectue une parti¬ tion en 2 classes seulement : route et non-route . Un point d'image est représenté par un triplet de valeurs de couleurs

FEUILLE DE REMPLA

R-V-B . L'espace des caractéristiques à traiter est donc immédia ¬ tement défini.

L'hypothèse de départ est que la discrimination de la route peut s'accomplir par le fait que celle-ci ne comporte pas de dominante colorimétrique verte ni rouge. Les constituants des chaussées font généralement que le revêtement a une teinte bleue ou grise.

L'analyse couleur, dont l'organigramme est illustré par la figure 5 cherche les points d'image pour lesquels l'écart entre les informations discriminantes des 2 classes "route" et

"non-route" est maximum. L'analyse couleur détermine les points où l'écart maximum existe entre la composante moyenne bleue et les composantes moyennes rouge ou verte. Pour cela une boucle d'analyse couleur de l'image 111 décrit les points successifs de l'image et commande à partir des composantes couleurs rouge, verte, bleue le calcul de valeurs :

Soient VAL-R, VAL-V et VAL-B, les valeurs respectives des composantes rouge, verte et bleu, d'un point d'image, moyennées sur des bloc 3x3 autour du point et soit Max-R-V, la valeur maximum des 2 composantes VAL-R et VAL-V calculées dans une étape 112. Une valeur VAL-PIX du masque couleur est attribuée au point d'image analysé étape 114, si le test 113 est vérifié, c'est-à-dire la composante moyenne bleue du point est d'intensité inférieure ou égale à la valeur MAX-R-V, sinon le masque est mis à zéro étape 115. Cette valeur VAL-PIX est égale à l'écart entre les valeurs MAX-R-V et VAL-B .

Au cours du test 116, si, l'écart VAL-PIX est reconnu comme supérieur à un seuil donné S-MASK, le point considéré est affecté à la classe "non-route" , étape 117. Les points de ce masque ne représentent qu'une partie de la classe non-route, mais ils sont avantageusement positionnés de telle façon qu'ils renforcent généralement la détermination des frontières et des bords de route .

FEUILLE DE

Il est possible d'améliorer la détection, en réalisant un filtrage passe-bas de type moyenneur, de support (3x3) , avant la décision d'affectation des points au masque "non route" .

L'opération de moyennage s'effectue en temps réel vidéo, à l'aide de circuits rapides .

La dernière étape de la phase d'extraction de la route est alors effectuée à partir de la fusion des informations précé¬ demment obtenues à partir des deux analyses des signaux de luminance et de couleur, pour extraire de façon précise les voies de roulement, ou routes . Cetteétape 150 (figure 3) est l'extraction de la route à partir de la superposition des informations contours et masque "non -route" .

Le problème de la détection de la route est résolu par le remplissage, ou "coloriage" de la région délimitée par les bords de route devenus, par les différentes opérations précédentes, des segments connexes. L'intérêt d'une fermeture des régions par le masque "non-route" réside dans la possibilité de couvrir une zone entière sans "débordement" , en évitant d'avoir un masque comportant des points de fuite. Cette phase d'extraction 150 effectuée par le dispositif d'extraction 15 (Figure 2) est illustrée par les figures 6 à 9 et consiste, dans un premier temps, à repérer un point intérieur aux contours désignés correspondant à la route, de manière automatique en prenant l'hypothèse de présence de la route de- vant le véhicule ; après quoi un algorithme de "remplissage" propage le remplissage de la route, suivant les directions de balayage horizontale et verticale , jusqu'aux points de contours où le remplissage s'arrête. Ces points contours, sont les points frontières route-bords, contours issus de la luminance et limites du masque "non-route" .

Suivant un mode de réalisation, donné à titre d'exemple , le procédé d'extraction fait appel pour le remplissage à la notion de connectivité . La procédure de remplissage du masque route est décrite ci-après à l'aide des variables suivantes illustrées sur la figure 6 et est illustrée par la figure 7 :

FEUILLE DE

- l'image de départ est de dimension (COL, LIG) ;

- la caméra fixe le centre optique de visée du véhicule, et l'hypothèse de départ est que la route est située devant celui-ci ; - (IPC, IPL) sont les coordonnées du point courant et

(ICD, ILD) celles au point de départ P. de l'analyse, respectivement en colonne et en ligne avec par exemple : ILD=LIG-100 et ICD=COL/2 pour que le point d'initialisation P. soit centré en ligne, et placé au bas de l'image correspondant à l scène proche du véhicule, ceci afin d'éviter les problèmes d'obstacles éventuels à une distance plus lointaine. Une phase d'initialisation 151 fait alors appel à un sous programme SP-COLOR 152 , qui colorie tous les points de la ligne du point de départ entre les limites constituées par les points de contour sur cette ligne, comme le montre la figure 8.

Cette initialisation sur la ligne du point de départ étant terminée, le remplissage du masque de la route peut alors effectivement commencer. Il permet de rechercher ligne par ligne les points appartenant à la route susceptibles d'être "coloriés" à partir de l'analyse d'une fenêtre (3x3) centrée sur le point courant de la ligne en cours de balayage. La condition du test effectué est que le point doit être différent d'un point contour ou d'un point déjà colorié, et qu'il doit avoir au moins 3 points voisins coloriés. La figure 9 illustre les huit possibili- tés qui conduisent au coloriage du point courant s'il n'est pas soit un point du contour, soit déjà marqué : Le point courant est le point central de la fenêtre 3x3 noté * et les points voisins déjà coloriés sont marqués "x" .

Les bornes du masque de la route à colorier résultant de Q la fusion des informations contours et bords de route sont mémo¬ risées dans une étape 153. Un sens de balayage vertical pour l'analyse ligne par ligne est fixé dans une étape 154 au moyen d'un index d'itération verticale , d'abord à +1 par exemple . L'analyse est effectuée ligne par ligne par une boucle ligne ~ 155. Puis une boucle de recherche ligne est effectuée, 156 ,

FEUILLE DE R

avec, pour initier un sens de balayage de la ligne , un index i c mis à +1, puis à -1. Le test 157 de la fenêtre 3. 3 autour du point courant est alors mis en oeuvre pour chaque point de la ligne par un sous programme de recherche ligne SP-RECH qui après chaque itération du rang de la colonne, IPC≈IPC+i^ du point courant, teste si ce point doit être colorié ou non, selon les configurations illustrées par la figure 8 c'est-à-dire s'il appartient au masque de la route . Lorsque le point est colorié une valeur "FLAG-COLOR" associée à ce point et initialement à 0 est mise à 1. Lorsque le point courant est un point de contour, un retour au point d'initialisation de la ligne et un changement d'index colonne i =-1 permettent de décrire , à partir de ce point, l'autre demi-ligne jusqu'à l'autre un point de contour. La recherche des points à colorier sur cette ligne pour obtenir le masque de la route est alors terminée et la même recherche est effectuée sur une ligne adjacente par itération du rang de la ligne IPL=IPL+i r

Le coloriage de la zone commence par la ligne ILREF d'ordonnée ILD et se termine à la ligne IFINLIG=LIG-40. Lorsque la dernière ligne utile est coloriée, l'indice de ligne est ramené à l'indice ILD de départ et le même procédé est utilisé pour le marquage de la zone supérieure de la coordonnée ligne ILD jusqu'à la ligne d'arrêt du remplissage de coordonnée verticale ILMIN à partir d'un index vertical modifié i. = - 1. La ligne d'arrêt ILMIN est donnée par une ligne "contotirs haut" détectée à la fin de l'analyse des contours et fermant le masqtie route . Cette étape marque tous les points intérieurs aux points contours en leur affectant un niveau noté "niv-route" et aboutit à la formation d'un "masque de la route" . Comme indiqué ci-dessus, l'information contours /ré ion s permet une détection des bords de route . Elle permet également d'établir une localisation des obstacles potentiels situés sur la route, devant le véhicule .

L'information couleur accentue la confiance du masque de la route obtenu initialement, surtout dans le cas où il n'existe

FEUILLE DE REMP

pas de bords francs aux frontières de la chaussée. Ce deuxième masque permet une fermeture des zones d'accotement, favorisant ainsi l'obtention d'un masque global de la route .

La figure 10 illustre la structure générale d'un système de sécurité automobile mettant en oeuvre à partir des signaux issus de la caméra numérisés et mis en mémoire dans le conver ¬ tisseur à mémoire 10 un processus d'extraction de la route et de localisation de candidats obstacles 100, tel que décrit ci-dessus qui est associé à un processus de détection d'obstacles 200 basé sur d'autres données, comme décrit en référence à la figure 1.

Le procédé selon l'invention tel que décrit ci-dessus vise à déterminer les voies de roulement sur la chaussée, à partir d'un processus d'analyse statique des signaux de luminance et de couleur. Ce procédé peut ensuite être complété phase complé¬ mentaire pour permettre une localisation des objets sur la route, et une pré -détermination des obstacles majeurs par une analyse dynamique. En effet une analyse dynamique est néces ¬ saire pour séparer les différents types d'objets détectés par 0 détection de mouvement dans les séquences d'images, afin de repérer des objets sur la route et à localiser les obstacles . L'image segmentée résultante met alors en évidence les obstacles situés sur la route.

L'invention n'est pas limitée à la description précise du 5 procédé donnée ci-dessus. En particulier, pour la phase d'extrac¬ tion de la route, la méthode par connectivité peut être rempla¬ cée par toute autre méthode permettant de remplir le masque de la route dont les contours ont été déterminés par l'image des amplitudes des gradients et confirmés par l'analyse couleur, par Q exemple une méthode de type vectorielle ou toute autre méthode adaptée qui permettrait d'augmenter la rapidité du traitement. De même, les dimensions de fenêtres pour le moyennage peuvent être modifiées tout comme les autres paramètres, dont les valeurs numériques ont été données à titre ^ d l exemple, sans ~ sortir du cadre de l'invention.

FEUILLE DE REMPLA