Procédés d'analyse et de modélisation d'une image contenant des éléments unitaires à détecter, système et dispositif correspondants

La présente invention concerne de manière générale les domaines de l'analyse et du rendu d'image, et plus précisément celui de la visualisation de scènes urbaines en deux ou trois dimensions, constituées d'un nombre important de bâtiments. Une des applications de l'invention est en effet l'analyse d'images réelles de façades de bâtiments afin de les modéliser puis de permettre une reconstruction approximative mais rapide de ces images lors d'une navigation dans un environnement virtuel.

Actuellement les systèmes d'informations géographiques existants parviennent à modéliser des bâtiments sur une grande zone et proposent des interfaces de navigation fluides permettant d'appréhender facilement un environnement urbain en deux ou trois dimensions. Afin de rendre l'environnement urbain réaliste, par exemple pour visiter virtuellement Paris sur un terminal, il faut que les textures affichées sur chaque bâtiment soient ressemblantes aux façades réelles et de résolutions correctes. Or les données de tels environnements sont généralement stockées sur un serveur distant, il n'est donc pas possible d'envoyer les images réelles des façades de chaque bâtiment au terminal au fur et à mesure de la visite, car la quantité d'informations à transmettre serait trop importante. Pour palier à ce problème, les systèmes actuels proposent d'afficher des images de texture génériques en les répétant plusieurs fois au sein de l'environnement urbain virtuel. Ceci permet l'envoi d'une faible quantité d'informations, mais entraîne une forte diminution de la qualité globale de navigation, car les textures affichées ne sont pas visuellement proches des bâtiments réels.

Afin de reconstruire de façon plus granulaire des façades de bâtiments, des langages de modélisation permettant de définir des éléments de façade, tels que des fenêtres ou des balcons, indépendamment d'une texture de fond,

ont été proposées dans différents travaux. Ainsi l'article "Modelling urban scènes for LBMS" de A. F. Coelho, A. A. de Sousa et F. N. Ferreira, publié en 2005 à l'occasion de la dixième conférence internationale "3D Web Technology", propose une grammaire XML, d'après l'anglais "extensible Markup Language", qui permet de décrire complètement de grands environnements urbains en trois dimensions, et à partir de ces descriptions de reconstruire des bâtiments. Les villes sont ainsi modélisées avec de nombreux détails.

De façon similaire, pour assurer à la fois une navigation dans un environnement urbain réaliste, une bonne résolution et une quantité de données à transférer acceptable, il a été proposé au sein de la norme "Motion Picture Expert Group 4" (MPEG4), dans sa partie " Animation Framework extension ", de caractériser la façade d'un bâtiment, non par une image de texture unique, mais par des "modèles procéduraux de façades". Ceux-ci contiennent des informations de reconstruction d'une façade, à partir d'un certain nombre de modèles d'éléments de façades, tels que des fenêtres, des portes, des balcons, et des textures de fond, qui sont stockés dans un catalogue. Ces modèles permettent de recréer des images de façades visuellement proches des façades d'origine, de dimensions quelconques, en transmettant une faible quantité d'informations au terminal.

Ces techniques de visualisation de scènes sont cependant limitées car elles requièrent l'intervention d'un opérateur pour modéliser manuellement les bâtiments et les façades, ce qui est très coûteux lorsque l'environnement à modéliser est de dimension urbaine notamment. De ce fait, l'analyse d'images de façades afin de remplir automatiquement des modèles procéduraux de façades est devenue un enjeu important dans le domaine de l'analyse d'images.

Néanmoins peu de méthodes permettent d'analyser automatiquement de telles images. Etant donné la diversité des architectures de façades, des types de revêtements extérieurs et des types d'éléments de façades, une des

principales difficultés à surmonter est notamment d'isoler les éléments de façade dans une image de façade.

K.Schindler et J.Bauer, dans leur article "A model-based method for building reconstruction", publié en 2003 à l'occasion d'un atelier "Higher-Level Knowledge in 3D Modelling and Motion" d'une conférence "International Conférence on Computer Vision (ICCV)", présentent une méthode d'analyse de façades, dans laquelle les fenêtres d'une façade à analyser sont détectées par un algorithme de balayage basé sur la densité de points non incidents au plan de la façade. Cette méthode détecte donc les fenêtres comme étant des objets derrière le plan de la façade, mais nécessite plusieurs images de départ de la façade, et leur combinaison suivant les paramètres des prises d'images, ce qui est complexe et peu pratique à mettre en œuvre.

De même l'article de H. Mayer et S. Reznik, intitulé "Building Façade Interprétation from Image Séquences", et publié dans les archives de la société internationale "International Society for Photogrammetry and Remote Sensing (ISPRS)", utilise une méthode basée sur celle de K.Schindler et J.Bauer pour isoler les fenêtres d'une façade avant de les positionner et de les détecter plus finement sur le plan de la façade. Cette méthode présente donc les mêmes inconvénients que la méthode précédente, en termes de complexité et de mise en œuvre.

Une méthode différente d'analyse d'images de façade est développée dans l'article "Extraction and Intégration of Window in a 3D Building Model from Ground View Image", de S. C. Lee et R. Nevatia, publié à l'occasion de la conférence ICCV de 2004. Cette méthode permet d'isoler les éléments de façade d'une façade à partir d'une seule image photographique prise depuis la rue. Cette méthode analyse des histogrammes de contours verticaux et horizontaux de l'image de façade, pour découper l'image en cellules contenant chacune un élément de façade. Cependant l'analyse de ces histogrammes ne permet pas de découper sans erreur et précisément les images de façade en cellules. En effet, certaines irrégularités des façades, comme des bords décoratifs ou des lignes décoratives, donnent des histogrammes très ciselés

et très difficiles à analyser. Les histogrammes utilisés sont donc peu robustes aux variations existantes au sein des images de façades.

Il est à noter que ces techniques d'analyse d'image sont appliquées à des images de façade, mais elles pourraient être appliquées de manière plus générale à la détection d'éléments unitaires dans des images structurées, c'est-à-dire des images comportant deux directions suivant lesquelles sont rangées des éléments se distinguant d'un fond ou arrière-plan. En effet ces techniques exploitent le fait que dans une image de façade, les éléments de façade sont alignés verticalement et horizontalement par rapport aux axes de la façade sur une image de fond.

De même, si une des applications de l'invention est l'analyse d'images de façades de bâtiments, pour en extraire les éléments tels que fenêtres, portes et balcons afin de construire les modèles procéduraux de façades associés, l'invention est également applicable à toute image contenant des éléments alignés suivant deux axes.

La présente invention a pour but de résoudre les inconvénients de la technique antérieure en fournissant un procédé et un dispositif d'analyse d'une telle image, ainsi qu'un procédé et un système de modélisation d'image de façade. A cette fin, l'invention propose un procédé d'analyse d'une image contenant des éléments unitaires à détecter, alignés suivant deux directions horizontale et verticale, comportant les étapes de:

- Détection de contours et obtention d'une image de contours,

- Calcul d'un histogramme selon une direction verticale ou horizontale, représentatif de ladite image de contours, appelé respectivement histogramme de contours verticaux ou histogramme de contours horizontaux, ledit procédé étant caractérisé en ce qu'il comporte les étapes supplémentaires de: - Calcul d'une image d'appartenance au fond correspondant aux distances entre les couleurs des pixels de ladite image

contenant des éléments unitaires à détecter et une couleur moyenne de fond correspondant à une couleur uniformément répartie dans une zone de ladite image contenant des éléments unitaires à détecter, - Calcul d'un histogramme selon une direction verticale ou horizontale, représentatif de ladite image d'appartenance au fond, appelé respectivement histogramme de fond vertical ou histogramme de fond horizontal,

- Fusion dudit histogramme de fond vertical ou horizontal avec respectivement ledit histogramme de contours verticaux ou ledit histogramme de contours horizontaux, en un histogramme appelé respectivement histogramme de fenêtre vertical ou histogramme de fenêtre horizontal.

Grâce à l'invention, on analyse automatiquement une image contenant des éléments alignés suivant deux axes de manière robuste et performante.

En effet l'invention fusionne plusieurs types d'histogrammes fortement corrélés, ceux obtenus à partir d'une image de contours, et ceux obtenus à partir d'une image d'appartenance au fond, pour obtenir des histogrammes dits "de fenêtre" qui sont faciles à analyser. Autrement dit l'utilisation conjointe de l'information de couleur de fond de l'image et des informations de contours rend l'analyse d'image plus robuste. Ces histogrammes permettent ensuite de découper l'image contenant des éléments alignés suivant deux axes en cellules qui contiennent chacune un élément à détecter, de manière rapide, précise et efficace par rapport à l'art antérieur. Ce découpage en cellules est une étape préliminaire à la détection plus fine des éléments isolés dans chaque cellule, puis à la modélisation "procédurale" de l'image lorsque celle-ci est une image de façade. De plus pour effectuer l'analyse d'une façade, l'invention nécessite une seule image photographique de celle-ci.

Selon une caractéristique préférée, dans l'étape de fusion l'histogramme de fond vertical ou horizontal est multiplié respectivement par l'histogramme de contours verticaux ou horizontaux.

La fusion d'un histogramme de contours avec un histogramme de fond est réalisable de plusieurs manières, par exemple par combinaison linéaire ou par multiplication. Les résultats les meilleurs en termes d'efficacité et de robustesse ont été obtenus par la multiplication de ces deux types d'histogrammes.

Selon une caractéristique préférée, le procédé d'analyse d'une image selon l'invention comporte en outre une étape de détection de changement de couleur vertical ou horizontal, permettant de séparer respectivement l'histogramme de fenêtre vertical ou l'histogramme de fenêtre horizontal en deux sous-histogrammes chacun représentatif d'une couleur de ladite image contenant des éléments unitaires à détecter.

Cette étape supplémentaire effectuée avant l'analyse des histogrammes de fenêtre pour le découpage en cellules, permet de scinder un histogramme de fenêtre aux endroits où se trouvent des perturbations dues à des changements de couleur de l'image. On obtient ainsi des sous- histogrammes dans lesquels ces perturbations ne sont pas gênantes lorsqu'on analyse ces sous-histogrammes séparément. Les rez-de-chaussée des bâtiments ayant souvent une couleur de façade différente de celle des étages supérieurs, cette étape est intéressante pour séparer une image de façade à analyser en deux sous-images à analyser séparément, l'une contenant le rez- de-chaussée et l'autre les étages supérieurs.

Selon une caractéristique préférée, les histogrammes de contours verticaux ou horizontaux sont obtenus après un filtrage respectivement horizontal ou vertical de ladite image de contours. Cette étape supplémentaire de filtrage permet de rendre les histogrammes de contours verticaux ou horizontaux plus caractéristiques des éléments unitaires à détecter, lorsque ces éléments unitaires sont composés de lignes verticales ou horizontales, comme par exemple des fenêtres.

Selon une caractéristique préférée, l'étape de détection de changement de couleur vertical comporte les étapes de:

- Transformation de Hough d'une image des luminances de ladite image contenant des éléments unitaires à détecter,

- Calcul d'un histogramme selon une direction verticale, représentatif de l'image résultante de ladite transformation, appelé histogramme de Hough vertical,

- Calcul d'un histogramme appelé histogramme de rez-de- chaussée par combinaison linéaire dudit histogramme de fond vertical, dudit histogramme de Hough vertical, dudit histogramme de contours verticaux, et d'un histogramme selon une direction verticale représentatif de ladite image de contours filtrée verticalement.

L'histogramme de rez-de-chaussée obtenu par ces sous-étapes comporte un pic correspondant à l'endroit du changement de couleur dans l'image, ce qui permet de détecter ce changement. L'utilisation d'un tel histogramme est plus robuste qu'une étude classique des variations de couleurs sur l'image, car on associe l'utilisation d'informations colorimétriques et d'informations sur la présence ou l'absence de lignes horizontales sur l'image.

Selon une caractéristique préférée, l'étape de calcul dudit histogramme de rez-de-chaussée utilise la formule suivante:

H _RDC (y) = 3 • H _FY (y) + 2 • H _{y γ} (y) + H _m (y) - H _m (y)

Où

- H _RDC (y) est la valeur dudit histogramme de rez-de-chaussée en une variable y de ligne de ladite image, - H _fY (y) est la valeur dudit histogramme de fond vertical en ladite variable y,

- H _{1 γ} (y) est la valeur dudit histogramme représentatif de ladite image de contours filtrée verticalement, selon une direction verticale, en ladite variable y,

- H _m {y) est la valeur dudit histogramme de Hough vertical en ladite variable y,

- et H _m {y) est la valeur dudit histogramme de contours verticaux en ladite variable y. Cette combinaison linéaire de différents histogrammes obtenus à partir de l'image permet de maximiser la valeur du pic de l'histogramme de fenêtre correspondant au changement de couleur à détecter, par rapport aux valeurs des autres pics de l'histogramme.

Selon une autre caractéristique, on calcule à la fois un histogramme de fenêtre horizontal et un histogramme de fenêtre vertical, et le procédé d'analyse selon l'invention comporte les étapes supplémentaires de:

- segmentation de ladite image contenant des éléments unitaires à détecter en cellules comportant chacune un desdits éléments unitaires de ladite image, par analyse desdits histogrammes de fenêtre horizontal et vertical,

- détection desdits éléments unitaires par utilisation d'un processus de croissance de régions rectangulaires utilisant ladite image d'appartenance au fond et ladite image de contours.

L'utilisation conjointe de l'image d'appartenance au fond et de l'image de contours lors de la détection des éléments unitaires améliore l'efficacité de cette détection, préalablement par exemple à une modélisation procédurale de façade.

Selon une caractéristique préférée, l'étape de segmentation en cellules utilise un filtrage fréquentiel d'au moins un desdits histogrammes de fenêtre horizontal et vertical.

Ce filtrage fréquentiel facilite le découpage en cellules car il lisse les histogrammes, ce qui permet d'utiliser des seuils de segmentation sans nécessiter d'analyse complexe.

L'invention concerne aussi un procédé de modélisation d'une image contenant des éléments unitaires à détecter, comportant les étapes de:

- transformation perspective inverse de ladite image,

- analyse selon l'invention de ladite image ainsi transformée,

- classification des éléments de ladite image, détectés à l'issue de ladite analyse, et des textures de fond de ladite image, à partir d'un catalogue d'éléments unitaires et de textures de fond,

- modélisation de ladite image à partir dudit catalogue.

Dans le cas de l'analyse d'une image de façade, les éléments unitaires à détecter sont des éléments de façade tels que des portes, des balcons ou des fenêtres. L'image de façade est décomposée, dans cette modélisation, en éléments de façade superposés à une image de texture de fond qui caractérise son revêtement.

Ce procédé de modélisation permet d'obtenir des modèles procéduraux de façade, qui servent à reconstruire une image texture de façade visuellement proche de la façade réelle. Grâce à l'invention cette obtention de modèles est automatique, efficace, et ne nécessite qu'une photographie par façade de bâtiment. Seuls les éléments de façades les plus caractéristiques des façades à modéliser sont retenus dans le catalogue d'éléments de façade et de textures de fond. La visualisation sur un navigateur distant de modèles en deux ou trois dimensions de bâtiments fidèles à la réalité, avec des façades texturées de haute résolution, est ainsi possible.

L'invention concerne également un dispositif mettant en oeuvre le procédé d'analyse d'une image selon l'invention, ou le procédé de modélisation d'une image selon l'invention.

L'invention concerne encore un système de modélisation d'une image contenant des éléments unitaires à détecter, comportant:

- des moyens d'analyse d'image mettant en œuvre le procédé d'analyse d'une image selon l'invention,

- et des moyens de classification d'éléments unitaires et de textures de fond. L'invention concerne également un signal représentatif de données de visibilité, transportant un modèle d'image obtenu par analyse d'une image

contenant des éléments unitaires alignés suivant deux directions horizontale et verticale, ladite analyse ayant donné lieu à l'obtention d'une image de contours et d'histogrammes de contours horizontaux et verticaux, représentatifs de ladite image de contours selon une direction respectivement horizontale et verticale, ledit signal étant caractérisé en ce qu'une image d'appartenance au fond ayant été calculée à partir de ladite image, et des histogrammes dits de fond vertical et horizontal représentatifs de ladite image d'appartenance au fond selon une direction respectivement verticale et horizontale ayant été calculés, ladite analyse utilise une fusion dudit histogramme de fond vertical avec ledit histogramme de contours verticaux et dudit histogramme de fond horizontal avec ledit histogramme de contours horizontaux.

L'invention concerne enfin un programme d'ordinateur comportant des instructions pour mettre en œuvre l'un des procédés selon l'invention, lorsqu'il est exécuté sur un ordinateur.

Le dispositif, le système de modélisation, le signal et le programme d'ordinateur présentent des avantages analogues à ceux des procédés.

D'autres caractéristiques et avantages apparaîtront à la lecture d'un mode de réalisation préféré décrit en référence aux figures dans lesquelles :

- la figure 1 représente différentes étapes du procédé de modélisation d'image de façade selon l'invention, tel que décrit dans ce mode de réalisation,

- la figure 2 représente des traitements opérés sur une image "perspective" de façade, c'est-à-dire prise depuis la rue de manière non orthogonale au plan de l'image,

- la figure 3 représente différentes étapes du procédé d'analyse d'image selon l'invention,

- la figure 4 représente l'obtention d'histogrammes de contours à partir d'une image de contours,

- la figure 5 représente des étapes d'une étape du procédé d'analyse d'image selon l'invention,

- la figure 6 représente le filtrage fréquentiel d'un histogramme de fenêtre obtenu par le procédé d'analyse d'image selon l'invention, -la figure 7 représente une analyse de la périodicité d'un histogramme de fenêtre horizontal obtenu par le procédé d'analyse d'image selon l'invention, -la figure 8 représente un mode de réalisation du système de modélisation d'image de façade selon l'invention.

Selon un mode préféré de réalisation de l'invention, le procédé d'analyse d'image selon l'invention est utilisé pour analyser des images de façade, et est intégré dans le procédé de modélisation d'image de façade selon l'invention. Cependant ce mode de réalisation est facilement adaptable à l'analyse d'images structurées autres que des images de façade, les principes de l'invention restants inchangés. Le procédé de modélisation d'image de façade est représenté à la figure 1 sous la forme d'un organigramme comportant sept étapes E1 à E7, les étapes E2 à E5 faisant partie du procédé d'analyse d'image selon l'invention.

La première étape E1 du procédé de modélisation est la transformation perspective inverse d'une image de façade IP à analyser, représentée à la figure 2. Cette étape est nécessaire car l'image de façade IP est classiquement acquise par un système de prise de vue photographique à partir de la rue. La façade représentée sur l'image IP est alors déformée suivant des transformations perspectives, et contient des éléments étrangers à la façade, telle que des bouts de trottoir. Il faut donc recadrer l'image IP sur les bords de la façade et redresser celle-ci, afin d'obtenir une image orthographique de façade IO. L'image IO initialement en couleur est transformée en image en niveaux de gris. Pour une bonne performance du procédé de modélisation selon l'invention, cette image IO doit être de bonne résolution mais pas trop grande afin de limiter les temps de calculs

nécessaires à l'analyse de l'image. Dans ce mode de réalisation elle est par exemple de résolution 700 ^* 500 pixels.

Cette étape E1 est supervisée et requière la sélection manuelle des quatre coins de la façade. La position des quatre points au sein de l'image et l'hypothèse que la façade est plane, permettent de calculer les paramètres de transformation perspective subits par la façade et d'appliquer la transformation inverse pour récupérer l'image redressée IO.

En variante cette étape est effectuée automatiquement, dès lors que l'on connaît la position exacte de la prise de vue correspondant à l'image IP, les paramètres de l'appareil de prise de vue et les dimensions de la façade représentée sur l'image IP.

La seconde étape E2 est la création d'histogrammes dits "de fenêtre", à partir de l'image IO obtenue à l'étape E1. Ces histogrammes sont caractéristiques des positions des fenêtres ou d'autres éléments alignés sur l'image de façade IO. Leur analyse, décrite plus loin à l'étape E4, permet donc de segmenter l'image IO en cellules ne contenant chacune qu'un seul élément de façade. Cette étape E2 du procédé de modélisation selon l'invention se décompose en étapes ai à a6 représentées à la figure 3.

La première étape ai est une détection de contours sur l'image de façade IO, permettant d'obtenir une image IC de contours, représentée à la figure 4. Des exemples de méthodes permettant d'extraire les contours d'une image sont donnés dans les articles suivants:

- "Image Field Categorization and Edge/Comer Détection from Gradient Covariance", de S. Ando, publié en 2000 dans le magazine "Institute of

Electrical and Electronics Engineers (IEEE) Transactions on Pattern Analysis Machine Intelligence",

- et "Edge Détection with Embedded Confidence", de P. Meer and B. Georgescu, publié en 2001 dans le même magazine. La deuxième étape a2 est un filtrage directionnel de cette image de contours IC:

- l'image IC filtrée verticalement donne une image de contours filtrée verticalement IFV, représentée à la figure 4, débarrassée de traits verticaux,

- et l'image IC filtrée horizontalement donne une image de contours filtrée horizontalement IFH, débarrassée de traits horizontaux.

La troisième étape a3 est le calcul d'histogrammes de contours à partir des images de contours filtrées IFV et IFH. Les valeurs des pixels de ces images sont sommées ligne par ligne pour donner des histogrammes selon une direction verticale, et colonne par colonne pour donner des histogrammes selon une direction horizontale. On obtient donc quatre histogrammes:

- un histogramme de contours horizontaux HVX, obtenu par sommation colonne par colonne des pixels de l'image filtrée IFV, qui caractérise la façade en ayant de fortes valeurs dans les zones de l'image contenant des éléments de façade, et des creux dans les zones inter-éléments,

- un histogramme de contours HHX, obtenu par sommation colonne par colonne des pixels de l'image filtrée IFH, qui possède des pics dans les zones de bords verticaux des éléments de façade, ou dans les zones de lignes verticales sur la façade,

- un histogramme de contours verticaux HHY, obtenu par sommation ligne par ligne des pixels de l'image filtrée horizontalement IFH, qui caractérise la façade en ayant de fortes valeurs dans les zones de l'image contenant des éléments de façade, et des creux dans les zones inter-éléments,

- et un histogramme de contours HVY, représentatif de l'image de contours filtrée verticalement IFV, obtenu par sommation ligne par ligne des pixels de l'image filtrée IFV, et qui possède des pics dans les zones de bords horizontaux des éléments de façade, ou dans les zones de lignes horizontales sur la façade.

Seuls les histogrammes de contours horizontaux HVX et verticaux HHY sont utilisés pour le calcul des histogrammes de fenêtre dans cette étape E2, les autres histogrammes étant utilisés pour la détection d'un changement de couleur sur la façade à l'étape E3. La quatrième étape a4 est le calcul d'une image d'appartenance au fond IAF, représentée à la figure 2. Chaque pixel de cette image représente la distance, codée en niveaux de gris, entre la couleur moyenne du fond de l'image de façade IO, et le pixel correspondant de l'image de façade IO. Cette distance est définie comme une différence de valeurs de niveaux de gris. Ainsi plus les zones de l'image de façade IO sont proches de la couleur moyenne du fond, plus elles apparaissent noires sur l'image d'appartenance au fond IAF, car plus la distance des pixels correspondants avec la couleur moyenne du fond est petite.

Pour caractériser la couleur moyenne du fond, l'algorithme "Largest Empty Rectangle", décrit dans l'article "Automatic Techniques for Texture Mapping in Virtual Urban Environments", de R. G. Laycock et A. M. Day, publié en 2004 à l'occasion d'une conférence internationale "Computer Graphics International", ou encore dans l'article "Computing the largest empty rectangle Source", de B. Chazelle, R. L. Drysdale et D. T. Lee, publié en 1986 dans le magazine "Society for Industrial and Applied Mathematics (SIAM) Journal on Computing ", est utilisé. Pour un ensemble de points aléatoirement répartis sur l'image, cet algorithme recherche des zones rectangles de couleurs uniformes. Ces régions permettent d'analyser les couleurs uniformément réparties dans l'image et de détecter la couleur moyenne du fond.

Il est à noter que l'algorithme de "Largest Empty Rectange" est appliqué sur l'image de façade IO initiale en couleurs, transposée dans le système de codage L ^* a ^* b* créé par la Commission Internationale de l'Eclairage (CIE). Les distances calculées entre la couleur moyenne du fond de l'image de façade IO, et le pixel correspondant de l'image de façade IO sont des distances exprimées dans le système de codage L*a ^* b ^* , car ce système de codage

couleur permet de coder une distance entre couleurs cohérente avec les distances perçues par l'œil humain.

La cinquième étape a5 est le calcul d'histogrammes dits "de fond" représentatifs de l'image d'appartenance au fond IAF selon les directions verticale et horizontale:

- l'histogramme de fond vertical HFY, représenté à la figure 2, est obtenu par sommation ligne par ligne des valeurs des pixels de l'image d'appartenance au fond IAF,

- et l'histogramme de fond horizontal HFX est obtenu par sommation colonne par colonne des valeurs des pixels de l'image d'appartenance au fond IAF.

Ces histogrammes de fond caractérisent l'adéquation d'une ligne ou d'une colonne de pixels avec la couleur de fond de la façade: ils contiennent de fortes valeurs sur les zones de l'image contenant des éléments de façade, et de faibles valeurs sur les zones inter-éléments.

La sixième étape a6 est la fusion des histogrammes de contours verticaux et horizontaux précédemment calculés, avec les histogrammes de fond respectivement vertical et horizontal. Ces quatre histogrammes sont relativement corrélés, ce qui permet de les fusionner pour sommer l'information et augmenter la robustesse de l'analyse de l'image de façade IO. La grande diversité des images de façades requière en effet de prévoir une méthode de segmentation en cellules robuste pour garantir un fort taux de résultats corrects. On obtient alors deux histogrammes dits "de fenêtre", l'un vertical et l'autre horizontal, définis par les formules: H _Fenétre (y) = H _FY (y) - H _m {y)

H _Fenêlre (x) = H _FX (x) - H _rx (x) Où

- y est une variable désignant une ligne de pixels de l'image de façade IO,

- x est une variable désignant une colonne de pixels de l'image de façade IO,

- H _remjιe (y) est la valeur de l'histogramme de fenêtre vertical en la ligne de pixels y, - H _Hnetιe (x) est la valeur de l'histogramme de fenêtre horizontal en la colonne de pixels x,

- H _Fγ {y) est la valeur de l'histogramme de fond vertical HFY en la ligne de pixels y,

- H _hX (χ) est la valeur de l'histogramme de fond horizontal HFX en la colonne de pixels x,

- H _HY (y) est la valeur de l'histogramme de contours verticaux HHY en la ligne de pixels y,

- et H _vx (x) est la valeur de l'histogramme de contours horizontaux HVX en la colonne de pixels x. II est à noter que dans ce mode de réalisation on multiplie les valeurs des histogrammes entre elles, mais d'autres modes de fusion sont utilisables, par exemple en utilisant des sommes pondérées.

Ces histogrammes de fenêtre seront ensuite utilisés lors de l'étape E4 de segmentation de l'image de façade IO en cellules, car ils contiennent des pics sur les zones représentant des éléments de façade et des vallées dans les zones inter-éléments.

La troisième étape E3 du procédé de modélisation selon l'invention est la détection d'un changement de couleur sur l'image de façade IO. En effet les histogrammes de fenêtre obtenus à l'étape E2 sont perturbés aux niveaux de changements de couleur sur la façade. Dans ce mode de réalisation de l'invention, on détecte seulement un changement de couleur suivant une direction verticale, car les bâtiments présentent très souvent des rez-de- chaussée revêtus d'une couleur différente de celle des étages supérieurs. Cependant il est aisé d'adapter ce mode de réalisation à la détection d'un

changement de couleur suivant une direction horizontale, ou à plusieurs changements de couleur. Cette étape E3 se décompose en quatre étapes b1 à b4 représentées à la figure 5.

L'étape b1 est une transformation de Hough d'une image des luminances IL obtenue à partir de l'image de façade IO initiale en couleur, et représentée sur la figure 2. L'image des luminances IL est calculée en changeant l'espace couleur de l'image IO. Les pixels de l'image IO sont représentés initialement dans le système de codage couleur Rouge/Vert/Bleu RGB d'après l'anglais "Red Green Blue", par des triplés représentant les valeurs de ces trois composantes. Ces couleurs codées dans le système RGB sont transformées en couleurs codées dans le système de codage CIE L*a ^* b ^* . Les composantes a* et b ^* représentent le plan de chrominance alors que l'axe L* représente les variations de Luminance. L'image des luminances IL est obtenue en ne gardant que la composante L* des couleurs L ^* a*b* ainsi calculées à partir de l'image IO couleur initiale.

Il est à noter que l'espace couleur CIE L ^* a*b ^* est utilisé dans l'invention pour calculer des distances entre couleurs et en particulier lors des algorithmes de "Largest Empty Rectange" lors de la détection de la couleur de fond et lors de la construction des histogrammes de Fond. La transformée de Hough de l'image des luminances IL est effectuée suivant une méthode connue décrite dans le brevet US3069654 de P.V.C. Hough, intitulé "Method and Means for Recognizing Complex Patterns". Cette transformée permet de détecter la présence de lignes au sein d'un signal bidimensionnel. L'image ITH résultante de cette transformée contient des lignes beaucoup plus marquées que celles présentes sur l'image de contours IC.

L'étape b2 est le calcul d'un histogramme HTH dit "de Hough", selon une direction verticale de l'image résultante ITH. Cet histogramme est obtenu par sommation des valeurs des pixels de l'image ITH ligne par ligne. Il possède des pics très marqués au niveau de lignes horizontales sur l'image ITH et des pics moins marqués au niveau des bords horizontaux d'éléments

de façade. Il est à noter que le calcul de l'histogramme de Hough HTH ne nécessite pas la construction complète de l'image de Hough, mais seulement la partie de l'image de Hough correspondant aux lignes verticales et horizontales. L'étape b3 est le calcul d'un histogramme dit "de rez-de-chaussée", obtenu par combinaison linéaire de l'histogramme de contours verticaux HHY, l'histogramme de fond vertical HFY, l'histogramme de Hough vertical HTH et l'histogramme de contours HVY, suivant la formule:

H^. (.y) = 3 • H _FY (y) + 2 - H _vγ (y) + H _m (y) - H _HY (y) où

- y est une variable désignant une ligne de pixels de l'image de façade IO,

- H _RDC (y) est la valeur de l'histogramme de rez-de-chaussée en la variable y, - H _FY (y) est la valeur de l'histogramme de fond vertical HFY en la variable y,

- H _vγ (y) est la valeur de l'histogramme de contours HVY en la variable y.

- H _m (y) est la valeur de l'histogramme de Hough vertical HTH en la variable y,

- et H _HY (y) est la valeur de l'histogramme de contours verticaux HHY en la variable y.

Cet histogramme de rez-de-chaussée a été construit de manière à obtenir un pic sur la frontière entre deux zones de couleurs différentes. En effet:

- d'une part, on somme les histogrammes qui ont des fortes valeurs sur de telles zones de transitions, c'est-à-dire l'histogramme de contours HVY et l'histogramme de Hough HTH, car ils détectent les lignes horizontales, et l'histogramme de fond HFY, car il a de fortes valeurs sur la zone de rez-de-chaussée,

- et d'autre part on soustrait l'histogramme de contours verticaux HHY car il doit être nul sur les zones de transitions, ce qui a pour effet d'atténuer les autres pics de l'histogramme de fenêtre. De manière similaire, si l'on souhaite détecter un changement de couleur suivant une direction horizontale, il suffit d'effectuer la combinaison linéaire symétrique de celle-ci, avec l'histogramme de contours horizontaux HVX, l'histogramme de fond horizontal HFX, un histogramme représentatif de l'image résultante ITH de la transformée de Hough suivant une direction horizontale, et l'histogramme de contours HHX. L'étape b4 est la détection du pic marquant la frontière entre le rez-de- chaussée et les étages de la façade de l'image IO, sur l'histogramme de rez- de-chaussée précédemment calculé. On cherche pour cela un maximum dans la moitié inférieure de l'histogramme. En effet, ne pouvant faire d'hypothèse sur le nombre d'étages dans la façade, on suppose simplement qu'il y a au moins deux niveaux dans le bâtiment. La limite entre le rez-de-chaussée et le ou les étages se situe donc dans la moitié inférieure de l'image de façade IO. On parcourt donc l'histogramme de rez-de-chaussée et, on cherche, sur tous les maxima de sa moitié inférieure, le pic de plus grande amplitude vérifiant les critères suivants: H _RDC (i) > 2/3 ,

7=0

et ∑H _Fe ,, _e/ , _e U) > 0.8 * ∑H _Fenelιe (j)

où

- i est une variable de ligne de pixels de l'image de façade IO correspondant à un pic sur la moitié inférieure de l'histogramme de rez- de-chaussée,

- j est un indice parcourant les N valeurs de l'histogramme de fenêtre vertical de haut en bas par rapport à l'image de façade 10,

- N est la taille de l'histogramme de fenêtre vertical,

- H _RDC (i) est la valeur de l'histogramme de l'histogramme de rez-de- chaussée en la variable i,

- et H _fenetιe (j) est la valeur de l'histogramme de fenêtre vertical en la variable j.

On détermine ainsi la ligne de l'image de façade IO correspondant au pic de rez-de-chaussée. Ce critère supplémentaire de sélection des maxima de l'histogramme de rez-de-chaussée permet de supprimer les pics n'étant pas sur des zones de variations de la couleur moyenne du fond.

La quatrième étape E4 du procédé de modélisation selon l'invention est la segmentation en cellules de l'image de façade IO. Pour cela, on analyse les histogrammes de fenêtre obtenus à l'étape E2. L'histogramme de fenêtre vertical est séparé en deux sous-histogrammes correspondant à deux sous- images de l'image de façade IO, l'une contenant le rez-de-chaussée du bâtiment dont on analyse la façade, et l'autre contenant les étages supérieurs. Cette séparation utilise l'étape de détection E3 précédente, qui fournit la ligne de séparation de l'histogramme de fenêtre vertical. Elle permet de s'affranchir des perturbations sur l'histogramme de fenêtre vertical, dues au changement de couleur sur l'image de façade IO.

Comme indiqué plus haut, les histogrammes de fenêtre présentent des "vallées" dans les zones inter-éléments. L'analyse des minima du sous- histogramme de fenêtre vertical représentatif des étages, permet donc de déterminer les limites entre étages. De même l'analyse des minima de l'histogramme de fenêtre horizontal permet de déterminer les limites entre éléments de façade.

Pour faciliter la recherche de minima, les hautes fréquences de ces histogrammes sont filtrées sur une base d'ondelettes. Plus précisément les signaux des histogrammes de fenêtre sont décomposés en fréquences sur une base d'ondelettes de Daubechies, et sont filtrés en supprimant les hautes fréquences. Cela permet de lisser les histogrammes, comme le montre par exemple le diagramme de la figure 6, ayant en abscisses l'axe AX1 de lignes de pixels et en ordonnées l'axe AY1 de valeurs du sous-histogramme de fenêtre vertical représentatif des étages : Le signal non filtré SO de ce sous- histogramme présente de nombreux pics dus à des irrégularités des éléments de façade, tandis que le signal filtré SF1 correspondant ne présente que quelques minima et maxima restants à analyser.

L'histogramme de fenêtre horizontal étant généralement plus sensible aux bruits et aux perturbations de l'image que l'histogramme de fenêtre vertical, l'histogramme de fenêtre horizontal subit dans cette étape E4, en plus de ce filtrage fréquentiel, un processus de temporisation périodique. Ce processus analyse la périodicité de l'histogramme de fenêtre horizontal par une étude de la covariance et le cas échant applique un ensemble de gaussiennes centrés sur les minimums des courbes répondant au critère de périodicité. Le diagramme de la figure 7, ayant en abscisses l'axe AX2 de lignes de pixels et en ordonnées l'axe AY2 de valeurs de l'histogramme de fenêtre horizontal montre le signal filtré en fréquences SF2 de cet histogramme, une gaussienne SG appliquée à ce signal filtré SF2, et l'histogramme résultant de cette application SR. Le signal filtré SF1 du sous-histogramme de fenêtre vertical et le signal résultant SR de l'histogramme de fenêtre horizontal sont ensuite analysés. Pour cela, les espaces des distributions des valeurs de ces signaux sont partitionnés, et des seuils sont fixés dynamiquement sur ces signaux à partir des partitions créées. Plus précisément ces partitions sont classées en quatre groupes par un algorithme de K-Mean, qui fixe dynamiquement trois seuils. Ainsi sur l'exemple de la figure 6, les valeurs du signal filtré SF1 sont

réparties dans quatre intervalles en fonction de leurs positions par rapport à trois seuils S1 , S2 et S3. Ces seuils permettent de classer les minima des signaux pour ne garder que les minima globaux: on ne garde que les minima inférieurs au seuil le plus bas et on fusionne deux minima s'ils ne sont pas séparés d'un maximum supérieur au seuil médian. Cela permet de fusionner deux minima se trouvant dans la même zone inter-éléments.

Les minima globaux obtenus par analyse du signal filtré SF1 délimitent les étages entre eux et permettent de segmenter l'image de façade étage par étage. Les minima globaux obtenus par analyse du signal résultant SR délimitent les éléments de façade entre eux et permettent de segmenter les étages en cellules, chacune ne comprenant qu'un seul élément de façade.

En variante, au lieu de calculer un seul histogramme de fenêtre horizontal à l'étape E2, on calcule à l'étape E4 un histogramme de fenêtre par étage, après segmentation par étages de l'image de contours filtrée verticalement, et segmentation par étages de l'image d'appartenance au fond, à partir des minima globaux obtenus par analyse du signal filtré SF1. Ceci permet d'affiner les résultats, par comparaison inter-étages des limites de cellules trouvées par analyse des différents histogrammes de fenêtre horizontaux. Ceci permet d'aligner les cellules, ce qui accroît la qualité visuelle de la segmentation, et de comparer la segmentation de chaque étage pour ajouter ou supprimer certaines cellules en fonction des étages voisins.

La cinquième étape E5 du procédé de modélisation selon l'invention est la détection des éléments de façade dans les cellules obtenues à l'étape précédente. Cette étape consiste à extraire précisément les éléments de façade du fond de la façade. En effet une cellule est assimilable à un élément de façade entouré de zones de fond.

Pour extraire précisément la zone de chaque cellule représentant l'élément de façade, un processus de croissance de régions rectangulaires est utilisé. Le principe de ce processus est d'agrandir une région possédant certaines propriétés de forme, ici une forme rectangulaire, en fonction d'une

carte de distances calculée à partir de l'image. Un exemple d'algorithme de croissance de régions rectangulaires pour détecter des éléments de façade est décrit dans l'article de K. Schindler et J. Bauer cité plus haut.

Plus précisément la carte de distances est créée dans cette étape E5 en additionnant les valeurs des pixels de l'image d'appartenance au fond IAF et les valeurs des pixels de l'image de contours IC. Il est à noter que la figure 4 représente pour des raisons pratiques une image de contours IC inversée, l'image de contours IC étant composée en réalité de contours blancs sur fond noir. Cette carte de distances est ensuite filtrée par une gaussienne calculée en fonction de la distribution de cette carte, c'est-à-dire en fonction de la moyenne et de la variance de la carte, pour atténuer le bruit et minimiser les valeurs proches de zéro, c'est-à-dire les valeurs des pixels des zones de fond, ou les valeurs proches de un, c'est-à-dire les valeurs des pixels sur des éléments de façade. Enfin, on soustrait la valeur moyenne de la carte filtrée à toutes les valeurs de cette carte pour obtenir une carte de distances positive sur les régions représentant des éléments de façade et négative ailleurs. La carte ainsi obtenue est alors fournie au processus de croissance de régions, qui à partir d'une petite zone rectangulaire de départ, positionnée au centre des cellules telles que délimitées à l'étape E4, converge vers la zone rectangulaire maximisant la valeur moyenne des pixels de la région correspondante.

La sixième étape E6 du procédé de modélisation selon l'invention est la classification des éléments de façade et des textures de fond de l'image de façade IO, à partir d'un catalogue d'éléments de façade et de textures de fond. Ce catalogue est par exemple contenu dans une base de données BD2, représentée à la figure 8, le procédé de modélisation selon l'invention étant implémenté de manière logicielle dans un serveur de données de visualisation SERV, relié à une base de données BD1 d'images de façade d'une ville. En variante le procédé de modélisation selon l'invention est implémenté sur plusieurs machines fonctionnant en parallèle.

Le catalogue d'éléments de façade est mis à jour au fur et à mesure que le serveur SERV analyse les images de façade de la base de données

BD1. Il contient des images permettant de reconstruire des images de façade de synthèse le plus fidèlement possible par rapport aux images de façade réelles. Ces images sont de deux types:

- des images de textures de fond des façades, de faible dimension, qui sont répétées sur le fond des images de synthèse pour créer des images hautes résolutions,

- et des images correspondant aux éléments de façades extraits des cellules lors de l'étape E5.

Les images de textures de fond caractérisant les étages de l'image de façade sont créées en utilisant la carte de distances créée à l'étape E5 et à partir de laquelle on a extrait les éléments unitaires de façades. Cette carte est parcourue pour rechercher la plus grande zone rectangulaire pour laquelle la somme des pixels la composant est minimum. On extrait ensuite une région rectangulaire uniforme de petite taille correspondant à cette zone dans l'image de façade IO initiale en couleurs, que l'on répète pour recréer une image de fond de même taille que les étages de l'image de façade IO. Une autre image de texture de fond est créée de manière similaire pour caractériser le rez-de- chaussée.

Afin de permettre une reconstruction rapide d'images de façade depuis un terminal distant connecté à un serveur de données de visualisation, le catalogue ne garde que les images d'éléments de façade et les images de textures de fond les plus caractéristiques des images analysées au fur et à mesure selon l'invention. La constitution du catalogue est effectuée en même temps que l'analyse des images de façades, afin d'optimiser la construction des modèles procéduraux de façade.

Pour cela, les images correspondant aux éléments de façades extraits lors de l'étape E5, sont analysées par des descripteurs de couleurs, de texture et de forme. De même des images de textures de fond extraites des images de façade de la base de données BD1 sont analysées par des descripteurs de

couleurs et de textures. Suivant le résultat de l'étape E3 de détection de changement de couleur, plusieurs images de textures de fond par image de façade sont éventuellement décrites. La description de chaque élément permet de les représenter dans un espace de description de grande taille et de mesurer dans cette espace la similarité entre éléments. Les deux types d'images stockées dans le catalogue requièrent la mise en place de deux espaces de description, l'un pour les images de textures de fond et l'autre pour les images correspondant aux éléments de façade. En effet, bien que les descripteurs utilisés pour décrire les images de textures de fond et les descripteurs utilisés pour décrire les images correspondant aux éléments de façade extraits soient en partie identiques, notamment pour la description des couleurs et des textures, ces dernières images sont analysées séparément. Ils sont décrits également par des descripteurs de forme utilisant une approche région, par exemple utilisant la transformation Angular Radial Transform (ART).

Les descripteurs de couleurs sont créés en calculant des histogrammes couleurs des images à décrire. Cette approche est proposée par M. J. Swain et D. H. Ballard dans leur article "Color indexing" publié en 1991 dans le magazine "International Journal of Computer Vision". Elle consiste à représenter les pixels des images sous forme d'histogrammes des valeurs de leurs couleurs. Dans ce mode de réalisation de l'invention, trois histogrammes sont créés, une par composante couleur des pixels décrits dans l'espace couleur CIE L*a ^* b ^* . Ces histogrammes sont quantifiés pour réduire l'espace de description et la valeur de chaque quantification est stockée comme descripteur.

Les descripteurs de texture utilisent une analyse de la texture des images. Cette analyse se base sur les travaux de Yong Man Ro, Munchurl Kim, Ho Kyung Kang, B. S. Manjunath, et Jinwoong Kim, décrits dans l'article "MPEG-7 Homogeneous Texture Descriptor" publié en 2001 dans le magazine "Electronics and Télécommunications Research lnstitute (ETRI) journal".

Une fois tous les éléments et textures de fond des images de façade de la base de données BD1 indexés à l'aide de ces descripteurs dans le catalogue de la base de données BD2, les deux espaces de descriptions sont segmentés en classes d'éléments similaires par l'algorithme des nuées dynamiques. Cet algorithme est une méthode de classification automatique qui a pour objectif de partitionner l'espace en un certain nombre de classes. Il est décrit notamment dans les articles suivants:

- "Least squares quantization in puise-code modulation (PCM)", de S. P. Lloyd, publié en 1982 dans le magazine "IEEE Transactions on Information Theory",

- et "Some Methods for classification and Analysis of Multivariate Observations", de J. B. MacQueen, publié en 1967 à l'occasion de la cinquième conférence "Berkeley Symposium on Mathematical Statistics and Probability". Le choix du nombre de classes à garder, et donc du nombre final de textures de fond et d'éléments de façades dans le catalogue, est défini en fonction de la précision du réalisme voulu et de la taille du catalogue que l'on souhaite.

A l'issue de cette segmentation, on associe chaque image de texture de fond ou d'élément de façade à sa classe. Cette association est conservée pour chaque image de façade dans la base de données BD1 , qui mémorise aussi la position des éléments ou des textures sur les façades correspondantes. Puis on supprime du catalogue toutes les images n'étant pas définies par l'algorithme des nuées dynamiques comme un centre d'une classe. Ceci permet de ne garder que peu d'éléments de façade, tout en garantissant que chaque élément aura un représentant de classe visuellement proche qui le remplacera dans les images de synthèse.

L'image de façade IO est associée dans ce mode de réalisation à deux images de textures de fond, l'une pour le rez-de-chaussée et l'autre pour les étages supérieurs. Chacune de ces images de textures sont classées, à l'issue de l'étape E6, dans une classe d'images de textures de fond très proches représentée par l'image du centre de cette classe. De même, les

éléments de façade extraits à l'étape E5 sont classés dans des classes représentées chacune par un élément de façade très ressemblant. Suivant le réalisme souhaité ou le type de façade analysé, par exemple si plusieurs changements de couleurs de la façade sont détectés à l'étape E3, l'image de façade IO est associée à plus d'images de textures de fond: par exemple on associe à chaque étage de l'image de façade IO une image de texture de fond.

Enfin la septième étape E7 du procédé de modélisation selon l'invention est la modélisation de l'image de façade IO. Cette modélisation est par exemple la modélisation procédurale proposée dans la norme MPEG4, dans la partie "Animation Framework extension". Elle s'effectue par le remplissage de paramètres de modélisation définissant notamment:

- la position et la taille du rez-de-chaussée et des étages, - le nombre d'étages,

- pour chaque étage, le nombre et la position des cellules

- un numéro de classe associé à l'image de texture caractérisant les étages de l'image de façade IO,

- un numéro de classe associé à l'image de texture caractérisant le rez- de-chaussée de l'image de façade IO,

- pour chaque cellule, leur taille et un numéro de classe associé à un élément de façade éventuellement présent dans cette cellule, ainsi que sa position dans la cellule, sa taille, etc.

Le serveur SERV de données de visualisation d'une ville est connecté à des terminaux clients par un réseau de communication RES, représenté à la figure 8. Lorsqu'un utilisateur navigue virtuellement dans la ville à l'aide d'un navigateur sur un terminal distant T relié au serveur SERV par le réseau RES, le terminal T demande au serveur SERV, par une requête REQ de données de visualisation, la transmission de données à afficher correspondant à l'endroit où se trouve virtuellement l'utilisateur dans la ville. Le serveur SERV

envoie alors au terminal T une réponse REP contenant des données de façades à afficher. Ces données comportent les modèles procéduraux des façades à visualiser, et tout ou partie du catalogue d'éléments de façade et de textures de fond. Le signal d'information transportant les données de la requête REP est donc beaucoup plus compact que s'il fallait transmettre les images réelles des façades, et permet une reconstruction de bonne résolution et similaire aux façades d'origine.