| JP2000089131 | ELECTRONIC ENDOSCOPE DEVICE |
| WO/2002/084378 | APPARATUS FOR RECORDING THREE DIMENSIONAL VIDEO AND MOVIE CAMERA |
| JP2012065268 | IMAGING DEVICE |
| REVENDICATIONS 1) Procédé pour la reconstruction automatisée de modèles tridimensionnels de superstructures/détails des toits de bâtiments et pour la création de modèles tridimensionnels ou empreintes de bâtiments à partir de ces mêmes toits, caractérisé par : a) une suite de traitements appliqués à partir d'uniques images aériennes ou satellitaires ainsi qu'à partir des paramètres positionnels de la caméra et du soleil saisis lors de la prise de vue, ces traitements impliquant : une étape de reconnaissance des formes/primitives de détails de toit associée à reconnaissance des formes/primitives des ombres de ces mêmes détails une phase d'optimisation d'un modèle 3D de détail de toit qui fait varier les paramètres du modèle 3D (dont font partie la pente et la hauteur) et mesure son efficacité via la projection dudit modèle 3D dans le plan du cliché en lui adjoignant un score à chaque étape b) ce que la phase d'optimisation des paramètres des modèles 3D de ces détails des toits permet de déterminer la pente sous-jacente et donc de reconstruire un modèle de chaque pan de toit. L'empreinte du toit ainsi déterminée pouvant alors servir soit comme empreinte de bâtiment soit de base à un modèle 3D de bâtiment . 2) Procédé selon la revendication 1, caractérisé en ce que l'étape de reconnaissance des formes détermine des couples de formes de détails du toit associées à leurs ombres : ceci représente dans chaque cas au moins deux empreintes avec leurs contours et/ou un ensemble de pixels et leur valeur. 3) Procédé selon la revendication 1 ou la revendication 2, caractérisé en ce que la phase de reconstruction/optimisation utilise des scores de similarité établis à partir de techniques de l'état de l'art permettant : de déterminer la probabilité qu'une suite de pixels d'une image représente un contour ou qu'un ensemble de pixels appartiennent à une même région (de part son contraste , sa colorimétrie ou de part la présence d'une texture reconnaissable) ou permettant de connaître quel arrangement de pixels d'une image en régions permet de compresser au mieux cette même image (si l'on devait diminuer la quantité d'information présente en chaque région) . 4) Procédé selon l'une quelconque des revendications précédentes, qui permet une fois un modèle détaillé tridimensionnel de toit reconstruit a) utiliser la taille du toit et des ses détails (les cheminées en particulier) pour en déduire une hauteur proportionnelle approchée du bâtiment b) utiliser une hauteur par défaut éventuellement dépendante de la location du bâtiment. c) utiliser une phase d'optimisation telle que décrite dans la revendication 3 ne nécessitant pas l'usage de l'ombre (usage optionnel possible selon la localisation par exemple) . |
La présente invention concerne un procédé de reconstruction automatique de modèles tridimensionnels de superstructures de toits de bâtiments et la création de modèle ou empreinte des bâtiments à partir de ces mêmes toits, et ce à partir d'uniques images aériennes ou satellitaires, des différents paramètres positionnels de la caméra et du soleil saisis lors de la prise de vue, ainsi qu'à partir d'un dispositif de mise en œuvre dudit procédé. Des pistes d'algorithmes sont fournis à fin de mettre en œuvre le dit procédé.
Selon l'état de l'art au dépôt de ce brevet, la reconstruction de modèles 3D de bâtiments est généralement établie à partir d'images stéréoscopiques, d'autres méthodes utilisant par exemple le LIDAR (concept laser/radar) ou SAR produisent aussi un intérêt certain mais sont encore plus coûteuses à mettre en œuvre et ne permettent que de reproduire la géométrie des bâtiments au mieux à une précision de l'ordre du mètre. Les méthodes stéréoscopiques ont le mérite de se suffir à elles-même en joignant l'image à la géométrie et sont donc plus abordables, c'est pourquoi elles représentent les méthodes traditionnelles de production de géométrie. Néanmoins ces méthodes fonctionnent de manière aléatoire dans un environnement dense -en particulier donc en milieu urbain-: les objets à reproduire ont en effet tendance à se recouvrir mutuellement sous l'objectif de l'appareil photo/caméra et ne sont généralement visibles que dans des angles proches de la verticale, ce qui implique des photos prises à des angles semblables, or ces méthodes ont besoin de prises de vues à des angles suffisamment éloignés pour bénéficier de plus de recouvrement, ce qui produit en retour plus d'occlusion... Ainsi bien souvent les avantages d'une résolution optique de l'ordre du centimètre se trouvent annulés par les occlusions et problèmes causées par la spécularité qui transforment les formes précises originales en clusters aléatoires de pixels. Les modèles 3D des détails de toit et des toit eux mêmes qui en résultent sont alors au mieux approximatifs avec des décalages notables des texture et sont souvent pas reproduits du tout. Qui plus est les clichés saisis demandent une couverture aérienne plus étroite et un matériel adapté ce qui revient bien plus cher qu'une simple photographie aérienne verticale traditionnelle ou qu'un cliché satellitaire.
La méthode proposée en optimisant les résultats sur les clichés directement et en tirant parti des informations sur les ombres évite cet écueil , elle peut néanmoins être utilisée de manière complémentaire au méthodes stéréo existantes pour corriger leurs lacunes (par exemple en détectant le détail de toit sur un modèle numérique de surfaces obtenu en stéréo, en détectant son ombre sur le cliché et en projetant les modèles optimisés sur ce même cliché) ou seule. D'autres tentatives en cours partent aussi sur la base d'uniques images mais présentent certains des écueils présentés ainsi que d'autres : parmi celles-ci, il y a les méthodes s 'appliquant directement à des bâtiments et a leurs ombres, qui présentent encore les inconvénients cités en environnement urbain dense car leurs ombres sont stoppées par les bâtiments environnants (voir « Building Détection and
Description from a Single Intensity Image », Lin & Nevatia, 1998), ces méthodes sont semblables en certains points à celle exposée mais ne prennent pas en compte la pente du support sous-jacent, elles se basent souvent sur l ' appariement des seuls segments et souffrent de certains des mêmes défaut que les méthodes de reconstruction directes (voir en-dessous) .
Il y a les méthodes de reconstruction directes (shape from shading/darkness) , basée sur la logique des arrêtes définie par Huffman&Clowes qui ne fonctionnent qu'à certains angles de l'ombre par rapport au modèle 3D à reconstruire et qui se basant sur
I 'appariement de segments/bords ne peuvent pas fonctionner correctement fonctionner sur les images de résolutions moyennes comme c'est souvent le cas avec les images aériennes ou satellitaires (voir « Using Shadows in Finding Surface Orientations » Shafer&Kanade 82; « impossible objects as non-sens sentences » Huffman, 1971; « on seeing things » Clowes, 1971) .
II y en a d'autres qui se basent indifféremment sur les superstructures (bâtiments ou détails de toits) mais qui ne sont pas automatisées et requièrent un opérateur pour par exemple isoler les ombres et leurs objets associées.
Une constante étant que chacune des ces méthodes ne prennent pas en compte la pente des supports sous-jacent ( terrain ou toit) .
La méthode proposée en se basant sur les superstructures / détails des toits permet de travailler sur des ombres entières de manière quasiment systématiques et d'obtenir des résultats reproductibles à grande échelle, elle fonctionne en plus de manière automatisée et ce grâce à l'usage de méthodes de reconnaissances de formes et d'optimisation ainsi que par l'usage de scores ou méthodes de nature bayésienne mises en correspondance avec une méthode de projection d'un objet 3D dans le plan du cliché qui utilise et ajuste la pente du support sous-jacent.
Le procédé selon l'invention consiste en une suite de traitements permettant la reconstruction automatisée de modèles tridimensionnels de superstructures/détails des toits de bâtiments et la création de modèles tridimensionnels/ou empreintes de bâtiments à partir de ces mêmes toits, ces suites de traitements étant appliquées à partir d'une ou plusieurs images aériennes ou satellitaires éventuellement secondées par un modèle numérique d'élévation ou de surface et à partir des paramètres positionnels de la caméra et du soleil saisis lors de la prise de vue, ces traitements consistant en: -une étape de reconnaissance des formes et/ou primitives de détails de toit associée à la reconnaissance des formes et/ou primitives des ombres de ces mêmes détails .
-une étape d' appariement de chaque candidat détail du toit à un candidat ombre à partir des propriétés topologiques des formes des candidats et de valeurs moyennes constatées de la taille des détails des toits.
-Une reconstruction d'un modèle 3D de détail de toit à partir des formes de son ombre et d'une estimation de la pente du toit sous- jacent à ce détail de toit sur lequel l'ombre en question est projetée et/ou à partir d'un modèle numérique d'élévation ou de surface, reconstruction dont l'efficacité est mesurée par un score mesurant la similarité de la projection dudit modèle 3D de détail de toit et de son ombre dans le plan du cliché optique en comparaison du dit cliché. Dans le cas ou le score retourné est insuffisant et/ou qu'une inconsistance est relevée, cette phase de reconstruction est secondée par une phase d'optimisation de paramètres du dit modèle 3D, cette phase d'optimisation mesurant alors aussi son efficacité via la dite projection dudit modèle 3D à chaque changement de paramètre. Les paramètres du modèle 3D à optimiser visés sont en particulier la hauteur et la pente du support qui sont des paramètres liés et sensibles à l'erreur, mais peuvent être aussi chacun des autres paramètres du modèle 3D. Selon des modes particuliers de réalisation: -les propriétés topologiques utilisées sont la longueur de
1 ' ombre, l ' indice de rectangularité ,1a moyenne de couleur dans chaque forme considérée, la correspondance de la largeur du détail du toit à son ombre... -la reconnaissance de formes utilise un graphe hiérarchique de régions du cliché de telle manière que des détails plus ou moins fins peuvent être détectés et détourés et que la région qui les représente puisse être contenue à son tour dans un détail englobant -donc topologiquement dans une région englobante associée-, -à partir des modèles de détails du toit, des valeurs de pente sont associées à chaque détail du toit .Chacun des détails du toit est alors classé en un nouvel ensemble de régions par similitude des valeurs de pente et par connexité des détails du toit en question par rapport aux autres détails du toit, -à partir de ce nouveau classement , les paires de régions connexes de valeur de pente moyenne opposées proches sont déterminées comme représentant un toit symétrique (c'est à dire possédant deux pans de toit de pente opposées) : possédant déjà les limites du toit qui sont considérées comme la plus proche forme/région englobant les détails du toit de la paire de classes/régions connexes considérées, les limites de chaque pan de toit représentent la moitié de cette région.
L'orientation de la délimitation des moitiés s ' obtenant facilement à partir des centres de gravité /barycentres de chaque ensemble de détails du toit de la paire de régions considérées. -à partir de l'empreinte des toits, la hauteur d'un modèle de bâti peut être retrouvé en procédant par changements progressifs de la hauteur du modèle 3D,par la projection de ce dernier sur le plan du cliché et l'adjonction d'un score qui est fonction du degrés de ressemblance du modèle 3D projeté au cliché original, puis par l'optimisation de ce score.
- le modèle utilisé est un bâtiment ou autre objet au sol et le toit représenté par le terrain sous-jacent avec les données de sa pente. Les dessins annexés illustrent l'invention :
Fig. 1 : Agrandissement de l'image à traiter sur un détail du toit (cheminée) . Fig. 2 : Création de régions par reconnaissance de formes, classement des régions dans un graphe hiérarchique.
Fig. 3 : Création d'un modèle 3D basique de détail de toit à partir des régions reconnues sur la Fig. 2.
Fig. 4 : Changement des paramètres du modèle 3D de détail du toit et projection. Fig. 5 : Détermination des pentes et des modèles 3D des pans des toits à partir des modèles 3D des détails du toit et extrusion d'un modèle 3D de bâtiment à partir de l'empreinte du toit par optimisation .
En référence à ces dessins ,1e procédé consiste en une étape de détection des détails des toits (2) par l'usage d'un graphe hiérarchique (5) de segmentations en régions de l'image à traiter (1) (voir Fig.l et 2) .
A partir de chacune de ces formes candidates retenues après l'application de scores relatifs aux propriétés topologiques de colorimétrie, de contraste et d'orientation des régions, on établit un modèle 3D basique (7) du détail de toit (2) considéré: la hauteur du détail de toit (2) étant déterminée à partir de la longueur de l'ombre (3) pour une pente (9) par défaut ou estimée directement si l'orientation de l'ombre le permet (voir Fig.3) . Après cela une phase d'optimisation a lieu pour chacun des détails de toit (2), les paramètres 3D telles que la hauteur, la largeur, la longueur et les deux angles qui déterminent la pente (9) du pan de toit (11) sur lequel se situe le détail (2) varient et la variation du modèle en question (7) est établi à chaque changement de paramètres permettant d'établir une projection du modèle 3D en « fil de fer »(8) correspondant et une projection de son ombre (10) . Ce modèle en « fil de fer »(8) est affecté d'un score correspondant au taux de compression de l'image selon les régions délimitées par les projections des arrêtes du modèle 3D « en fil de fer »(8) sur le plan du cliché (6) considéré horizontal: les régions à l'intérieur des formes délimitées par chaque projection des arrêtes étant affectées de la valeur moyenne des pixels de la région (voir Fig.4) . A partir de la pente (9) de chaque détail de toit (2), on établit un classement des détails de toit (2) connexes et de valeur de pente semblables ( 9) en pans de toit (11), les pans de toit de valeurs opposées formant un toit (14) « symétrique ».
On détermine la position de l'arrête du toit (12), à partir des centres de gravité (13) des détails de toit (2) de chaque pan de toit (11) .
A partir des pans de toit (11), on peut déterminer l'empreinte du bâtiment supportant le toit (14) et obtenir un modèle de bâtiment en optimisant les paramètres d'un modèle 3D en « fil de fer »(8) (voir Fig.5), on peut aussi éventuellement exploitant les nouvelles données de la pente du toit et des modèles de détails de toit pour raffiner un modèle numérique de surface.
A titre d'exemple non limitatif, les dimensions des détails du toit sont de l'ordre du mètre. Le procédé selon l'invention est particulièrement destiné à la reproduction d'univers virtuels géolocalisés et à la création de cartes et systèmes d'information géographiques 3D.