La présente invention concerne un système et un procédé de localisation d'image photographique pour modéliser une scène en 3 dimensions, ainsi qu'un dispositif repéré associé.

La modélisation à partir de photographies consiste à prendre plusieurs prises de vues selon différents angles d'un bâtiment ou d'une scène à l'aide d'un appareil photographique, à calculer les positions et orientations des points de vue des différentes prises de vue, à pointer les différents éléments structurants de ce bâtiment sur les différentes prises de vues, et à reconstruire une maquette tridimensionnelle de ce bâtiment ou de cette scène dans un espace virtuel, à partir des positions pointées sur les différentes prises de vues.

Dans ce processus, le pointage intervient dans deux étapes distinctes : - le calcul des positions et orientations des points de vue des différentes prises de vue ; et

- la saisie des éléments structurants du bâtiment.

Le pointage est réalisé par un technicien qui sélectionne manuellement des pixels des prises de vues à l'aide d'un pointeur d'un ordinateur. Ce pointage requiert plusieurs heures de travail.

L'invention a notamment pour but de réduire ou de supprimer l'étape longue et fastidieuse de pointage liée au calcul des positions et orientations des clichés.

A cet effet, l'invention a pour objet un système de localisation d'image photographique pour modéliser une scène en 3 dimensions, le système comportant :

- un dispositif repéré comprenant un premier imageur et au moins deux cibles distinctes l'une de l'autre ; le premier imageur étant apte à imager une scène pour générer l'image photographique à localiser ;

- un dispositif de repérage comportant un deuxième imageur propre à imager au moins une cible positionnée à une distance connue pour générer une vignette de référence, ledit deuxième imageur étant apte à imager le dispositif repéré pour générer une image photographique de repérage, ladite prise de vue du dispositif repéré étant simultanée à la prise de vue de la scène ; et

- une unité de calcul apte à localiser angulairement l'image photographique à localiser par rapport à un référentiel à partir de la vignette de référence et de l'image photographique de repérage.

Suivant des modes particuliers de réalisation, le système de localisation comporte l'une ou plusieurs des caractéristiques suivantes :

- une unité de mesure apte à mesurer la position du dispositif repéré par rapport au référentiel, ladite mesure de position étant simultanée à la prise de vue de la scène ; et dans lequel l'unité de calcul est apte à positionner l'image photographique à localiser à partir de la position mesurée ; ladite unité de mesure comprenant

- un émetteur/récepteur apte à émettre un faisceau vers un réflecteur et à réceptionner le faisceau réfléchi par le réflecteur ; et un réflecteur apte à réfléchir le faisceau provenant de l' émetteur/récepteur ; l' émetteur/récepteur appartenant au dispositif de repérage, le réflecteur appartenant au dispositif repéré ; la position du dispositif repéré par rapport à un référentiel correspondant à la position du réflecteur par rapport à un référentiel ;

- des cibles de couleurs différentes.

L'invention a également pour objet un dispositif repéré pour un système de localisation d'image photographique décrit ci-dessus, ledit dispositif repéré comprenant un premier imageur et au moins deux cibles distinctes l'une de l'autre ; le premier imageur étant apte à imager une scène pour générer l'image photographique à localiser.

L'invention a également pour objet un procédé de localisation d'au moins une image photographique pour modéliser une scène en 3 dimensions à partir d'un système de localisation d'image photographique ; ledit système de localisation comportant un dispositif repéré comprenant un premier imageur et au moins deux cibles distinctes l'une de l'autre, et un dispositif de repérage comportant un deuxième imageur et une unité de calcul, caractérisé en ce que le procédé comporte les étapes suivantes : - obtention d'au moins une partie d'une image photographique, ci-après appelée vignette de référence, représentant au moins une cible positionnée à une distance connue ;

- prise de vue d'une scène par le premier imageur pour générer l'image photographique à localiser ;

- prise de vue du dispositif repéré par le deuxième imageur pour générer une image photographique de repérage, ladite prise de vue du dispositif repéré étant simultanée à la prise de vue de la scène ;

- localisation angulaire de l'image photographique à localiser par rapport à un référentiel à partir de la vignette de référence et de l'image photographique de repérage.

Suivant des modes particuliers de réalisation, le procédé comporte l'une ou plusieurs des caractéristiques suivantes :

- à partir du système de localisation décrit ci-dessus comprenant en outre une unité de mesure comportant un émetteur/récepteur intégré au dispositif de repérage et un réflecteur fixé au dispositif repéré ; le procédé comprend en outre les étapes suivantes :

- mesure de la distance et des angles entre le réflecteur et le deuxième imageur par l'unité de mesure, ladite mesure de distance et d'angles étant simultanée à la prise de vue de la scène ; et - positionnement de l'image photographique à localiser à partir de ladite mesure de distance et d'angles et de l'image photographique de repérage ;

- l'étape d'obtention de la vignette de référence est réalisée par prise de vue de la cible positionnée à une distance connue par le deuxième imageur ;

- le procédé comporte en outre les étapes suivantes : - échantillonnage de la vignette de référence en fonction de la distance connue et de la distance entre le réflecteur et le deuxième imageur ; et

- détermination de la position des cibles dans l'image photographique de repérage à partir de la vignette de référence échantillonnée ;

- à partir du système de localisation décrit ci-dessus comprenant en outre une mémoire stockant les distances et les angles entre chaque cible et le réflecteur, le procédé comporte en outre une étape de détermination des positions possibles de chaque cible dans un espace virtuel, lesdites positions possibles étant les points d'intersection entre une sphère virtuelle et une droite virtuelle, ladite sphère virtuelle étant centrée sur la position du réflecteur, ladite sphère virtuelle ayant un rayon égal à la distance entre chaque cible et le réflecteur ; ladite droite virtuelle passant par un point perspectif de l'image photographique de repérage et par la position du barycentre de chaque cible dans l'image photographique de repérage ; - le procédé comporte en outre une étape de détermination des positions des cibles dans l'espace virtuel par similitude entre, d'une part, les positions possibles des cibles et, d'autre part, les distances et les angles entre chaque cible et le réflecteur ;

- à partir du système de localisation décrit ci-dessus, dans lequel la mémoire stocke les distances et les angles entre le réflecteur et le premier imageur, le procédé comporte les étapes suivantes :

- calcul d'une matrice de rotation représentative de la rotation entre le réflecteur et le premier imageur et d'une matrice de translation représentative de la translation entre le réflecteur et le premier imageur ; et

- établissement d'une matrice représentative de l'orientation du premier imageur par rapport au référentiel, et de la matrice représentative de la position premier imageur par rapport au référentiel, à partir des positions des cibles, de la matrice de rotation représentative de la rotation entre le réflecteur et le premier imageur, et de la matrice de translation représentative de la translation entre le réflecteur et le premier imageur ; et - localisation angulaire de l'image photographique à localiser par rapport au référentiel à partir de la matrice représentative de l'orientation du dispositif repéré par rapport au référentiel, et de la matrice représentative de la position du dispositif repéré par rapport au référentiel.

Enfin, l'invention a également pour objet un programme informatique, caractérisé en ce qu'il comporte des instructions pour mettre en œuvre le procédé de localisation d'au moins une image photographique pour modéliser une scène en 3 dimensions à partir d'un système de localisation d'image photographique, lorsque ces instructions sont exécutées par un processeur.

L'invention sera mieux comprise à la lecture de la description qui va suivre, donnée uniquement à titre d'exemple et faite en se référant aux dessins, sur lesquels : la figure 1 est une vue schématique du système de localisation selon l'invention ; la figure 2 est un diagramme des étapes du procédé selon l'invention ; et les figures 3 et 4 sont des schémas représentant certaines étapes du procédé selon l'invention.

En référence à la figure 1 , le système de localisation 2 comprend un dispositif repéré 4 et un dispositif de repérage 6.

Selon le mode de réalisation illustré sur la figure 1, le dispositif repéré 4 comporte un support 8, un appareil photographique ci-après appelé premier imageur 10 et six cibles 12 _! avec i = 1,...6 portés par le support 8.

Le support 8 est par exemple formé par un anneau 16 sur le pourtour extérieur duquel les cibles 12 _! sont fixées. L'anneau 16 est en outre muni d'une barre 18 portant le premier imageur 10.

En variante, le support 8 présente une forme différente.

Le premier imageur 10 est apte à prendre en photographie un bâtiment ou une scène

20 pour générer une image photographique à localiser 22.

Les six cibles H ₁ sont de forme sphérique. Chaque cible présente une couleur différente.

En variante, les cibles présentent des formes différentes.

En variante, le dispositif repéré 4 comporte uniquement deux cibles distinctes l'une de l'autre.

Le dispositif de repérage 6 comprend un deuxième appareil photographique, ci- après appelé deuxième imageur 26, propre à prendre en photographie le dispositif repéré 4 au moment où le premier imageur 10 prend en photographie la scène 20 pour générer une image photographique ci-après appelée image photographique de repérage 30.

Le système de localisation 2 comporte en outre une unité de mesure 7 et une unité de calcul 9.

L'unité de mesure 7 est apte à mesurer la position du dispositif repéré par rapport à un repère fixe. Elle comprend un émetteur/récepteur 24 intégré au dispositif de repérage 6 et un réflecteur 14 fixé sur le pourtour intérieur de l'anneau 16 du dispositif repéré.

L'émetteur/récepteur 24 est apte à émettre un faisceau laser vers le réflecteur 14 et à réceptionner le faisceau réfléchi par le réflecteur 14.

L'ensemble émetteur/récepteur 24 et réflecteur 14 est par exemple constitué par un télémètre. Dans ce cas, le réflecteur 14 est un prisme, et le télémètre est muni d'un système de suivi optique du prisme.

L'ensemble émetteur/récepteur 24, réflecteur 14 et deuxième imageur 26 est de préférence constitué par une station totale. Dans ce cas, les positions mesurées par l' émetteur/récepteur de la station totale sont corrigées pour définir des positions par rapport au centre de visée du deuxième imageur 26. Dans la suite de la description, il sera considéré que l'ensemble émetteur/récepteur 24, réflecteur 14 et deuxième imageur 26 est constitué par une station totale et que les positions mesurées par l' émetteur/récepteur sont corrigées pour définir des positions par rapport au centre de visée du deuxième imageur 26.

En variante, l' émetteur/récepteur 24 est apte à émettre un faisceau ultrason.

Un référentiel 25 est choisi conventionnellement au centre de visée du deuxième imageur 26. Un référentiel 27 est choisi conventionnellement au centre du réflecteur 14. Un référentiel 28 est choisi conventionnellement au centre de visée du premier imageur 10. Pour les besoins de l'invention, les matrices de rotation R, R' et Rg, et les matrices de translation T, T' et Tg sont établies.

La matrice de rotation R est représentative de la rotation entre le référentiel 27 du réflecteur 14 et le référentiel 28 du premier imageur 10. La matrice de rotation R' est représentative de la rotation entre le référentiel 25 du deuxième imageur 26 et le référentiel 27 du réflecteur 14. Enfin, la matrice Rg est représentative de la rotation entre le référentiel 25 du deuxième imageur 26 et le référentiel 28 du premier imageur 10 ou, autrement dit, l'orientation du premier imageur 10, par rapport au référentiel 25. En pratique, Rg = R . R' .

La matrice de translation T est représentative de la translation entre le référentiel 27 du réflecteur 14 et le référentiel 28 du premier imageur 10. La matrice de translation T' est représentative de la translation entre le référentiel 25 du deuxième imageur 26 et le référentiel 27 du réflecteur 14. La matrice de translation Tg est représentative de la translation entre le référentiel 25 du deuxième imageur et le référentiel 28 du premier imageur 10 ou, autrement dit, de la position du premier imageur 10, par rapport au référentiel 25. En pratique, Tg = T + T'.

L'unité de calcul 9 comporte une mémoire 32 propre à stocker un programme d'ordinateur et des données initiales, et un processeur 34 apte à exécuter ce programme d'ordinateur à partir des données initiales et des données fournies par l'unité de mesure 7, le premier imageur 10 et le deuxième imageur 26. A cet effet, l'unité de calcul 9, le premier imageur 10 et le deuxième imageur 26 comprennent des moyens de communication non représentés.

Les données initiales comportent les distances et les angles entre les cibles Yl _x et le réflecteur 14, les distances et les angles entre le réflecteur 14 et le premier imageur 10, ainsi qu'une vignette de référence, comme explicité ci-après. En référence à la figure 2, le procédé de localisation selon l'invention débute par une étape 36 au cours de laquelle une cible est prise en photographie à une distance connue do. Cette cible est appelée première cible \2 _\ ci-après.

Au cours d'une étape 38, une portion de l'image photographique photographiée au cours de l'étape 36, est extraite et enregistrée dans la mémoire 32. Cette portion d'image représente la première cible \1 _\ . Cette portion d'image est représentée schématiquement sur la figure 3 et sera appelée ci-après vignette de référence 39.

Au cours d'une étape 40, les distances et les angles entre le réflecteur 14, et plus précisément le référentiel 27 du réflecteur, et le premier imageur 10, ou plus précisément le référentiel 28 du premier imageur, sont mesurés et enregistrés dans la mémoire 32. Le processeur 34 calcule la matrice de rotation R et la matrice de translation T correspondantes et les enregistre dans la mémoire 32.

Au cours d'une étape 42, les distances et les angles entre les cibles Yl _x et le réflecteur 14 sont mesurés et enregistrés dans la mémoire 32.

Les distances et les angles entre les cibles Yl ₁ et le réflecteur 14 définissent le modèle géométrique du dispositif repéré.

Les étapes 36 à 42 peuvent être effectuées en laboratoire.

Au cours d'une étape 44, le premier imageur 10 prend en photographie la scène 20 ou le bâtiment à photographier, et génère une image photographique à localiser 22.

Simultanément, le deuxième imageur 26 prend une photographie du dispositif repéré 4 pour générer une image photographique de repérage 30 et l'unité de mesure 7 mesure la distance jusqu'au dispositif repéré 4 et, en particulier, jusqu'au réflecteur 14 et les angles de visée du faisceau laser dans le référentiel 25 du deuxième imageur. L'étape

44 est réalisée sur site. En référence à la figure 3, le processeur 34 génère au cours d'une étape 46, une première 45, une deuxième 47 et une troisième 49 vignettes de travail par échantillonnage de la vignette de référence 39 avec trois facteurs de ré-échantillonnage différents. A cet effet, le processeur 34 utilise la distance entre le deuxième imageur 26 et le réflecteur 14 mesurée au cours de l'étape 44.

Le premier facteur de ré-échantillonnage fi est donné par la formule ci-dessous :

Dans laquelle : - D est la distance entre le deuxième imageur 26 et le réflecteur 14.

- do est la distance entre la première cible 12 ₁ et le deuxième imageur 26 lors de la prise de vue effectuée au cours de l'étape 36.

Lorsque le premier facteur de ré-échantillonnage fi est appliqué à la vignette de référence 39, celle-ci est redimensionnée pour que la première cible 12 ₁ ait une dimension apparente équivalente à la dimension qu'elle aurait si elle avait été photographiée à une distance D.

Le deuxième facteur de ré-échantillonnage f ₂ est donné par la formule ci-dessous :

(D ₊ R)

Λ = ^" d _n dans laquelle R est la distance entre le réflecteur 14 et la cible Yl ₁ la plus éloignée du réflecteur 14.

Lorsque le deuxième facteur de ré-échantillonnage f ₂ est appliqué à la vignette de référence 39, la vignette de référence 39 est redimensionnée pour que la première cible 12i ait une dimension apparente équivalente à la dimension qu'elle aurait si elle avait été photographiée à une distance égale à D+R.

Le troisième facteur de ré-échantillonnage f ₃ est donné par la formule ci-dessous : (D - R)

Z ₃ = d _n

Lorsque le troisième facteur de ré-échantillonnage f ₃ est appliqué à la vignette de référence 39, cette dernière est redimensionnée de manière à ce que la première cible 12 ₁ ait une dimension apparente équivalente à la dimension qu'elle aurait si elle avait été photographiée à une distance D-R.

Au cours d'une étape 48, un ensemble de scores de corrélation est calculé entre l'image photographique de repérage 30 et la première vignette de travail 45. A cet effet, l'image photographique de repérage 30 est partitionnée en plusieurs portions d'image 51 de même dimension que la première vignette de travail 45.

Un score de corrélation est par exemple calculé selon la formule mentionnée ci- dessous :

Dans laquelle :

- r est le score de corrélation,

- I ⁴⁵ un vecteur ordonné représentatif des valeurs de gris x _n ⁴⁵ de n pixels de la vignette de travail, - I ⁵¹ est un vecteur ordonné représentatif des valeurs de gris x _n ^5ι de la portion d'image 51,

- V(/ ⁵ ) est la variance des valeurs de gris du vecteur I ⁴⁵ ,

- V(/ ^5/ ) est la variance des valeurs de gris du vecteur I ⁵¹ ,

- Cov(/ ⁵ , 1 ⁵¹ ) est la covariance de / ⁵ et I ⁵¹ ,

Dans laquelle :

- n est le nombre total de pixels dans la vignette de travail Λ^ ⁵ est la moyenne des valeurs de gris des pixels x _n ^A5 , M ⁵¹ est la moyenne des valeurs de gris des pixels XJ ⁵ .

Des scores de corrélation sont également calculés entre l'image photographique de repérage 30 et la deuxième 47 et la troisième 49 vignettes de travail pour obtenir trois ensembles de scores de corrélation. Chaque ensemble de scores de corrélation correspond aux scores de corrélation calculés avec une vignette de travail différente. Ces trois ensembles de scores de corrélation peuvent par exemple être représentés par trois images 53, 55, 57 en trois dimensions comme illustré sur la figure 3.

Au cours d'une étape 50, le processeur 34 recherche parmi ces trois ensembles de scores de corrélation, la valeur la plus élevée du score de corrélation, ainsi que la position (x _l5 V ₁ ) dans une des images 53, 55, 57, correspondant à cette valeur

Au cours d'une étape 52, un procédé de détection de contour est réalisé dans un sous-ensemble de l'image photographique de repérage 30 centré sur la position (x _l5 V ₁ ) déterminée au cours de l'étape 50.

Au cours d'une étape 54, un cercle est estimé sur le contour détecté au cours de l'étape 52, et la position (x,, y,) du centre de ce cercle est déterminée. Cette position (x,, y,) est assimilable à la position du centre de la cible détectée. Cette cible est l'une quelconque des six cibles du support 8 et sera référencée ci-après cible 12,.

En variante, lorsque la cible 12, n'est pas sphérique, une forme correspondant à la forme de la cible est estimée sur le contour détecté et la position du barycentre de cette forme est déterminée.

Au cours d'une étape 56, la cible 12, du support 8 correspondante à la cible détectée au cours des étapes 46 à 54, est reconnue par rapport à sa couleur.

Les étapes 46 à 56 permettent de déterminer les positions des cibles dans l'image photographique de repérage 30 à partir de la vignette de référence 39. Au cours d'une étape 58, la position du réflecteur 14 est recherchée dans un espace virtuel créé par le processeur 34, à partir de la distance et des angles mesurés par l'unité de mesure 7 au cours de l'étape 44.

Une sphère virtuelle 59 illustrée sur la figure 4 est générée autour de la position du réflecteur 14. Le rayon de la sphère virtuelle 59 est égal à la distance entre le réflecteur 14 et la cible déterminée 12,. Cette distance a été enregistrée dans la mémoire 32 au cours de l'étape 42.

Au cours d'une étape 60, une droite virtuelle 61 passant par le centre de visée 63 du deuxième imageur, aussi appelé point perspectif de l'image photographique de repérage 30, et par la position (x,, y,) du centre de la cible 12,, est définie. Les points d'intersection entre la droite virtuelle 59 et la sphère virtuelle 61 définissent deux hypothèses de position de la cible 12, dans l'espace virtuel.

Au cours d'une étape 62, le score de corrélation ayant la deuxième valeur la plus élevée, est recherché et les étapes 52 à 60 sont répétées pour ce deuxième score de corrélation.

Les étapes 52 à 62 sont répétées un nombre de fois correspondant au nombre de cibles sur le dispositif repéré 4.

Lorsque ces étapes ont été répétées a fois avec a égal au nombre de cibles, au cours d'une étape 64, les positions réelles des cibles sont choisies parmi l'ensemble des hypothèses de position de cibles par similitude avec le modèle géométrique du dispositif repéré 4 enregistré dans la mémoire 32.

Au cours d'une étape 66, une matrice de rotation R' et une matrice de translation T' sont établies entre le référentiel 25 du deuxième imageur et le référentiel 27 du réflecteur à l'aide de la position des cibles déterminées au cours de l'étape 64. Au cours d'une étape 68, la matrice Rg représentative de l'orientation du premier imageur 10 et la matrice Tg représentative de la position du premier imageur 10 par rapport au référentiel 25, sont déterminées à partir des matrices R et T calculées au cours de l'étape 40, et des matrices R' et T' établies au cours de l'étape 66, et par application des formules ci-dessous :

Rg = R . R' Tg = T + T'

Au cours d'une étape 70, l'image photographique à localiser 22 est localisée dans l'espace virtuel par mise en œuvre des matrices Rg et Tg dans des logiciels de modélisation 3D de type :

- « NUBES » développé par M. Livio De Luca, du laboratoire GAMSAU, et disponible à l'adresse internet suivante : http://www.map.archi.fr/nubes/introduction/projet.htm ;

- « MicMac » développé par M. Marc Pierrot-Deseilligny de l'IGN et Yves Egels, de l' ENSG et disponible à l'adresse internet suivante : http://www.micmac.ign.fr/ ;

- « ImageModeler » de la société Realviz - Autodesk ;

- « Photomodeler » de la société Eos System Inc. ; et

- « Socet Set » de la société BAE Systems.

En variante, l'image photographique à localiser 22 est localisée dans l'espace virtuel à l'aide de la matrice Rg et de la matrice Tg. La modélisation 3D de la scène est réalisée par pointage des éléments structurants sur l'image photographique 22 à localiser, par détection automatique des éléments structurant sur l'image photographique 22 et/ou par l'exploitation de toute autre information morphologique sur la surface à modéliser (une ou plusieurs images positionnées et orientées, un nuage de points obtenu par numérisation par balayage laser, un modèle 3D déjà existant).. La matrice de rotation Rg et la matrice de translation Tg doivent être calculées pour chaque nouvelle position du dispositif repéré.

En variante, les images photographiques à localiser sont localisées par rapport à un nuage de points représentatif de la scène à modéliser obtenu par une numérisation par balayage laser.

En variante, le dispositif repéré est monté sur un drone ou une montgolfière pour prendre des prises de vues aériennes.

En variante, les images à localiser sont localisées par rapport à une maquette 3D de 1 ' environnement.