PAR UN INDIVIDU

DOMAINE TECHNIQUE DE L'INVENTION

Le domaine de l'invention est celui de la réalité augmentée.

Plus précisément, l'invention concerne un procédé d'essayage virtuel réaliste d'une paire de lunettes par un individu.

L'invention trouve notamment des applications dans le domaine de la vente de matériel optique pour aider les individus dans leur choix d'une monture et des traitements associés aux verres assemblés dans la monture.

ÉTAT DE LA TECHNIQUE

L'aspect final d'une monture de lunettes portée est particulièrement influencé par l'apparence des verres, de par leur volume relatif et par leur position devant les yeux. Du point de vue d'un observateur, ils peuvent modifier l'apparence des yeux du porteur, voire les cacher totalement. Certains traitements cherchent à accentuer les reflets de l'environnement lumineux (verre avec protection solaire, en particulier verres dits miroirs), tandis que d'autres visent à les atténuer le plus possible pour améliorer le confort visuel et ou l'esthétique.

Il est connu de l'art antérieur des techniques d'essayage virtuel d'une paire de lunettes par un individu.

Par exemple, une telle technique est décrite dans le brevet français publié sous le numéro FR 2 900 261 . Cette technique cherche à proposer un essayage virtuel d'une paire de lunettes qui soit réaliste pour l'individu, notamment en ajoutant des effets optiques par un calque se superposant aux verres de la paire de lunettes virtuelle.

Ainsi, une telle technique ne permet pas d'aider un individu à choisir précisément le ou les traitements optiques applicables sur les verres car les effets optiques pouvant être ajoutés sont limités notamment aux reflets ou à la couleur des verres.

Aucun des systèmes actuels ne permet de répondre simultanément à tous les besoins requis, à savoir de proposer une technique qui permette d'obtenir un rendu réaliste des verres quelles que soient les caractéristiques optiques choisies par l'individu. EXPOSÉ DE L'INVENTION

La présente invention vise à remédier à tout ou partie des inconvénients de l'état de la technique cités ci-dessus.

A cet effet, la présente invention vise un procédé de génération d'une image finale d'un individu à partir d'une image initiale de l'individu acquise par une caméra réelle, l'image étant fixe ou comprise dans un flux vidéo, enregistré ou en temps réel, ledit procédé comprenant des étapes de :

a) détection du visage de l'individu sur l'image initiale ;

b) positionnement réaliste d'une monture virtuelle sur le visage de l'individu détectée dans l'image initiale ;

L'image initiale peut par exemple provenir soit d'un flux vidéo temps réel ou enregistré, soit d'une image fixe représentant le visage de l'individu.

Le modèle virtuel, également appelé avatar, est un modèle tridimensionnel qui représente avec précision le visage de l'individu. Ce modèle est généralement calculé automatiquement au préalable.

La détermination des paramètres réels de positionnement et d'orientation du visage de l'individu par rapport à la caméra est généralement effectuée en temps réel pour chaque image, ce qui correspond à un suivi du visage en temps réel.

Il convient de souligner que dans l'image finale, la monture virtuelle est superposée sur le visage de l'individu détecté dans l'image initiale, de manière réaliste, comme si la monture virtuelle était réellement portée par l'individu.

Selon l'invention, la monture comprenant au moins un verre ophtalmique caractérisé par une correction optique et/ou un traitement optique et le procédé comprend également des étapes de :

c) calcul d'une représentation de la scène perçue depuis la caméra virtuelle à travers le ou les verre(s) ophtalmique(s) en fonction de la réfraction du ou des verre(s) ophtalmique(s) et d'une carte de profondeur de la scène ; d) élaboration d'un calque se superposant sur l'image initiale, le calque comprenant la représentation de la scène calculée à l'étape c) ; e) génération de l'image finale en fusionnant le calque élaboré à l'étape d) avec l'image initiale.

Ainsi, un observateur qui peut être l'individu lui-même, peut voir le visage de l'individu portant la monture virtuelle, le rendu des verres étant réaliste. Les déformations dues aux corrections optiques des verres sont ainsi visibles et peuvent être appréciées par l'observateur.

Il convient de souligner que la monture virtuelle est généralement un modèle tridimensionnel d'une monture réelle de lunettes, représentant sa forme, par exemple en utilisant un maillage triangulaire, et/ou son apparence, par exemple sous la forme d'images de texture.

En outre, la carte de profondeur de la scène permet d'obtenir une représentation de la scène vue à travers le ou les verre(s) ophtalmique(s) de manière plus réaliste, car la déformation optique induite par la réfraction de verres peut être calculé de manière précise en connaissant la carte de profondeur de la scène.

La carte de profondeur de la scène peut être une carte de profondeur de l'image initiale seule, mesurée par exemple par un capteur de profondeur, ou combinée avec une carte de profondeur calculée à partir des paramètres de positionnement d'un avatar représentant le visage de l'individu dans l'espace virtuel.

II est ainsi possible de reconstruire une représentation tridimensionnelle de la scène vue par la caméra réelle et par conséquent de calculer plus précisément la déformation optique par exemple par une méthode de lancer de rayons.

Alternativement, la présente invention vise un procédé de génération d'une image finale d'un individu à partir d'une image initiale de l'individu acquise par une caméra réelle, l'image étant fixe ou comprise dans un flux vidéo, enregistré ou temps réel, ledit procédé comprenant des étapes de :

a') détection du visage de l'individu sur l'image initiale ;

b') détermination des paramètres réels de positionnement et d'orientation du visage de l'individu par rapport à la caméra réelle ;

c') représentation dans un espace virtuel du visage de l'individu par un modèle virtuel préalablement généré, le modèle virtuel, appelé avatar, étant positionné et orienté par rapport à une caméra virtuelle grâce aux paramètres réels déterminés à l'étape b'), la caméra virtuelle représentant la caméra réelle dans l'espace virtuel ;

d') positionnement réaliste d'une monture virtuelle sur le visage de l'avatar, la monture comprenant au moins un verre ophtalmique caractérisé par une correction optique et/ou un traitement optique ; e') calcul d'une représentation de la scène perçue depuis la caméra virtuelle à travers le ou les verre(s) ophtalmique(s) en fonction de la réfraction du ou des verre(s) ophtalmique(s) et d'une carte de profondeur de la scène ;

f ) élaboration d'un calque se superposant sur l'image initiale, le calque comprenant la représentation de la scène calculée à l'étape e') ;

g') génération de l'image finale en fusionnant le calque élaboré à l'étape f) avec l'image initiale.

Dans des modes de mise en œuvre particuliers de l'invention, le positionnement réaliste d'une monture virtuelle sur le visage de l'individu comprend les sous-étapes suivantes :

détermination des paramètres réels de positionnement et d'orientation du visage de l'individu par rapport à la caméra réelle ;

représentation dans un espace virtuel du visage de l'individu par un modèle virtuel préalablement généré, le modèle virtuel, appelé avatar, étant positionné et orienté par rapport à une caméra virtuelle grâce aux paramètres réels déterminés précédemment, la caméra virtuelle représentant la caméra réelle dans l'espace virtuel ;

positionnement réaliste de la monture virtuelle sur le visage de l'avatar. Dans ces modes de mise en œuvre particulier de l'invention, la carte de profondeur combine l'image initiale avec une carte de profondeur calculée à partir des paramètres de positionnement de l'avatar.

Dans des modes de mise en œuvre particuliers de l'invention, le calcul de la représentation de la scène comprend également des sous-étapes de :

calcul du rendu de la réflexion des verres ;

- calcul du rendu fonction de la transparence des verres.

Dans des modes de mise en œuvre particuliers de l'invention, le calque comprend également une projection de tout ou partie de la monture virtuelle.

Dans des modes de mise en œuvre particuliers de l'invention, le verre ophtalmique est représenté par un modèle tridimensionnel ayant deux surfaces curvilignes opposées, espacées et configurées en fonction de la correction optique.

Dans des modes de mise en œuvre particuliers de l'invention, le verre est représenté localement par un prisme formé par deux dioptres plans. Dans des modes de mise en œuvre particuliers de l'invention, l'étape de calcul du rendu du verre ophtalmique met en œuvre une méthode de lancer de rayons et/ou une méthode de rastérisation.

Dans des modes de mise en œuvre particuliers de l'invention, une carte de l'arrière-plan est élaborée avant ou au début du calcul de rendu du verre ophtalmique.

Dans des modes de mise en œuvre particuliers de l'invention, la carte de l'arrière-plan comprend une carte de profondeur.

Dans des modes de mise en œuvre particuliers de l'invention, la surface du verre ophtalmique est associée à des paramètres de réflectance et de réfraction.

Dans des modes de mise en œuvre particuliers de l'invention, la matière du verre ophtalmique est associée à au moins un coefficient d'absorption fonction de la longueur d'onde.

Dans des modes de mise en œuvre particuliers de l'invention, la matière du verre ophtalmique est associée à trois coefficients d'absorption fonction de la translucidité du verre.

Il convient de souligner que chaque coefficient d'absorption peut être défini localement pour chaque point de la surface du verre ou globalement pour toute la surface du verre.

Dans des modes de mise en œuvre particuliers de l'invention, le traitement optique est compris dans la liste :

traitement antireflet ;

iridescence ;

traitement photochromique.

Dans des modes de mise en œuvre particuliers de l'invention, le verre ophtalmique comprend la correction optique adaptée à la vue de l'individu.

Dans des modes de mise en œuvre particuliers de l'invention, la forme du modèle tridimensionnel du verre est représentative de l'usinage associé à la correction optique et d'un matériau utilisé.

Dans des modes de mise en œuvre particuliers de l'invention, le procédé comprend une étape de détermination du paramètre de centrage de la galette de base dans laquelle est usiné le verre.

Dans des modes de mise en œuvre particuliers de l'invention, l'image initiale est une image d'un individu portant une paire de lunettes réelles, l'individu ayant indiqué la correction optique de chaque verre assemblé dans ladite paire de lunettes, le calcul de la réfraction permettant d'obtenir une représentation de la scène perçue par la caméra à travers les verres sans déformation optique ou avec une autre correction optique.

L'invention vise également un procédé de réalité augmentée utilisé par un individu, caractérisé en ce qu'il comprend des étapes de :

acquisition d'un flux vidéo de l'individu se positionnant face à une caméra et affichage de ce flux vidéo sur un écran, le flux vidéo étant traité par le procédé de détermination d'une image finale selon l'un quelconque des modes de mise en œuvre précédents, le flux vidéo affichant l'individu portant sur son visage soit une monture réelle portée par l'individu soit une monture virtuelle préalablement choisie ;

modification par l'individu d'une caractéristique optique d'au moins un verre ophtalmique et mise à jour en temps réel de la représentation de la scène à travers un ou des verre(s) ophtalmique(s), la caractéristique optique étant comprise dans la liste :

correction de la vue de l'individu ;

paramètres de centrage de la correction ;

type de verre utilisé.

L'invention vise également un dispositif comprenant un processeur informatique et une mémoire informatique stockant les instructions d'un programme informatique mettant en œuvre un procédé de détermination d'une image finale selon l'un quelconque des modes de mise en œuvre précédents.

L'invention vise également un procédé de fabrication d'un verre mettant en œuvre les étapes du procédé de génération d'une image finale selon l'un des modes de mise en œuvre précédent, dans lequel les paramètres d'usinage de la galette servant de base au verre sont établis à partir du paramètre de centrage préalablement déterminé.

Il convient de souligner que la fabrication correspondant à un verre réel comprend notamment une étape d'usinage de la galette servant de base au verre.

Le procédé de fabrication d'un verre peut également être virtuel et aboutir à un modèle tridimensionnel virtuel du verre. En d'autres termes, le procédé de fabrication d'un verre comprend des étapes de :

a) acquisition d'une image initiale ;

b) détection du visage de l'individu sur l'image initiale ;

c) détermination des paramètres réels de positionnement et d'orientation du visage de l'individu par rapport à la caméra réelle ;

d) représentation dans un espace virtuel du visage de l'individu par un modèle virtuel préalablement généré, le modèle virtuel, appelé avatar, étant positionné et orienté par rapport à une caméra virtuelle grâce aux paramètres réels déterminés à l'étape c), la caméra virtuelle représentant la caméra réelle dans l'espace virtuel ;

e) positionnement réaliste d'une monture virtuelle sur le visage de l'avatar, la monture virtuelle étant représentative d'une monture réelle ;

f) positionnement d'un verre dans la monture virtuelle ;

g) détermination du point de centrage d'une galette de base en fonction du positionnement obtenu à l'étape f) et en fonction des paramètres de montage relatifs à la monture et à l'individu ; détermination des paramètres d'usinage de la galette de base pour obtenir le verre à assembler dans la monture réelle.

Les paramètres de montage relatifs à la monture et à l'individu sont notamment la distance interpupiiiaire (PD), la distance mono-pupillaire (monoPD), les hauteurs, l'angle pantoscopique, etc. Il convient de souligner que ces paramètres sont généralement liés à la position de la monture sur le visage de l'individu.

BRÈVE DESCRIPTION DES FIGURES

D'autres avantages, buts et caractéristiques particulières de la présente invention ressortiront de la description non limitative qui suit d'au moins un mode de réalisation particulier des dispositifs et procédés objets de la présente invention, en regard des dessins annexés, dans lesquels :

- la figure 1 représente un dispositif de réalité augmentée mettant en œuvre le procédé objet de l'invention ;

- la figure 2 illustre sous la forme d'un schéma synoptique les étapes du procédé objet de l'invention ;

- la figure 3 illustre sous la forme d'un schéma synoptique les détails d'une étape du procédé illustré en figure 2 ; - la figure 4 illustre la technique de « ray-marching » utilisée au cours d'une sous-étape détaillée en figure 3 ;

- la figure 5 illustre le calcul de rendu à travers un verre simple ;

- la figure 6 illustre le calcul de rendu à travers un verre complexe ;

- la figure 7 est un exemple de courbe de chromaticité utilisée lors du calcul de l'iridescence ;

- la figure 8 est une autre illustration de la mise en œuvre de l'étape de calcul de la représentation de la scène perçue depuis la caméra virtuelle à travers le ou les verre(s) ophtalmique(s).

DESCRIPTION DÉTAILLÉE DE MODES DE RÉALISATION DE

L'INVENTION

La présente description est donnée à titre non limitatif, chaque caractéristique d'un mode de réalisation pouvant être combinée à toute autre caractéristique de tout autre mode de réalisation de manière avantageuse.

On note, dès à présent, que les figures ne sont pas à l'échelle.

Exemple d'un mode de réalisation particulier de l'invention

La figure 1 illustre un dispositif 100 de réalité augmentée permettant l'essayage virtuel d'une paire de lunettes 1 10 par un individu 120. Le dispositif 100 comprend une caméra 130 acquérant un flux d'images, également appelé flux vidéo, s'affichant après traitement par un processeur informatique 140 inclus dans le dispositif 100, sur un écran 150 du dispositif 100. Ainsi l'individu 120 peut voir en temps réel sur l'écran 150 son visage 121 portant virtuellement la paire de lunettes 1 10.

A cet effet, le dispositif 100 comprend une mémoire informatique 141 stockant les instructions d'un procédé 200 de génération d'une image finale à partir d'une image initiale acquise par la caméra 130. Il convient de souligner que l'image initiale traitée par le procédé 200 de génération d'une image finale est n'importe quelle image du flux d'images acquises par la caméra 130. La génération de l'image finale à partir de l'image initiale s'effectue avantageusement dans un temps réel ou quasi- réel afin que l'individu 120 se voie instantanément à l'écran 150, sensiblement comme dans un miroir.

Le procédé 200 de génération d'une image finale, illustré sous la forme d'un schéma synoptique en figure 2 comprend une première étape 210 de détection du visage de l'individu sur l'image initiale. Cette étape 210 de détection est une étape classique pour l'homme du métier et peut par exemple être basée sur une méthode de détection du visage et de caractéristiques du visage couramment appelé « features » qui s'appuie notamment sur des algorithmes d'apprentissage. Une telle technique est par exemple décrite dans le brevet français publié sous le numéro FR 2 971 873 et intitulé « Procédé de détection d'un ensemble prédéfini de points caractéristiques d'un visage ».

Le procédé 200 comprend ensuite une deuxième étape 220 de détermination des paramètres réels de positionnement et d'orientation du visage 121 de l'individu 120 par rapport à la caméra 130.

La détermination des paramètres réels de positionnement et d'orientation permet notamment de positionner dans un espace virtuel représentant la scène, un modèle virtuel représentant en trois dimensions le visage 121 de l'individu 120 au cours de la troisième étape 230 de représentation du visage 121 de l'individu 120, ce modèle virtuel étant appelé avatar dans la suite de la description. Il convient de souligner que l'avatar n'apparaît pas dans l'image finale contrairement à des techniques de réalité virtuelle, et est uniquement utilisé pour l'élaboration de l'image finale.

Après avoir représenté virtuellement le visage réel 121 dans l'espace virtuel, une monture virtuelle tridimensionnelle, préalablement sélectionnée par l'individu 120 via une interface graphique présentée par le dispositif 100, est positionnée de manière réaliste sur l'avatar au cours d'une quatrième étape 240 du procédé 200. Il convient de souligner que la monture virtuelle a été élaborée à partir d'une monture réelle par exemple via la technique décrite dans la demande de brevet internationale publiée sous le numéro WO 2013/139814. La monture virtuelle est généralement stockée dans une base de données connectée au dispositif 100.

Un calque se superposant sur l'image initiale est ensuite élaboré au cours d'une cinquième étape 250 du procédé 200. Le calque comprend une projection de tout ou partie de la monture virtuelle, tenant compte notamment des parties cachées voire des obstructions.

L'image finale est ensuite générée au cours d'une sixième étape 260 en fusionnant le calque élaboré à l'étape 250 avec l'image initiale.

Il convient de souligner que l'homme du métier cherchant à mettre en œuvre les étapes 210, 220, 240, 250 et 260 peut par exemple se référer au fascicule du brevet publié sous le numéro FR 2 955 409 intitulé « Procédé d'intégration d'un objet virtuel dans des photographies ou vidéo en temps réel » qui donne un exemple de mise en œuvre de ces étapes.

Selon l'invention, la monture virtuelle comprend dans le présent exemple non limitatif de l'invention deux modèles tridimensionnels de verres caractérisés chacun, en plus du matériau et de la teinte, par une correction optique et/ou un traitement optique.

La correction optique de chaque verre, généralement prescrite par un ophtalmologiste, voire par un opticien, est adaptée dans le présent exemple non limitatif de l'invention à la vue de chaque œil de l'individu 120. La correction optique se traduit généralement par une valeur en dioptrie qui est positive dans le cas d'une hypermétropie ou négative dans le cas d'une myopie. Il peut également s'agir d'une double valeur de correction, utilisé notamment pour un verre double foyer ou un verre progressif, l'une correspondant à une vision de près et l'autre à une vision de loin. La correction peut également comprendre un couple de valeur entre parenthèses afin d'indiquer de corriger l'astigmatisme de l'individu 120.

La correction optique associée à un verre est notamment utilisée pour l'usinage du verre à assembler dans la monture réelle. L'usinage du verre se traduit sur le modèle tridimensionnel notamment par deux surfaces curvilignes opposées et configurées pour la correction optique, l'une des surfaces venant se positionner, au moment de l'assemblage, à l'extérieur de la monture réelle et l'autre à l'intérieur de la monture. En d'autres termes, la surface extérieure correspond à la face avant, tandis que la surface intérieure correspond à la face arrière venant se positionner en regard des yeux lorsque la monture est portée sur la tête de l'individu. L'épaisseur entre les deux surfaces curvilignes est également déterminée en fonction de la correction optique désirée, des propriétés optiques du matériau utilisé pour les verres et de différentes contraintes mécaniques comme par exemple la solidité.

La configuration des surfaces curvilignes et de l'épaisseur entre les deux surfaces est reprise par le modèle de chaque verre, compris dans la monture virtuelle se positionnant sur l'image finale.

II convient de souligner que les modèles tridimensionnels des verres peuvent également être stockés dans la même base de données que les modèles tridimensionnels des montures réelles. Le traitement optique associé à un verre est dans le présent exemple non limitatif de l'invention un traitement antireflet appliqué sur la surface extérieure du verre.

Dans des variantes de ce mode de réalisation particulier de l'invention, le traitement optique peut également être une iridescence ou un traitement photochromique.

Egalement, selon l'invention, le procédé 200 comprend également avant l'étape 260 de génération de l'image finale, une étape 245 de calcul d'une représentation de la scène perçue depuis la caméra virtuelle à travers les verres ophtalmiques assemblés virtuellement dans la monture virtuelle. Ce calcul est effectué en tenant compte de la réfraction des verres ophtalmiques, et donc de la correction optique apportée. En tenant également compte de la réflexion et des différents traitements apportés aux verres, cette étape permet d'obtenir un rendu réaliste des verres ophtalmiques afin de permettre à l'individu 120 de voir son visage portant la paire de lunettes virtuelle sur l'écran 150, en simulant le rendu des verres. L'individu 120 peut ainsi notamment apprécier les déformations optiques dues aux verres qu'il a choisis avant leur assemblage réel dans la monture réelle.

Cette étape 245, illustrée plus en détails sur la figure 3, est dans le présent exemple mis en œuvre après l'étape 240 de positionnement de la monture virtuelle et avant la projection de la monture sur le calque effectué au cours de l'étape 250.

A cet effet, l'étape 245 de calcul du rendu comprend une première sous-étape 310 de représentation de la scène comprenant l'avatar, la monture virtuelle et une représentation de l'arrière-plan de la tête de l'individu 120.

Chaque objet tridimensionnel compris dans la scène, notamment l'avatar ou la monture virtuelle, est représenté sous la forme d'une surface tridimensionnelle présentant un maillage triangulaire. Cette représentation est notamment adaptée au rendu temps réel par rastérisation.

Une carte de profondeur représentant la scène est élaborée au cours de cette sous-étape 310 et combine l'image courante, c'est-à-dire l'image initiale, avec une carte de profondeur calculée à partir des paramètres de positionnement de l'avatar.

Il convient de souligner que l'arrière-plan correspond à tous les éléments de la scène réelle mis à part le visage et la monture. L'arrière-plan de la scène est généralement complexe. Si la géométrie de l'arrière-plan est précisément connue, par exemple grâce à une reconstruction tridimensionnelle préalablement réalisée, alors cette représentation de l'arrière-plan peut être intégrée dans la représentation de la scène. Une technique de rendu par lancer de rayons, connue sous le nom anglais de « ray- marching », permet de déterminer l'intersection d'un rayon avec la représentation de l'arrière-plan telle qu'illustrée en figure 4.

Pour déterminer l'intersection d'un rayon 410 [Q0, Q1 ] avec la carte de profondeur courante 420, on parcourt la projection du rayon 430 [P0, P1 ] dans l'espace image et on compare la valeur de profondeur avec l'intervalle de profondeurZprev, Znext] couvert par le rayon. Etant donné que la représentation par carte de profondeur est éparse, on associe à la valeur de profondeur une épaisseur z _th i _C k arbitraire faible servant à connecter les intervalles de profondeur voisins.

Dans des variantes de ce mode de réalisation particulier de l'invention, des techniques de lancer de rayons peuvent être utilisées, notamment si la puissance du processeur informatique 140 est suffisante.

Dans le cas où une représentation tridimensionnelle de l'environnement n'est pas disponible, une représentation approchée est utilisée en faisant l'hypothèse que l'arrière-plan est loin de la caméra par rapport à la distance caméra-verre. Cette représentation approchée de l'arrière-plan qui peut être par exemple :

- un plan fronto-parallèle à la caméra, ce plan étant situé à une distance choisie en fonction de la distance des autres éléments de la scène afin que le plan soit suffisamment éloigné de ces éléments, l'image présentée par ce plan pouvant être répétée dans le plan, par exemple avec inversion afin de limiter les discontinuités ; ou

- une carte d'environnement, c'est-à-dire un arrière-plan positionné à l'infini.

L'intersection avec un rayon quelconque est un point à l'infini dont la carte donne la couleur. Ce point ne dépend que de la direction du rayon. Il suffit donc de calculer, selon le paramétrage choisi pour la carte (par ex. cubemap rectilinéaire, paramétrage sphérique, etc.), les coordonnées du pixel correspondant à la direction du rayon ; ou

- une combinaison de ces deux représentations où si l'intersection du rayon et du plan est hors de l'image alors la carte d'environnement est utilisée.

Le calcul de rendu réalisé au cours de l'étape 245 comprend ensuite une deuxième sous-étape 320 de calcul du rendu de la réfraction des verres permettant de simuler la déformation de l'apparence du visage, de la partie de la monture visible à travers les verres et de l'arrière-plan tels qu'ils sont vus par un observateur regardant les verres. Cette déformation est simulée en reproduisant le chemin des faisceaux lumineux issus du centre de la caméra virtuelle et traversant le verre en chaque point de sa surface avant, également appelée surface externe. Après réfraction au niveau des deux interfaces du verre (face avant et arrière), les faisceaux lumineux représentés par des rayons impactent un des éléments de la scène 3D : l'arrière-plan, le visage ou un élément de la monture, par exemple une des branches. Pour le rendu de la déformation à travers les verres, la couleur associée à un rayon est celle de la surface au point d'impact, également appelé point d'intersection.

Il convient de souligner que la géométrie finale du verre est déterminée par : d'une part l'usinage de la galette de base, en général une calotte sphérique ; d'autre part la découpe de cette base nécessaire à l'inclusion du verre dans la monture.

Le calcul de la réfraction des verres combine un rendu par rastérisation de la projection des verres et une technique de lancer de rayons implémentée dans un « shader » , également appelé nuanceur, pour chaque pixel couvert par le verre.

Afin de calculer un rendu réaliste, le lancer de rayons est effectué en deux phases successives pour chaque rayon lancé :

- une première phase 321 de calcul des paramètres du rayon réfracté par le verre en fonction de l'origine du rayon et de sa direction. Ce calcul dépend de la géométrie du verre considéré ;

- une deuxième phase 322 de calcul de l'intersection du rayon réfracté avec les autres éléments de la scène située en arrière-plan du verre considéré : la monture virtuelle, la représentation du visage de l'individu 120 et l'arrière-plan du visage.

Au cours de la première phase 321 , le calcul de la réfraction à travers le verre peut être déterminé aisément dans le cas où le verre présente une géométrie simple, comme c'est le cas pour des lentilles sphériques de type ménisque. Dans ce cas, comme illustré en figure 5, le calcul du rayon réfracté à travers le verre 505 est effectué en appliquant les formules d'intersection rayon-sphère et la formule de Snell-Descartes successivement pour la sphère externe Si de rayon R et de centre optique Oi et la sphère interne S ₂ de rayon R ₂ et de centre optique O ₂ . Ainsi, le rayon 510 provenant du point de vue 520 se propage à l'intérieur du verre en un rayon 530 après avoir traversé la sphère Si . Ce rayon 530 sort ensuite du verre en traversant la sphère S2 en un rayon 540, dit rayon en sortie du verre.

Dans le cas d'un verre plus complexe, comme par exemple dans le cas d'un verre asphérique, caractérisé par le fait qu'il comprenne au moins une des faces non sphérique, il y a rarement de formule simple pour calculer le rayon réfracté par le verre.

Comme illustré en figure 6, la géométrie du verre 610 est alors assimilée à un pavage, de préférence infiniment dense, de prismes 620 correspondant à une association de deux dioptres plans 630. En chaque point de la surface du verre, notamment dans sa représentation sous forme de maillage, on associe les paramètres du prisme 620 formé par les plans 630 tangents aux deux interfaces de la géométrie simulée. Ce prisme est complètement déterminé par cinq paramètres : deux angles, ou deux normales, pour chacun des deux plans 630 et une distance entre les deux plans 630.

Cette représentation permet d'encoder la forme complexe du verre dans une texture à cinq composantes, ou dans deux textures RGB standards. Dans le cas d'un verre à symétrie radiale, le nombre de paramètres est réduit à trois, c'est-à-dire avec un seul angle par plan tangent au lieu de deux. Une seule texture RGB est alors nécessaire.

A partir de ces informations, le shader reconstruit en chaque fragment les deux plans du prisme local et calcule les deux rayons (interne et de sortie) en utilisant la formule d'intersection rayon-plan puis de manière similaire au cas des verres sphériques.

La découpe du verre satisfait les contraintes de montage réelles garantissant la solidité et la bonne tenue du verre. Le centrage du verre est nécessaire à une correction optique et un confort de vue adéquates en permettant l'alignement de l'axe optique du verre avec l'axe optique de l'œil.

Dans le présent exemple le modèle servant à la rastérisation des verres est une donnée et ne nécessite pas de construction géométrique particulière car la découpe est effectuée de manière implicite. La simulation réaliste du verre fini est simplement basée sur un calcul du centrage du verre, par rapport à la monture virtuelle.

Le calcul du centrage dépend de l'écart pupillaire de l'individu 120, de la mesure des hauteurs de verre sur la monture portée et de l'angle pantoscopique de la monture. Ces données sont soit données par l'individu 120 par l'intermédiaire d'une interface graphique, soit déterminées automatiquement par un procédé de mesure bien connu de l'homme du métier.

A partir de cette représentation de la scène, la position et l'orientation 3D de la forme de base satisfaisant les contraintes de montage et de centrage sont automatiquement déterminées, ainsi que la position du point de référence PO, également appelé point de centrage, tel que représenté dans les figures 5 et 6. De ce point de référence, le positionnement relatif de la galette de base selon sa représentation 3D est déduit. Sont ainsi calculés par exemple la position de l'axe de révolution de la galette dans le cas de la figure 5 ou le repère local dans lequel le pavage de prismes est défini dans le cas de la figure 6. Le positionnement relatif de la galette de base défini par cette méthode peut ainsi être utilisé pour l'usinage du verre dans la galette de base.

Par ailleurs, une analyse entre l'épaisseur du verre découpé en tout point de son contour et l'épaisseur de la monture peut être effectuée afin de signaler à l'individu 120 une incompatibilité de montage éventuelle. En tenant compte de ces épaisseurs, l'individu 120 peut également évaluer l'esthétique du montage final.

L'étape 245 de calcul de rendu illustré en figure 3 comprend ensuite une troisième étape 330 de calcul du rendu de la réflexion des verres assemblés dans la monture virtuelle. La réflectance de la lumière à la surface d'un verre est essentiellement spéculaire. Il y a en effet peu de diffusion à l'intérieur de la matière.

Afin de calculer la réflectivité de la surface du verre, un modèle bidirectionnel est utilisé. Le modèle de réflectivité bidirectionnelle est un modèle classique de type microfacettes spéculaires suivant la réflectance de Fresnel. Les paramètres macroscopiques du modèle sont la couleur spéculaire, comprenant une représentation trichromatique de l'albedo spéculaire, et l'éclat, également appelé « glossiness ». Il convient de souligner que l'éclat influence la fonction de distribution des normales des microfacettes.

La réflexion des verres est dans le présent exemple réduite par un traitement antireflet qui consiste en l'application d'une ou plusieurs couches minces formant à la surface du verre des interférences destructives, réduisant l'amplitude de l'onde lumineuse réfléchie résultante. Il y a une relation entre l'épaisseur de ces couches et la plage de longueur d'onde atténuée. L'apparence de ces traitements est simulée en jouant sur son effet macroscopique : elle consiste à atténuer le coefficient de réflexion spéculaire du verre, c'est-à-dire à réduire la couleur spéculaire. On peut également modifier différemment chaque composante de cette couleur, et ainsi teinter les reflets résultants, simulant ainsi l'origine microscopique du mécanisme : en effet l'atténuation dépend par construction de la longueur d'onde du signal incident.

L'iridescence peut également être prise en compte au cours de cette sous- étape. L'iridescence ou irisation est un phénomène optique causé par différents mécanismes : diffraction, interférence entre réflexions à l'échelle microscopique, interférence par une couche mince. Ce dernier phénomène est celui exploité en recouvrant les verres d'une fine couche produisant l'effet esthétique désiré. Le mécanisme est assez similaire au traitement antireflet, bien qu'ici on recherche une atténuation sélective de certaines longueurs d'onde en fonction de l'angle de vue.

La modélisation de ce phénomène d'iridescence à l'échelle microscopique n'est pas envisageable pour du rendu temps réel, en revanche nous pouvons simuler l'effet macroscopique de changement de couleur des reflets en fonction de l'angle de vue en modifiant la couleur spéculaire en fonction de l'angle de vue.

On définit une courbe de chromaticité C(0) qui est une courbe dans l'espace 3D colorimétrique utilisé (défini par exemple par les trois composantes R, G et B de la couleur), définissant la couleur spéculaire de la surface en fonction de l'angle de vue Θ correspondant à l'angle entre n la normale de la surface au point considéré et v le vecteur unitaire pointant vers le centre de la caméra, également appelé vecteur vue. La figure 7 illustre un exemple de projection de la courbe C(9) dans un diagramme 710 de chromaticité 2D dans lequel la luminance est absente.

La courbe C(0) décrit la variation de couleur spéculaire en un point de la surface selon l'angle d'observation de ce point. Plusieurs méthodes permettent de définir cette courbe :

1 . soit par une image texture 1 D représentant un dégradé de couleurs ;

2. soit par un couple de couleurs C _n (couleur à l'incidence normale, thêta = 0°) et C _r (couleur à l'incidence rasante, thêta = 90°). La couleur C(0) est alors donnée par interpolation linéaire C(0) = (0 ^* Cr+ (90-0) ^* Cn)/90.

Après avoir calculé la réflexion des verres, le procédé calcule ensuite le rendu des verres en fonction de leur transparence au cours d'une quatrième sous-étape 340 de l'étape 245 de calcul du rendu, afin notamment de simuler des verres opaques tels que des verres solaires ou photochromiques.

La transparence est représentée par une fonction d'absorption comprise entre 0 et 1 . Elle décrit pour chaque longueur d'onde, la quantité de la lumière traversant le verre qui est absorbée. Dans le cas des applications d'essayage virtuel, on considère principalement l'illumination indirecte par le visage de l'individu 120. La fonction d'absorption est donnée par sa représentation trichromatique sous forme d'une couleur.

La transparence des verres est modélisée en chaque point de la surface par trois coefficients d'absorption (r _R , r _G , r _B ). Pour chaque canal X parmi RGB, r _x = 0 signifie transparence totale pour la couleur correspondante, r _x = 1 signifie opacité totale. Pour le contrôle et l'édition, ces coefficients peuvent être représentés comme une couleur (CR, CG, CB) et une valeur d'opacité alpha. On utilise alors r _x = ex ^* alpha.

Si l'absorption varie à la surface du verre, une image de texture est utilisée pour encoder sa valeur en chaque point.

Le coefficient d'absorption est utilisé pour déterminer le rendu de chaque surface semi-transparente en fonction de l'image des éléments situés derrière. Le système s'assure que l'ordre d'affichage des surfaces soit cohérent (de l'arrière vers l'avant), par exemple par une technique de « depth peeling », bien connue de l'homme du métier.

Dans le cas d'un traitement photochromique du verre, permettant d'obtenir une protection solaire variable selon l'exposition solaire reçue par le verre généralement par l'intermédiaire d'une fine couche réagissant aux ultraviolets et qui est déposée à la surface, deux états du verre, transparent et semi-transparent, sont déterminés par deux jeux de paramètres. Un temps de transition, fonction de la quantité d'exposition par la lumière UV est alors défini. Dans la simulation, cette quantité de lumière peut être associée à un type d'environnement virtuel représentant différentes situations réelles (heure du jour et condition d'ensoleillement, différentes conditions typiques d'intérieur, etc.). A chaque transition d'un environnement à un autre correspond une durée de transition T. Cette durée peut être prédéterminée ou calculée en fonction des valeurs d'illuminations des conditions initiale et finale.

Lorsque l'individu 120 choisit une transition vers une situation choisie, correspondant par exemple à une transition intérieure/extérieure au cours d'une journée ensoleillée, le système mesure l'écoulement du temps t et calcule le degré d'avancement dans la transition p(t) comprise entre 0 et 1 . μ est une fonction strictement croissante quelconque satisfaisant mu(0) = 0 et mu(T) = 1 . Une formule possible est mu(t) = t/T. Chaque paramètre pi décrivant l'état du verre (par exemple canal rouge de la couleur spéculaire) est interpolé entre sa valeur initiale et sa valeur finale pour obtenir le paramètre de l'état transitoire à l'instant t :

pi(t) = mu(t) ^* pi final + (1 - mu(t)) ^* pijnitial

Finalement, le calcul 245 de la représentation de la scène à travers les verres est finalisé par une sous-étape 350 de post-processing au cours de laquelle des traitements « anti-aliasing » et de « tone mapping » sont appliqués afin d'obtenir un rendu réaliste sans effets de bords ni de pixels apparents.

La figure 8 illustre plus précisément la mise en œuvre des étapes du calcul 245 de la représentation de la scène perçue depuis la caméra virtuelle.

La scène comprenant l'arrière-plan (« background » en anglais), l'avatar et la monture de la paire de lunette, notée « glasses parts » est représentée dans l'espace virtuel au cours de la sous-étape 310. Cette représentation permet d'obtenir au point de vue de la caméra virtuelle une image de l'albedo, également appelé image de couleur, à laquelle une carte de profondeur est associée.

L'image d'albedo et la carte de profondeur sont ensuite utilisées par le calcul 320 de la réfraction qui aboutit à une image de la scène déformée par les verres.

Parallèlement, les sous-étapes de calcul 330 de la réflexion et de calcul 340 de la transparence sont effectuées.

Le calcul 330 de la réflexion comprend le calcul 810 de l'iridiscence à partir des verres et de la position de la caméra virtuelle, et le calcul 820 des reflets en tenant compte d'un éventuel traitement antireflet des verres. Le calcul 330 aboutit à des cartes de couleur spéculaire et d'éclat (« glossiness » en anglais).

Tandis que le calcul 340 de la transparence est basé sur le calcul 830 du traitement photochromatique en fonction des verres et de la quantité d'ultraviolets reçus qui est relative à l'exposition et au temps. Le calcul 340 est également basé sur le calcul 840 de la teinte et de la transparence qui sont fonctions des verres choisis par l'individu 120. En intégrant ces deux effets, le calcul 340 fournit une carte de la couleur diffuse.

Les cartes de couleur spéculaire, d'éclat et de couleur diffuse sont ensuite intégrées par un moteur de rendu « shader » au cours d'une sous-étape 850 afin d'obtenir une image des effets visuels à apporter aux verres. Cette image comprend notamment des zones opaques et des zones plus ou moins transparentes.

L'image de la scène déformée et l'image des effets visuels sont ensuite fusionnées par une méthode à'alpha-blending, bien connue de l'homme du métier, au cours de la sous-étape 860 afin d'obtenir une image de la représentation de la scène à travers les verres.

Cette image de la représentation de la scène à travers les verres subit ensuite un post traitement effectué au cours de l'étape 350.

La représentation de la scène obtenue au cours de l'étape 245 est ensuite intégrée dans le calque venant se superposer sur l'image initiale. Une découpe peut être effectuée afin que la représentation ne superpose pas ou ne dépasse pas la projection de la monture virtuelle.

Grâce au procédé 200 de génération d'une image finale comprenant les étapes de rendu des verres en fonction des caractéristiques optiques que l'individu 120 peut avantageusement choisir en temps réel via une interface graphique présentée par le dispositif 100, l'individu 120 peut ainsi se voir à l'écran 150 portant virtuellement une paire de lunettes comprenant des verres correctifs et/ou solaires. Le rendu de la correction et des traitements appliqués étant réalistes, l'individu 120 peut alors tester un nombre important de combinaisons de montures, de verres et de traitement à appliquer sur les verres et choisir celui qui lui correspond le mieux.

Une visualisation de l'assemblage du verre usiné avec la monture virtuelle peut également être effectuée afin de vérifier la comptabilité du verre choisi avec la monture choisie, avant d'usiner la galette servant de base au verre. Il convient de souligner que le dispositif 100 peut également proposer à l'individu 120 uniquement les verres pouvant s'assembler dans la monture qu'il a choisie.

En d'autres termes, le procédé 200 de génération d'une image finale est mis en œuvre dans un procédé de réalité augmentée comprenant des étapes de :

- acquisition d'un flux vidéo de l'individu 120 se positionnant face à une caméra 130 et affichage de ce flux vidéo sur l'écran 150, le flux vidéo étant traité par le procédé 200 de détermination d'une image finale, le flux vidéo affichant l'individu 120 portant sur son visage 121 une monture virtuelle 1 10 préalablement choisie ;

- modification par l'individu 120 d'une caractéristique optique d'au moins un verre ophtalmique et mise à jour en temps réel de la représentation de la scène à travers un ou des verre(s) ophtalmique(s), la caractéristique optique étant comprise dans la liste :

correction de la vue de l'individu, notamment de la dioptrie de près et/ou de loin, ou de l'astigmatie ;

· paramètres de centrage de la correction ;

type de verre utilisé, notamment du matériau, de la transparence du verre, de la teinte du verre ou des traitements optiques apportés, Il convient de souligner que la modification d'une caractéristique optique par l'individu 120 peut entraîner une adaptation automatique du modèle tridimensionnel de chaque verre, notamment au niveau des surfaces ou du contour venant s'assembler dans la monture. En d'autres termes, les paramètres d'usinage de chaque verre sont, si nécessaire, mis à jour automatiquement après chaque modification d'une caractéristique optique par l'individu 120.

Autres avantages et caractéristiques optionnelles de l'invention

Dans des variantes de mise en œuvre de l'invention, le procédé de réalité augmentée peut également être utilisé par un individu portant sur son visage une monture réelle d'une paire de lunettes. L'image affichée à l'écran présente alors l'individu portant la monture réelle comprenant un ou des verre(s) ophtalmique(s) dont les caractéristiques ont été choisies par l'individu. L'individu peut ainsi apprécier le port de la monture réelle comprenant virtuellement des verres et estimer l'aspect final des verres, comprenant notamment les déformations optiques dues à une ou plusieurs correction(s) optique(s) apportée(s).

Dans des variantes de mise en œuvre de l'invention, le procédé de détermination d'une image finale est utilisé sur une image d'un individu portant une paire de lunettes réelle comprenant des verres correctifs. L'individu indique au dispositif mettant en œuvre le procédé la correction optique de chaque verre qu'il porte. En connaissance la correction optique de chaque verre, le calcul de la réfraction par la méthode décrite à la sous-étape 320 permet d'obtenir une représentation de la scène sans déformation optique, en compensant la réfraction visible sur l'image initiale. Il est alors possible soit d'obtenir une image finale de l'individu portant la paire de lunettes dans lesquels les verres ne présentent virtuellement plus de correction optique, soit d'obtenir une image finale de l'individu portant la même paire de lunettes mais une correction différente.