TITRE : Dispositif et procédé pour l’acquisition d’images d’une paire de lunettes

Domaine technique de l'invention

La présente invention concerne le domaine de la simulation en réalité augmentée pour l’optique et plus particulièrement, le domaine de l’essayage virtuel de paires de lunettes.

Etat de la technique

Dans le domaine de l’essayage virtuel, il est connu d'utiliser la réalité augmentée pour permettre aux clients l’essayage à distance de plusieurs paires de lunettes préalablement modélisées en 3D.

Cependant, pour rendre possible ce type d’essayage, un travail de modélisation 3D est nécessaire en amont pour chaque paire de lunettes. Il existe différentes techniques de modélisation: manuellement, par modification de modèles de CAO, par acquisition d'images, par scan 3D etc... mais le recours à ces techniques impose généralement l’usage de nombreuses ressources (outils, temps...). Par exemple, dans le cas de la modélisation 3D par l’acquisition d’images, il faut d’une part, la capture d’images de paires de lunettes dans des conditions particulières (luminosité, positionnement de la paire etc), sous plusieurs angles (image de la paire de lunettes de face, images des branches), et d’autre part, le traitement de ces images par des outils de modélisation complexes nécessitant l’intervention de personnes qualifiées dans le domaine. Concernant la phase de capture d’images, plusieurs dispositifs portables et bas coûts permettant la capture d’images d’objets existent déjà (cabine photo portable par exemple). Bien que ce type de dispositifs soit connu pour sa facilité d’utilisation, il n’est pas adapté à un produit de type paire de lunettes (pas de positionnement précis possible...).

Concernant la phase de traitement d’images, la nécessité d’outils de modélisation complexes et la nécessité de l’intervention de personnes qualifiées dans le domaine entraînent des coûts non négligeables pour les professionnels opticiens/lunettiers.

Par ailleurs, la modélisation 3D d’une paire de lunettes étant un processus nécessitant un temps considérable, il existe un laps de temps non négligeable entre l’arrivée de nouveaux modèles de paires de lunettes en magasin et leurs disponibilités pour leur essayage virtuel.

On connaît également des dispositifs ou procédés tels que ceux décrits dans les demandes de brevets américaines US2014/043332, US2016/327814 et

US2015/055085. Toutefois, ces dispositifs ou procédés ne sont pas satisfaisants. Résumé de l'invention

Le but de la présente invention est donc de pallier les inconvénients précédemment cités et de proposer un dispositif et un procédé d’acquisition d’images de paires de lunettes, très bas coût, simple et rapide d’utilisation, permettant l’acquisition d’une image exploitable pour un essayage en réalité augmentée par une personne non qualifiée dans le domaine.

Conformément à l’invention, il est donc proposé un dispositif pour l’acquisition d’images d’une paire de lunettes comportant une surface plane délimitée par un contour de forme et de dimensions connues, ladite surface plane étant remarquable en ce qu’elle comporte au moins, en périphérie :

-un moyen de redressage,

-une référence de taille, au centre:

-une zone d’acquisition ayant une couleur non réfléchissante, homogène, ladite zone d’acquisition comportant au moins deux ouvertures destinées à supporter les branches de ladite paire, et au moins un repère de position représentant les pupilles d’un porteur, de sorte à faciliter le positionnement en hauteur des verres de lunettes sur ladite zone d’acquisition.

On appelle « moyen de redressage », un moyen utilisé pour obtenir une image parfaitement de face d’un objet, il en existe deux types, ceux utilisés en amont de la capture d’image : support de positionnement de l’appareil d’acquisition d’images par exemple, ceux utilisés en aval de la capture d’image : repère utilisé pour traiter l’image et supprimer les effets de perspectives.

On appelle « référence de taille », un moyen de taille connue permettant de retrouver l’échelle de taille des objets d’une image.

On appelle « porteur », un individu portant la paire de lunettes sur son visage.

Préférentiellement, la surface plane a un contour de forme rectangulaire et présente une mire colorimétrique. Avantageusement, le moyen de redressage et la référence de taille sont un cadre noir marquant ledit contour de dimensions connues.

De manière préférée, la mire colorimétrique est positionnée entre le cadre noir et la zone d’acquisition.

De manière préférentielle, les ouvertures comportent des moyens d’ajustement de couleur identique à celle de la zone d’acquisition permettant audites ouvertures de s’adapter à différents types de branches de lunettes.

On appelle « moyens d’ajustement », l’ensemble des moyens utilisés pour limiter le périmètre d’une ouverture au seul espace suffisant au passage d’une branche de la paire de lunettes.

De manière encore plus préférentielle, les moyens d’ajustement comportent au moins deux caches en forme de U dont la largeur de l’ouverture peut varier en fonction de la largeur des branches de lunettes, un cache en forme de rectangle et sont destinés à être disposés à l’avant des ouvertures afin de limiter leurs surfaces.

De manière avantageuse, la zone d’acquisition comporte un moyen d’identification codé permettant l’obtention d’informations concernant ledit dispositif.

L’invention concerne aussi un procédé d’acquisition d’images d’une paire de lunettes à l’aide d’un dispositif tel que décrit précédemment, remarquable en ce qu’il comporte au moins les étapes suivantes : a) Phase d’identification sur un terminal professionnel : al) Affichage sur un périphérique de sortie du terminal professionnel d’une page web d’acquisition, a2) Identification du professionnel, b) Phase d’ Acquisition : bl) Mise en place d’une paire de lunettes sur la zone d’acquisition d’un dispositif (1), b2) Capture d’une image de la surface plane d’un dispositif (1) supportant la paire de lunettes à l’aide d’un périphérique d’acquisition d’image d’un terminal professionnel, b3) Acquisition du moyen d’identification codé, ç) Phase de traitement d’image, cl) Extraction de la monture de la paire de lunettes, c2) Envoi d’une image détourée de la paire de lunettes et des caractéristiques de la paire de lunettes à un serveur d’essayage virtuel, c3) Génération par le serveur d’un modèle 3D de lunettes à partir de l’image détourée, c4) Génération d’une page web d’essayage virtuel par le terminal professionnel, d) Phase d’essayage : dl) Envoi de la page web d’essayage virtuel au terminal d’un client, d2) Capture d’une image du visage du client à l’aide d’un périphérique d’acquisition d’image du terminal client ou chargement d’une image du visage du client à partir d’une galerie photos, d3) Incrustation du modèle 3D de lunettes sur l’image du visage du client pour former une image d’essayage,

On appelle « moyen d’identification codé » un code ou un moyen visuel propre à la paire de lunettes. (QR code par exemple)

On appelle « image détourée d’une paire de lunettes » une image de la paire de lunettes sur laquelle on supprime complètement le fond de l’image, on ne garde que la partie paire de lunettes.

De manière préférée, après l’étape a2, il existe une étape a3 : Recherche du modèle 3D de la paire de lunettes dans un catalogue présent sur le serveur, et :

- si la paire de lunettes n’est pas présente dans le catalogue : après l’étape ç3, il existe une étape çE : Enregistrement du modèle 3D de la paire de lunettes dans le catalogue sur le serveur,

- si la paire de lunettes est présente dans le catalogue : les phases d’acquisition et de traitement d’image ne sont pas effectuées et la phase d’essayage est effectuée à partir du modèle 3D de lunettes du catalogue,

De manière encore plus préférée, l’étape ç! comprend les sous étapes suivantes : cil) Redressage de l’image de la surface plane du dispositif (1) supportant la paire de lunette, cl 114 Détection du moyen de redressage, cl 12) Correction de perspective, cl 13) Extraction de la zone de l’image contenant la paire de lunettes, c!2) Détourage de la monture de la paire de lunettes, c!21) Suppression du fond coloré, cl 22) Normalisation de la résolution.

Brève description des figures

D’autres avantages et caractéristiques sont décrites ci-dessous.

[Fig 1] est une vue de face du dispositif selon l’invention.

[Fig 2] est une vue d’ensemble d’un dispositif selon l’invention et d’un appareil d’acquisition d’image.

[Fig 3] est un organigramme du procédé conforme à l’invention.

[Fig 4] est une représentation schématique d’un moyen d’ajustement de type système

2 caches à 2 degrés de liberté pour les ouvertures du dispositif selon l’invention.

[Fig 5] est une représentation schématique d’un moyen d’ajustement de type système 4 caches à 1 degré de liberté pour les ouvertures du dispositif selon l’invention.

[Fig 6] est une représentation schématique d’un moyen d’ajustement de type système

3 caches pour les ouvertures du dispositif selon l’invention.

Description des modes de réalisation

Conformément aux figures 1 à 6, il est donc proposé un dispositif 1 pour l’acquisition d’images d’une paire de lunettes comportant une surface plane délimitée par un contour 2 de forme et de dimensions connues, ladite surface plane étant remarquable en ce qu’elle comporte au moins, en périphérie:

-un moyen de redressage 3,

-une référence de taille 4, et au centre :

-une zone d’acquisition 6 ayant une couleur non réfléchissante, homogène, ladite zone d’acquisition 6 comportant au moins deux ouvertures 7, 7’ destinées à supporter les branches de ladite paire, et au moins un repère de position 8 représentant les pupilles d’un porteur, de sorte à faciliter le positionnement en hauteur des verres de lunettes sur ladite zone d’acquisition 6. Quel que soit le porteur, ses pupilles se trouvent à peu près à une hauteur identique au niveau du verre de lunettes lorsque les lunettes sont portées. Il est possible de matérialiser cette hauteur par une ligne appelée « ligne du regard ».

La couleur de la zone d’acquisition 6 est choisie en fonction de la couleur de la paire de lunettes, le but étant que la couleur de la paire de lunettes se démarque le plus possible de la couleur de fond de la zone d’acquisition 6. Avantageusement, la couleur de la zone d’acquisition 6 est une couleur de fond antireflet (mate). Ces choix au niveau de la couleur de la zone d’acquisition 6 permettront de faciliter le détourage. Préférentiellement, la surface plane a un contour 2 de forme rectangulaire et présente une mire colorimétrique 5.

Cette surface plane est préférentiellement de dimension A4 pour être facilement transportable, elle peut être munie de pieds de 10 à 15 cm de hauteur, pour permettre son maintien en position horizontale en réservant un espace suffisant aux branches de la paire de lunettes.

Avantageusement, le moyen de redressage 3 et la référence de taille 4 sont un cadre noir marquant ledit contour 2 de dimensions connues. Le fait que le cadre noir ait des dimensions connues (longueur et largeur) permet de redresser aisément une image qui n’aurait pas été correctement prise de face. En effet, lorsque l’image de face n’a pas été correctement prise, les dimensions du cadre mesurées sur l’image ne sont plus les mêmes. Il est alors possible de déformer l’image pour obtenir le cadre avec ses dimensions initiales. Plusieurs paramètres de l’image sont ainsi corrigés (orientation, perspective...) permettant ainsi d’obtenir une vue parfaitement de face du dispositif 1. Plusieurs autres moyens peuvent être utilisés dans l’objectif d’un redressage, dans certains cas, l’appareil d’acquisition d’image peut être installé sur un support spécifique qui permettra de régler son positionnement par rapport à la surface plane et à maîtriser l’angle de prise de vue. Par ailleurs, ce cadre noir joue également un rôle de référence de taille 4 ou d’échelle, puisque les dimensions réelles de celui-ci sont connues. D’autres références de tailles 4 pourront être utilisées (règle graduée, damier...). Enfin, ce cadre en marquant le contour 2 de la surface plane de sa couleur noire, délimite parfaitement le support d’acquisition 6 et facilite le recadrage de l’image.

De manière préférée, la mire colorimétrique 5 est positionnée entre le cadre noir et la zone d’acquisition 6.. Elle est capturée par un appareil d’acquisition d’images et sert de référence afin de corriger les éventuels écarts de couleur constatés entre la couleur de l'objet réel et la couleur de l’objet sur l’image. Ces écarts de couleurs observés peuvent être notamment liés à l’éclairage lors de la capture photo.

De manière préférentielle, les ouvertures 7, 7’ comportent des moyens d’ajustement 9, 9a, 9b, 9c, 9d, 9e, 9f, 9g, 9h, 9i, de couleur identique à celle de la zone d’acquisition 6, permettant audites ouvertures 7, 7’ de s’adapter à différents types de branches de lunettes. Les différentes paires de lunettes existantes sur le marché présentent des branches de différentes formes et épaisseurs qui peuvent s’embrancher sur le haut de la monture, au 1/3-2/3 de la hauteur de la monture ou au milieu. Pour pouvoir supporter ces différentes variétés de branches, les ouvertures 7, 7’ sont conçues avec un périmètre assez important, de l’ordre de 30 sur 30 mm pour des ouvertures 7, 7’ rectangulaires. L’importance de la taille de ces ouvertures 7, 7’ peut engendrer des difficultés lors de l’étape de détourage, c’est pourquoi des moyens d’ajustements 9, 9a, 9b, 9c, 9d, 9e, 9f, 9g, 9h, 9i, de couleur identique à celle de la surface d’acquisition 6 sont utilisés.

Ces moyens d’ajustement 9, 9a, 9b, 9c, 9d, 9e, 9f, 9g, 9h, 9i, viennent limiter au seul espace suffisant au passage des branches de la paire de lunettes les ouvertures 7, 7’. De manière encore plus préférentielle, les moyens d’ajustement 9, 9a, 9b, 9c, 9d, 9e, 9f, 9g, 9h, 9i, comportent au moins deux caches en forme de U, 9g, 9h, dont la largeur de l’ouverture peut varier en fonction de la largeur des branches de lunettes et un cache 9i, en forme de rectangle et sont destinés à être disposés à l’avant des ouvertures 7, 7’ afin de limiter leurs surfaces. Les fentes ou ouvertures de ces caches 9g, 9h, peuvent avoir 3 largeurs différentes (4, 7 ou 8mm) de sorte à s’adapter à l’ensemble des montures sur le marché. Les caches 9g, 9h, en forme de U limitent par leurs morphologies la hauteur et la largeur des ouvertures 7, 7’, ils ont 2 degrés de liberté. La cache rectangulaire 9i, limite la hauteur uniquement et a 1 degré de liberté. D’ autres moyens d’ajustements 9, 9a, 9b, 9c, 9d, 9e, 9f, 9g, 9h, 9i, de couleur identique à la zone d’acquisition 6 peuvent être envisagés, comme par exemple :

- trames de fils : deux trames de fils sont superposées perpendiculairement (ie. une trame orientée à 90° de l’autre),

- matériaux meubles : de type sable ou gel dans lesquels les branches peuvent s’enfoncer,

- tissu avec fente de type boutonnière ou étoile, - système de caches 9, 9a avec 2 degrés de liberté : chaque ouverture 7, 7’ peut être occultée par deux caches 9, 9a , un premier 9a en forme de L et un deuxième 9b en forme de L retourné à 90° dans le sens des aiguilles d’une montre,

- système de 4 caches 9b, 9c, 9d, 9e, 9f, à 1 degré de liberté: 2 caches en forme de dent 9c, 9d et 2 en forme de crémaillères 9e, 9f, les différents caches 9b, 9c, 9d, 9e, 9f, de formes complémentaires étant positionnés en miroir et superposés 2 par 2, l’ouverture restante aura une forme de losange.

De manière avantageuse, la zone d’acquisition 6 comporte un moyen d’identification codé 10 permettant l’obtention d’informations concernant ledit dispositif 1. Ce moyen d’identification peut être un QR code par exemple. Il permet de connaître la dimension du dispositif 1 par exemple.

L’invention concerne aussi un procédé 100 d’acquisition d’images d’une paire de lunettes à l’aide d’un dispositif 1 tel que décrit précédemment, remarquable en ce qu’il comporte au moins les étapes suivantes : a) Phase d’identification PI sur un terminal professionnel Al : al) Affichage sur un périphérique de sortie du terminal professionnel Al d’une page web d’acquisition 110, a2) Identification du professionnel 120, b) Phase d’ Acquisition P2: bl) Mise en place d’une paire de lunettes sur la zone d’acquisition 6 d’un dispositif 1, 130, b2) Capture d’une image de la surface plane d’un dispositif 1 supportant la paire de lunettes à l’aide d’un périphérique d’acquisition d’image d’un terminal professionnel Al, 140, b3) Acquisition du moyen d’identification codé 10, 150, ç) Phase de traitement d’image P3, cl) Extraction de la monture de la paire de lunettes 160, c2) Envoi d’une image détourée de la paire de lunettes et des caractéristiques de la paire de lunettes à un serveur d’essayage virtuel 170, c3) Génération par le serveur d’un modèle 3D de lunettes à partir de l’image détourée 180, c4) Génération d’une page web d’essayage virtuel par le terminal professionnel Al, 190, d) Phase d’essayage P4 : dl) Envoi de la page web d’essayage virtuel au terminal d’un client 200, d2) Capture d’une image du visage du client à l’aide du périphérique d’acquisition d’image du terminal client ou chargement d’une image du visage du client à partir d’une galerie photos 210, d3) Incrustation du modèle 3D de lunettes sur l’image du visage du client pour former une image d’essayage 220.

Préférentiellement, il existe entre cl, 160, et c2,170, une étape cl’: Vérification visuelle de la qualité de l’extraction. Au cours de cette étape, le professionnel vérifie la prise de vue, la présence ou non de reflets parasites, la qualité du détourage... Il est également possible d’afficher la paire de lunettes superposée à un visage et de modifier manuellement le calage de la monture (principalement en hauteur), mais aussi de faire une retouche manuelle de la colorimétrie (saturation etc.)

De manière préférée, après l’étape a2 120, il existe une étape a3 : Recherche du modèle 3D de la paire de lunettes dans un catalogue présent sur le serveur, et :

- si la paire de lunettes n’est pas présente dans le catalogue : après l’étape ç3 180, il existe une étape çE : Enregistrement du modèle 3D de la paire de lunettes dans le catalogue sur le serveur,

- si la paire de lunettes est présente dans le catalogue : les phases d’acquisition PI et de traitement d’image P2 ne sont pas effectuées et la phase d’essayage P4 est effectuée à partir du modèle 3D de lunettes du catalogue.

Les terminaux professionnel Al et client peuvent être des ordinateurs, des tablettes, ou des téléphones mobiles. On peut envisager qu’ils soient en communication par internet.

De manière encore plus préférée, l’étape cri 160 comprend les sous étapes suivantes : cil) Redressage de l’image de la surface plane du dispositif (1) supportant la paire de lunette 161 , cl 114 Détection du moyen de redressage 161a, cl 12) Correction de perspective 161b, cl 13) Extraction de la zone de l’image contenant la paire de lunettes 161c, c!2) Détourage de la monture de la paire de lunettes 162, c!21) Suppression du fond coloré 162a, cl 22) Normalisation de la résolution 162b.

Le processus global de redressage 161 est le suivant : Détection du cadre noir sur l’image capturée, Déformation (warp) de l’image pour obtenir cadre noir de dimensions identiques à celles du cadre noir du support, recadrage (crop) au niveau du cadre noir pour avoir une image de dimensions connues (image aux dimensions du cadre), recadrage (crop) de la zone d’intérêt (la taille métrique de la zone d’intérêt est fixe et dépendante du mesh utilisé pour le modèle 3D). Les traitements utilisés pour cette étape sont les suivants : Filtrage morphologique, seuillage adaptatif, détection de contour, sélection de contours sur la base des contraintes du dispositif 1, homographie. Pour le détourage 162, le processus global est le suivant : à partir de l’image obtenue à l’étape précédente, extraction du fond et génération d’un plan de transparence, Redimensionnement (resize) de l’image pour obtenir la texture finale en respectant les contraintes sur la résolution. L’algorithme utilisé pour l’extraction se base sur une mesure de distance dans l’espace colorimétrique HSV. En fonction de la distance, un seuillage est appliqué avec la gestion d’une rampe d’ anti-crénelage (anti-aliasing) au niveau de la frontière. D’autres algorithmes sont potentiellement utilisables : Seuillage, Watershed, Flood Fill, Histogram back projection, Grab Cut, Détection Contour...

Préférentiellement, après l’étape 162, il existe une étape c!3 de correction automatique permettant la correction d’erreurs liées à l’étape b2, 140, de capture (monture capturée non horizontale...). Pendant cette étape, la monture détourée peut subir une légère rotation (afin que la paire de lunettes soit bien positionnée selon un plan horizontal) ou encore un centrage horizontal.

Avantageusement, l’étape cri, 160, est effectuée par un algorithme d’intelligence artificielle. Pour certains types de paires de lunettes, paire de solaires ou paires de lunettes avec montures invisibles l’étape de détourage 160 peut s’avérer très difficile. On peut donc imaginer que cette étape 160 soit effectuée par un algorithme d’intelligence artificielle entraîné sur un catalogue de plusieurs modèles de paires de lunettes. L’algorithme sera ainsi de plus en plus performant. Dans ce cas, le détourage sera effectué par le serveur et pas par le terminal professionnel Al. Le procédé 100 peut également prévoir une étape d’extraction des verres de lunettes. Cette étape délimitant la zone occupée par des verres de lunettes sur une paire, aura pour but d’appliquer une déformation au niveau de cette zone afin de simuler l’effet qu’auront les verres de lunettes. En effet, en fonction de la correction prescrite par l’ophtalmologue, les verres de lunettes occasionnent une déformation de la zone sur laquelle ils sont placés. Le rendu de l’essayage sera ainsi encore plus réaliste. L’invention concerne enfin un système pour l’acquisition d’images remarquable en ce qu’il comporte au moins :

-un dispositif 1 d’acquisition d’images tel que décrit précédemment,

-un terminal client en communication avec un terminal professionnel Al, comportant au moins un périphérique d’entrée et de sortie permettant au moins la mise en œuvre de la phase d’essayage P4 du procédé 100 tel que décrit précédemment,

-un terminal professionnel Al en communication avec ledit terminal client et un serveur, comportant au moins un périphérique d’entrée et de sortie permettant au moins la mise en œuvre des phases d’identification PI, d’acquisition P2, les étapes cl, ç2 et ç4, 160,170, 180 de la phase de traitement d’image P3, du procédé 100 tel que décrit précédemment,

-un serveur d’essayage virtuel en communication avec le terminal professionnel Al, ledit serveur étant conçu pour mettre en œuvre au moins l’étape ç3 180 de la phase de traitement d’image P3 du procédé 100 tel que décrit précédemment

Les terminaux professionnel Al et client peuvent être des ordinateurs, des tablettes, ou des téléphones mobiles. On peut envisager que la communication entre les différentes entités du système soit établie par internet.

Le procédé 100 d’acquisition d’image est utilisé avec le dispositif 1 d’acquisition d’images précédemment décrit. Toutefois, ce procédé peut être utilisé avec tout type de support connu de l’Homme du métier.

Le dispositif 1 d’acquisition d’images de paires de lunettes et le procédé 100 conformes à l'invention trouvent une application particulière dans l’essayage virtuel de lunettes. Toutefois, il est évident que le dispositif 1 d’acquisition d’images de paires de lunettes et le procédé 100 peuvent être adaptés et utilisés pour l’acquisition d’image d'autres types de matériels. Enfin, il va de soi que les exemples de dispositif 1 d’acquisition d’images de paires de lunettes et le procédé 100 conformes à l'invention qui viennent d'être décrits ne sont que des illustrations particulières, en aucun cas limitatives de l'invention.