Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR GENERATING A DIFFERENTIAL MARKER ON A REPRESENTATION OF A PORTION OF THE HUMAN BODY
Document Type and Number:
WIPO Patent Application WO/2023/242365
Kind Code:
A1
Abstract:
The invention relates to a method for generating at least one differential marker of the presence of a skin singularity of a human body, said method comprising: ■ acquiring first and second sets of dermoscopic images of singularities of the skin of a human body of a first patient at first and second dates, respectively; ■ generating first and second representations of a first image of a part of the human body and of first symbol and second symbols, respectively, which are superimposed on the first image of each representation at a position in a first reference frame of the first image, said geometry and/or said colour of the second symbol being different from the geometry and/or the colour of the first symbol when the second class of the dermoscopic image of the second set is different from the first class of the dermoscopic image of the first set.

Inventors:
KHACHLOUF ALI (FR)
SERRAT TANGUY (FR)
Application Number:
PCT/EP2023/066170
Publication Date:
December 21, 2023
Filing Date:
June 15, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SQUAREMIND (FR)
International Classes:
G06T7/00
Foreign References:
US20160314585A12016-10-27
US20180122076A12018-05-03
Attorney, Agent or Firm:
OAK & FOX (FR)
Download PDF:
Claims:
REVENDICATIONS Procédé mis en œuvre par ordinateur de génération d’au moins un marqueur différentiel (Si, S2) de la présence d’une singularité cutanée d’un corps humain, ledit procédé comportant :

■ Réception à une première date (DATE1) d’au moins une première image (IM1) de toute ou partie du corps humain, appelée première partie, d’un premier individu (Ui) permettant l’affichage d’une image dermoscopique (IMD1) extraite de ladite première image (IM1) avec une résolution dermoscopique, ladite première image (IM1) comportant une pluralité de singularités cutanées (SGi) de la peau dudit corps, chaque singularité (SGi) ayant chacune des coordonnées dans un premier repère (Ri) associé à ladite première image (IM1) et étant associée à une première date (DATE1) et à au moins une première valeur (V1) d’un premier descripteur (D1), chaque singularité localisée dans la première image définissant un nœud d’un premier graphe, chaque nœud comportant des attributs dont une position de la singularité et au moins une valeur d’un descripteur (Di) ;

■ Réception à une seconde date (DATE2) d’au moins une seconde image (IM2) de la même première partie (IM1) du corps humain du premier individu (Ui) avec une résolution sensiblement identique, ladite seconde image (IM2) comportant une pluralité de singularités cutanées (SGi) de la peau dudit corps, chaque singularité (SGi) ayant chacune des coordonnées dans un second repère (R2) associé à ladite seconde image (IM2) et étant associée à une seconde date (DATE2) et à au moins une seconde valeur (V2) du premier descripteur (D1), chaque singularité localisée dans la seconde image définissant un nœud d’un second graphe, chaque nœud comportant des attributs dont une position de la singularité et au moins une valeur d’un descripteur (Di) ;

■ Génération d’une première représentation (PRES1) comprenant la première image (IM1) et au moins un premier symbole (Si) associé à une première singularité (SGi) située à une première position de ladite première image (IMi) du premier repère (Ri), ledit au moins premier symbole (Si) étant superposé à la première image (IMi) à la première position, ledit premier symbole (Si) ayant une première géométrie (GEOi) et/ou une première couleur (COLi) générée en fonction d’au moins la première valeur du premier descripteur (Di) considérée à la première date (DATE-i) ;

■ Génération d’une seconde représentation (PRES2) au voisinage de la première représentation (PRES1) comprenant la seconde image (IM2) et au moins un second symbole (S2) associé à la première singularité (SG1), ledit second symbole (S2) ayant une seconde géométrie (GEO2) et/ou une seconde couleur (COL2), ledit au moins second symbole (S2) étant superposé à la seconde image (IM2) à la première position, ladite seconde géométrie (GEO2) et/ou ladite seconde couleur (COL2) étant différente de la première géométrie (GEO1) et/ou de la première couleur (COL2) définissant ainsi un marqueur différentiel, lorsque que la distance calculée entre une première valeur (V1) du premier descripteur (D1) calculée à la première date (DATE-i) et une seconde valeur (V2) du premier descripteur (D1) calculée à la seconde date (DATE2) est supérieure à un seuil prédéfini,

■ les deux images (IM1, IM2) de chaque représentation (PRES1, PRES2) étant orientées et alignées entre elles au moyen d’une étape de comparaison des deux graphes et de minimisation de l’erreur de l’écart de position des nœuds entre eux. Procédé selon la revendication 1 , caractérisé en ce que au moins un vecteur caractéristique est calculé en chaque nœud du premier graphe et du second graphe par un modèle d’apprentissage machine, ledit modèle recevant en entrée une image d’une singularité et générant en sortie un vecteur caractéristique de la similarité de ladite image. Procédé selon la revendication 2, caractérisé en ce que l’étape de comparaison met en œuvre l’optimisation d’une fonction de coût du calcul d’une distance entre deux graphes prenant en considérant :

■ une première distance entre les nœuds du premier graphe et les nœuds du second graphe, ladite première distance utilisant une métrique géométrique permettant de calculer une distance entre des points de l’espace,

■ une seconde distance entre les nœuds du premier graphe et les nœuds du second graphe, ladite seconde distance utilisant une métrique permettant de calculer une distance entre des vecteurs caractéristiques. Procédé selon l’une quelconque des revendications 2 à 3, caractérisé en ce que l’optimisation de la fonction de coût de la distance entre les deux graphes permet d’appliquer une transformation à chaque nœud d’un premier graphe pour le faire correspondre à un nœud du second graphe. Procédé selon l’une quelconque des revendications 3 à 4, caractérisé en ce que l’optimisation de la fonction de coût de la distance entre les deux graphes permet d’appliquer une transformation non rigide. Procédé selon l’une quelconque des revendications 1 à 4, caractérisé en ce que chaque graphe comprend entre 50 et 600 nœuds. Procédé selon la revendication 1 , caractérisé en ce que chaque singularité de la première image (IMi) et/ou de la seconde image (IM2) est associée à une pluralité de descripteurs (Di) comprenant au moins un descripteur parmi la liste suivante :

■ Une valeur de contraste vis-à-vis d’une valeur représentative d’une couleur moyenne considérée au voisinage de la singularité cutanée ;

■ Une classe donnée d’un classifieur d’une sortie d’un réseau de neurones ayant été entrainé avec des images dermoscopiques de singularités cutanées ; ■ Une caractérisation d’une donnée géométrique de la forme,

■ Un score correspondant à une valeur scalaire ou une valeur numérique obtenue par la mise en œuvre d’un algorithme traitant en entrée d’une image extraite de la première image ou de la seconde image,

■ Un score obtenu par un calcul de différentes valeurs de descripteurs de singularités considérés au voisinage d’une singularité donnée. Procédé selon la revendication 7, caractérisé en ce que lorsqu’une classe est associée à une singularité après que des images acquises de la peau soient fournies à un réseau de neurones configuré pour délivrer une classification desdites images fournies, au moins une classe est comprise parmi la liste de classes suivantes :

■ une classe relative à la géométrie de la périphérie de la singularité d’une photo dermoscopique donnée (IMDi, IMD2),

■ une classe relative à la caractérisation d’une géométrie de la périphérie de la singularité d’une photo dermoscopique donnée (IMD1, IMD2) vis-à-vis d’une pluralité de caractérisations de géométries de périphéries de singularités d’autres photos dermoscopiques (IMD1, IMD2) considéré au voisinage de la photo dermoscopique donnée (IMD1, IMD2) ;

■ une classe relative à la couleur d’une singularité ;

■ une classe relative à l’asymétrie de la géométrie de la périphérie de la singularité d’une image dermoscopique donnée (IMD1, IMD2),

■ une classe relative au diamètre de la géométrie de la périphérie de la singularité d’une image dermoscopique donnée (IMD1, IMD2), lorsque ladite singularité a une forme sensiblement circulaire,

■ une classe relative à la zone sur laquelle la singularité est présente sur le corps humain. Procédé selon l’une quelconque des revendications 1 à 8, caractérisé en ce qu’un critère d’évolution est calculé quantifiant l’évolution d’un descripteur d’une singularité entre deux images (IMi, IM2) de deux acquisitions réalisées à deux dates différentes (DATE-i, DATE2). Procédé selon la revendication 9, caractérisé en ce qu’un critère d’évolution est calculé à partir d’une distance définie entre une première valeur d’un descripteur d’un premier nœud d’un premier graphe acquis à une première date et une seconde valeur d’un descripteur d’un second nœud d’un second graphe acquis à une seconde date, chaque graphe étant généré à partir d’une première image, respectivement d’une seconde image, lesdites images correspondant à un corps d’un même individu et le premier nœud et le second nœud ayant la même position au sein de la première et la seconde image. Procédé selon la revendication 9, caractérisé en ce que la couleur et/ou la géométrie d’un symbole (Si , S2) est/sont sélectionnée(s) selon :

■ un critère d’appartenance d’une singularité à au moins une classe du classifieur ;

■ une valeur d’un descripteur dépassant une valeur seuil ;

■ la valeur d’un critère d’évolution d’un descripteur d’une singularité calculé entre deux premières images acquises à deux dates (DATEo, DATE1). Procédé selon la revendication 1 , caractérisé en ce qu’un troisième symbole (S3) est généré selon une couleur et/ou une forme donnée(s) lorsqu’une une singularité (SGi) est présente dans une première image acquise à une position donnée pour la première fois, ladite couleur ou ladite forme du troisième symbole (S3) permettant de distinguer ledit symbole d’un autre symbole pour indiquer la nouvelle apparition de ladite singularité. Procédé selon l’une quelconque des revendications 1 à 12, caractérisé en ce qu’une interaction utilisateur avec au moins un symbole affiché (Si, S2, S3) permet de générer une première consigne numérique (CONS1) visant à afficher au moins une image dermoscopique (IMD1) dans une fenêtre d’affichage, ladite image dermoscopique affichée (IMDi) correspondant à une image extraite de la première image (IMi) associée à la position à laquelle le symbole (Si, S2, S3) est affiché sur la première image (IM1).

14. Procédé selon l’une quelconque des revendications 1 à 12, caractérisé en ce qu’une seconde consigne numérique (CONS2) engendrée par une action utilisateur permet d’afficher deux images dermoscopiques (IMD1, IMD2) côte à côte extraites respectivement d’une première image (IM1) et d’une seconde image (IM2), lesdites deux images dermoscopiques (IMD1, IMD2) permettant d’afficher les singularités d’une même position sur le corps selon une même résolution et selon une même échelle de dimensions.

15. Procédé selon l’une quelconque des revendications 1 à 12, caractérisé en ce qu’une première commande numérique (CDN1) permettant de déplacer, zoomer, ou sélectionner une zone d’intérêt de la première image (IM1) de la première représentation (PRES1) entraine automatiquement la génération d’une commande numérique (CDNo’) identique sur une zone d’intérêt équivalente de la seconde image (IM2) de la seconde représentation (PRES2).

16. Procédé selon l’une quelconque des revendications 1 à 15, caractérisé en ce qu’une seconde commande numérique (CDN2) permet d’orienter un avatar numérique tridimensionnel (MODo) du corps d’un individu de manière à afficher une portion du corps, une troisième commande numérique (CDN3) permettant de grossir ladite portion du corps affichée sur une zone d’intérêt, ladite zone d’intérêt affichant une pluralité de marqueurs ayant chacun une position à la surface du corps humain dans un repère de référence (Ro) associé à l’avatar numérique (MODo), chaque marqueur étant associé à une singularité du corps humain, une quatrième commande numérique (CDN4) permettant de sélectionner ledit marqueur pour afficher une image dermoscopique extraite de la première image (IM1), ladite image extraite étant défini autour de la position du marqueur sélectionné. Procédé selon l’une quelconque des revendications 1 à 16, caractérisé en ce que les images dermoscopiques sont acquises par un dispositif de prise d’images configuré pour acquérir une pluralité d’images de la peau d’un corps humain d’un individu et pour assigner à chaque image une position sur un modèle 3D (MODo) représentant le corps dudit individu. Système comportant un terminal électronique comportant un afficheur pour générer les images produites par le procédé de l’une quelconque des revendications 1 à 17 et une interface d’échange de données pour recevoir des images acquises par un dispositif d’acquisition d’image.

Description:
Procédé de génération d’un marqueur différentiel sur une représentation d’une portion du corps humain.

Domaine de l’invention

Le domaine de l’invention se rapporte à celui des procédés mis en œuvre par ordinateur permettant de générer des marqueurs sur une représentation du corps humain. Le domaine de l’invention se rapporte plus particulièrement aux systèmes et procédés permettant d’assister un médecin tel qu’un dermatologue dans l’analyse des singularités cutanées à la surface du corps.

État de la technique

Actuellement, les dermatologues analysent les singularités cutanées en examinant la surface de la peau d’un patient à l’œil nu.

Les dispositifs d’imagerie actuels offrent un choix limité aux praticiens. Le plus souvent, un dermatologue peut accéder à des images dermoscopiques avec un grossissement de 10x à 30x de quelques lésions, prises individuellement à l’aide d’un dermatoscope manuel tel qu’un « pistolet ». Alternativement, il peut accéder à des images macroscopiques d’un corps, à l’aide de systèmes d’imagerie du corps entier, par exemple une « cabine », permettant une acquisition globale du corps.

Ces deux techniques peuvent être utilisées en combinaison, mais ne permettent, au mieux et au prix d’un temps trop important, que d’obtenir une image macroscopique du corps entier, avec quelques lésions en dermoscopie par association manuelle d’images dermoscopiques à une zone du corps.

En conséquence, il n’existe pas d’imagerie du corps entier ou cartes de la peau permettant d’accéder en tout point à des images de dermoscopie.

Quelques systèmes existants permettent de réaliser des photos de la peau selon différentes résolutions. Ces systèmes permettent d’observer de manière macroscopique par exemple des grains de beauté. Toutefois, il est important de réaliser des images à différents moments, idéalement en dermoscopie, pour suivre un état de l’évolution d’une singularité au cours du temps. Le médecin doit donc sauvegarder les images, les associer à une zone du corps pour pouvoir les comparer avec les bonnes images ultérieurement et enfin les orienter et les afficher de la même manière pour comparer les images entre elles lors d’un examen.

Or à ce jour, il n’existe pas de procédé ou de système répondant à l’ensemble de ces problématiques.

Résumé de l’invention

Selon un premier aspect, l’invention concerne un procédé mis en œuvre par ordinateur de génération d’au moins un marqueur différentiel de la présence d’une singularité cutanée d’un corps humain, ledit procédé comportant :

■ Réception à une première date d’au moins une première image de tout ou partie du corps humain, appelée première partie de corps, d’un premier individu permettant l’affichage d’une image dermoscopique extraite de ladite première image avec une résolution dermoscopique, ladite première image comportant une pluralité de singularités cutanées de la peau dudit corps, chaque singularité ayant chacune des coordonnées dans un premier repère associé à ladite première image et étant associée à une première date et à au moins une première valeur d’un premier descripteur ;

■ Réception à une seconde date d’au moins une seconde image de la même première partie du corps humain du premier individu avec une résolution sensiblement identique, ladite seconde image comportant une pluralité de singularités cutanées de la peau dudit corps, chaque singularité ayant chacune des coordonnées dans un premier repère associé à ladite seconde image et étant associée à une seconde date et à au moins une seconde valeur du premier descripteur ;

■ Génération d’une première représentation comprenant la première image et au moins un premier symbole associé à une première singularité située à une première position de ladite première image du premier repère, ledit au moins premier symbole étant superposé à la première image à la première position, ledit premier symbole ayant une première géométrie et/ou une première couleur générée en fonction d’au moins la première valeur du premier descripteur considérée à la première date ;

■ Génération d’une seconde représentation au voisinage de la première représentation comprenant la seconde image et au moins un second symbole associé à la première singularité, ledit second symbole ayant une seconde géométrie et/ou une seconde couleur, ledit au moins second symbole étant superposé à la seconde image à la première position, ladite seconde géométrie et/ou ladite seconde couleur étant différente de la première géométrie et/ou de la première couleur définissant ainsi un marqueur différentiel, lorsque que la distance calculée entre une première valeur du premier descripteur calculée à la première date et une seconde valeur du premier descripteur calculée à la seconde date est supérieure à un seuil prédéfini.

Un avantage est de permettre de disposer d’un outil simple de comparaison de deux images de la peau acquise à des dates différentes tout en bénéficiant d’outils de visualisation de zone d’intérêt facilement accessible et permettant l’évaluation de l’évolution d’une situation.

Selon un mode de réalisation, le procédé comprend la génération d’un graphe comportant un ensemble de nœuds, lesdits nœuds correspondant à des singularités, chaque nœud comportant des attributs, dont une position de la singularité et au moins une valeur d’un descripteur.

Un avantage est de permettre de fusionner les deux images selon un même repère afin de permettre un affichage similaire des deux parties du corps humain à deux dates différentes.

Selon un mode de réalisation, les deux images de chaque représentation sont orientées et alignées entre elles au moyen d’une étape de comparaison et/ou de fusion des deux graphes et de minimisation de l’erreur de l’écart de position des nœuds entre eux.

Un avantage est de faciliter la lecture et l’analyse d’une singularité en offrant un meilleur contexte de visualisation favorisant la détection des écarts d’une image à l’autre.

Selon un mode de réalisation, au moins un vecteur caractéristique est calculé en chaque nœud du premier graphe et du second graphe par un modèle d’apprentissage machine, ledit modèle recevant en entrée une image d’une singularité et générant en sortie un vecteur caractéristique de la similarité de ladite image.

Selon un mode de réalisation, l’étape de comparaison met en œuvre l’optimisation d’une fonction de coût du calcul d’une distance entre deux graphes prenant en considérant :

• une première distance entre les nœuds du premier graphe et les nœuds du second graphe, ladite première distance utilisant une métrique géométrique permettant de calculer une distance entre des points de l’espace,

• une seconde distance entre les nœuds du premier graphe et les nœuds du second graphe, ladite seconde distance utilisant une métrique permettant de calculer une distance entre des vecteurs caractéristiques.

Selon un mode de réalisation, l’optimisation de la fonction de coût de la distance entre les deux graphes permet d’appliquer une transformation à chaque nœud d’un premier graphe pour le faire correspondre à un nœud du second graphe.

Selon un mode de réalisation, l’optimisation de la fonction de coût de la distance entre les deux graphes permet d’appliquer une transformation non rigide.

Selon un mode de réalisation, chaque graphe comprend entre 5 et 600 nœuds. Et de manière plus particulière cette fourchette de nœuds pour certains individus ayant une peau caractéristique est comprise entre 50 et 500 nœuds.

Selon un autre aspect, l’invention concerne un procédé mis en œuvre par ordinateur à lier deux images ayant chacune une résolution dermoscopique de toute ou partie d’un corps humain et étant reçues à deux dates différentes, ledit procédé comportant :

■ Réception à une première date d’au moins une première image de tout ou partie du corps humain, appelée première partie de corps, d’un premier individu permettant l’affichage d’une image dermoscopique extraite de ladite première image avec une résolution dermoscopique, ladite première image comportant une pluralité de singularités cutanées de la peau dudit corps, chaque singularité ayant chacune des coordonnées dans un premier repère associé à ladite première image et étant associée à une première date et à au moins une première valeur d’un premier descripteur, chaque singularité localisée dans la première image définissant un nœud d’un premier graphe ;

■ Réception à une seconde date d’au moins une seconde image de la même première partie du corps humain du premier individu avec une résolution sensiblement identique, ladite seconde image comportant une pluralité de singularités cutanées de la peau dudit corps, chaque singularité ayant chacune des coordonnées dans un premier repère associé à ladite seconde image et étant associée à une seconde date et à au moins une seconde valeur du premier descripteur, chaque singularité localisée dans la seconde image définissant un nœud d’un second graphe ;

■ Génération d’une première représentation comprenant la première image ;

■ Calcul d’un vecteur de correspondance à partir de la comparaison d’une pluralité de positions de singularités et d’au moins une valeur d’au moins un descripteur desdites singularités du premier graphe et du second graph ;

■ Génération d’une seconde représentation au voisinage de la première représentation comprenant la seconde image, ladite seconde représentation étant générée de sorte que la première et la seconde image soient orientée selon un même repère ou soient affichées selon une même échelle de dimension.

Cet aspect de l’invention se combine à tous les modes de réalisation des autres aspects.

Selon un mode de réalisation, chaque singularité de la première image est associée à une pluralité de descripteurs comprenant au moins un descripteur parmi la liste suivante :

■ Une valeur de contraste vis-à-vis d’une valeur représentative d’une couleur moyenne considérée au voisinage de la singularité cutanée ; ■ Une classe donnée d’un classifieur d’une sortie d’un réseau de neurones ayant été entrainé avec des images dermoscopiques de singularités cutanées ;

■ Une caractérisation d’une donnée géométrique de la forme.

■ Un score correspondant à une valeur scalaire ou une valeur numérique obtenue par la mise en œuvre d’un algorithme traitant en entrée d’une image extraite de la première image,

■ Un score obtenu par un calcul de différentes valeurs de descripteurs de singularités considérés au voisinage d’une singularité donnée.

Un avantage est de permettre d’identifier une catégorie ou une valeur d’une singularité permettant de faciliter l’association d’un type de symbole selon la catégorie de la singularité considérée.

Selon un mode de réalisation, lorsqu’une classe est associée à une singularité après que des images acquises de la peau soient fournies à un réseau de neurones configuré pour délivrer une classification desdites images fournies, au moins une classe est comprise parmi la liste de classes suivantes:

■ une classe relative à la géométrie de la périphérie de la singularité d’une photo dermoscopique donnée,

■ une classe relative à la caractérisation d’une géométrie de la périphérie de la singularité d’une photo dermoscopique donnée vis-à-vis d’une pluralité de caractérisations de géométries de périphéries de singularités d’autres photos dermoscopiques considéré au voisinage de la photo dermoscopique donnée ;

■ une classe relative à la couleur d’une singularité ;

■ une classe relative à l’asymétrie de la géométrie de la périphérie de la singularité d’une image dermoscopique donnée,

■ une classe relative au diamètre de la géométrie de la périphérie de la singularité d’une image dermoscopique donnée, lorsque ladite singularité a une forme sensiblement circulaire,

■ une classe relative à la zone sur laquelle la singularité est présente sur le corps humain.

Un avantage est d’hériter des classes d’un classifier d’un réseau de neurones au niveau de la singularité et donc également d’une position dans la première image. Selon un mode de réalisation, un critère d’évolution est calculé quantifiant l’évolution d’un descripteur d’une singularité entre deux images de deux acquisitions réalisées à deux dates différentes.

Un avantage est de permettre d’attirer l’attention sur des changements ou des évolutions de singularité au cours du temps.

Selon un mode de réalisation, un critère d’évolution est calculé à partir d’une distance définie entre une première valeur d’un descripteur d’un premier nœud d’un premier graph acquis à une première date et une seconde valeur d’un descripteur d’un second nœud d’un second graph acquis à une seconde date, chaque graph étant généré à partir d’une première image, respectivement d’une seconde image, lesdites images correspondant à un corps d’un même individu et le premier nœud et le second nœud ayant la même position au sein de la première et la seconde image.

Un avantage est de rapidement permettre des calculs différentiels entre deux singularités de deux images prises à deux dates différentes dont on connait les positions dans deux repères différents et dans le repère de l’un et de l’autre. En effet, l’utilisation des graphes permet de corroborer les positions de singularités très facilement notamment à partir des correspondances de positions et des similarités des descripteurs. Il est ainsi beaucoup plus simple de faire coïncider les deux repères des deux images reçues afin de favoriser les comparaisons de valeurs de descripteur d’une singularité ayant évolué dans le temps.

Selon un mode de réalisation, chaque singularité a une position calculée dans la première image ou la seconde image qui correspond à un point géométrique caractéristique d’une forme caractéristique de la géométrie de ladite singularité. Il peut s’agir d’un ovale, une ellipse, un cercle, un rectangle ou un triangle.

Selon un mode de réalisation, la couleur et/ou la géométrie d’un symbole est/sont sélectionnée(s) selon :

■ un critère d’appartenance d’une singularité à au moins une classe du classifieur ;

■ une valeur d’un descripteur dépassant une valeur seuil ;

■ la valeur d’un critère d’évolution d’un descripteur d’une singularité calculé entre deux premières images acquises à deux dates. Un avantage est de permettre une large configuration de représentation des différents critères de démarcation d’une singularité donnée ou d’une évolution d’une singularité dans le temps.

Selon un mode de réalisation, la forme du symbole est une forme géométrique simple telle qu’un cercle, un triangle, un carré, un rectangle ou une forme en croix ou en étoile.

Selon un mode de réalisation, la couleur du symbole est générée selon un gradient de couleur associé à l’évolution dans le temps d’une valeur d’un descripteur d’une singularité selon une échelle de valeurs prédéfinie .

Selon un mode de réalisation, un troisième symbole est généré selon une couleur et/ou une forme donnée(s) lorsqu’une une singularité est présente dans une première image acquise à une position donnée pour la première fois, ladite couleur ou ladite forme du troisième symbole permettant de distinguer ledit symbole d’un autre symbole pour indiquer la nouvelle apparition de ladite singularité.

Un avantage est de représenter pour l’apparition d’une singularité n’ayant pas été identifiée dans des précédentes acquisitions d’images.

Selon un mode de réalisation, une interaction utilisateur avec au moins un symbole affiché permet de générer une première consigne numérique visant à afficher au moins une image dermoscopique dans une fenêtre d’affichage, ladite image dermoscopique affichée correspondant à une image extraite de la première image associée à la position à laquelle le symbole est affiché sur la première image.

Un avantage est de directement exploiter l’image globale du corps d’un patient sans avoir à « recoller » ou à traiter des images prises par un autre dispositif sur une image macroscopique.

Selon un mode de réalisation, une seconde consigne numérique engendrée par une action utilisateur permet d’afficher deux images dermoscopiques côte à côte extraites respectivement d’une première image et d’une seconde image, lesdites deux images dermoscopiques permettant d’afficher les singularités d’une même position sur le corps selon une même résolution et selon une même échelle de dimensions.

Un avantage est de tirer un bénéfice de l’exploitation des graphes associés à la première image et à la seconde image. Les graphes sont facilement manipulables est permettent d’effectuer simplement des recalages entre la première et la seconde image car seuls les descripteurs et les positions des nœuds sont considérés.

Selon un mode de réalisation, une seconde consigne numérique engendrée par une action utilisateur permet d’afficher deux images dermoscopiques côte à côte, lesdites deux images dermoscopiques permettant d’afficher les singularités ayant une même position sur le corps selon une même orientation.

Selon un mode de réalisation, la première image et la seconde image sont des images 2D d’une partie du corps humain. Un intérêt est de représenter des parties du corps selon une vue plan. Cette vue permet une meilleure manipulation de l’image affichée notamment des rotations et des zooms.

Selon un mode de réalisation, la première image et la seconde image sont des images 3D d’une partie du corps humain. Un avantage est de mieux représenter le corps d’un patient et de visualiser rapidement une zone d’intérêt.

Selon un mode de réalisation, une commande numérique permettant de déplacer, zoomer, ou sélectionner une zone d’intérêt de la première image de la première représentation entraine automatiquement la génération d’une commande numérique identique sur une zone d’intérêt équivalente de la seconde image de la seconde représentation. Un avantage est de coordonner les représentations des deux images lors d’un examen du corps humain représenté sur ordinateur avec la prise en compte d’un critère d’évolution temporelle.

Selon un mode de réalisation, une première commande numérique permet d’orienter un avatar numérique tridimensionnel du corps humain de manière à afficher une portion du corps sélectionnable par une seconde commande numérique produisant l’affichage d’une première image, ladite première image représentant une pluralité de singularités de la peau de ladite portion affichée, un ensemble de symboles étant représenté avec une géométrie et une couleur dépendante d’au moins une valeur d’un descripteur de la singularité.

Selon un mode de réalisation, une première commande numérique permet d’orienter un avatar numérique tridimensionnel du corps d’un individu de manière à afficher une portion du corps, une troisième commande numérique permettant de grossir ladite portion du corps affichée sur une zone d’intérêt, ladite zone d’intérêt affichant une pluralité de marqueurs ayant chacun une position à la surface du corps humain dans un repère de référence associé à l’avatar numérique, chaque marqueur étant associé à une singularité du corps humain, une cinquième commande numérique permettant de sélectionner ledit marqueur pour afficher une image dermoscopique extraite de la première image, ladite image extraite étant défini autour de la position du marqueur sélectionné.

Selon un mode de réalisation, les images dermoscopiques sont acquises par un dispositif de prise d’images configuré pour acquérir une pluralité d’images de la peau d’un corps humain d’un individu et pour assigner à chaque image une position sur un modèle 3D représentant le corps dudit individu.

Selon un mode de réalisation, le modèle 3D représentant le corps de l’individu correspond à la représentation tridimensionnelle permettant la navigation sur différentes portions du corps.

Selon un mode de réalisation le procédé comprend une étape de détection d’un ensemble de singularités à la surface du corps comportant l’exécution d’un réseau de neurones traitant en entrée d’images de la peau acquises par un dispositif d’acquisition d’images et générant en sortie une classification de ladite image, chacune des images étant indexée selon une position à la surface d’un modèle de corps 3D reconstruit à partir d’une génération d’une carte de profondeur.

Selon un autre aspect, l’invention concerne un système comportant un terminal électronique comportant un afficheur pour générer les images produites par le procédé de l’invention et une interface d’échange de données pour recevoir des images acquises par un dispositif d’acquisition d’image ou un autre calculateur ou une autre mémoire lorsque lesdites images reçues ont été préalablement traitées consécutivement à leur acquisition par un dispositif de prise d’images.

Un autre objet de l’invention concerne un procédé pour opérer une action sur une image de toute ou partie du corps humain ayant une résolution dermoscopique de manière à visualiser d’une part des images de singularités cutanées de la peau à une échelle dermoscopique et d’autre part une image de toute ou partie du corps à une échelle macroscopique. Un avantage de l’invention est de générer des cartes de la peau permettant de donner un accès à des zones données de la peau par des fonctions de grossissement jusqu’au niveau dermoscopique.

Un avantage est de permettre d’accéder à toute image acquise et associée à un point d’une représentation du corps, notamment des points correspondants à des zones de la peau vierge, ou des points correspondants à des lésions pigmentées ou non.

Brève description des figures

D’autres caractéristiques et avantages de l’invention ressortiront à la lecture de la description détaillée qui suit, en référence aux figures annexées, qui illustrent :

■ Figure 1 : une représentation tridimensionnelle d’un corps humain permettant une navigation pour sélectionner une portion de corps ;

■ Figure 2 : deux représentations d’une même image représentant le torse d’un corps humain à deux dates différentes, chaque image comportant un ensemble de singularités du corps humain et une pluralité de symboles permettant de discriminer certaines singularités vis-à-vis d’autres singularités ;

■ Figure 3 : une représentation d’une image d’une portion du corps humain permettant d’accéder à une photographie dermoscopique d’une singularité ;

■ Figure 4 : une représentation d’une image d’une portion du corps humain permettant d’accéder à deux photographies dermoscopiques d’une singularité obtenues à deux dates différentes.

■ Figure 5 : un exemple de représentation d’un système de l’invention.

On entend par « image dermoscopique » une image acquise par une optique permettant de former une image d’une portion de la peau en gros plan. Dans la suite de la description, une image dermoscopique correspond au sens large à une image d’une zone de la peau ayant un grossissement de la taille de la zone imagée. Le grossissement comprend donc une opération visant à représenter une zone avec une échelle plus grande que l’échelle correspondant à la taille réelle. L’invention se réfère plus particulièrement à des images dermoscopiques ayant des grossissements de l’ordre de 10x à 30x de la taille réelle de la zone de la peau considérée, c’est-à-dire entre dix fois et trente fois la taille de la zone réelle. Selon un exemple, l’image dermoscopique peut être associée à une résolution donnée ou supérieure à un seuil donné.

Enfin selon un autre exemple, l’image dermoscopique peut se référer à une image acquise par un dispositif ou instrument conçu pour imager des zones de la peau. Il peut s’agir d’un dermatoscope qui existe selon différentes variantes:

■ Un équipement en contact ou sans contact ;

■ Un équipement projetant une lumière polarisée ou non ;

■ Un équipement comportant une optique permettant d’acquérir des images digitales ou numériques,

■ Un équipement classique comportant par exemple une loupe grossissante sans acquisition.

Selon un autre exemple, le procédé de l’invention peut être réalisé à partir d’images acquises de certains appareils allant jusqu'à un grossissement de 400x, soit 400 fois.

On appelle toute image ayant une résolution dermoscopique une image, quelle que soit sa taille, qui peut être zoomée ou grossie de sorte à afficher des images à une échelle dermoscopique, c’est-à-dire une image avec un grossissement entre 10x ou 30x de la taille réelle de la singularité représentée sur le corps d’un individu.

On entend par modèle de corps fidèle au corps d’un individu, un modèle de corps issu d’une opération de scan 3D d’un corps d’un individu qui comprend des images de la peau en chaque pixel d’une représentation tridimensionnelle. On entend par « corps », la totalité ou la quasi-totalité du corps, à savoir que certaines parties du corps peuvent être volontairement masquées sans pour autant déclassifier l’appellation de corps.

On entend par singularité cutanée une zone comportant un contraste avec la couleur moyenne de la peau à son voisinage, ou encore une aspérité du corps humain localisée à un endroit du corps. Des seuils de couleurs ou d’intensités peuvent être définis afin de déterminer si la zone comprend une singularité . Selon d’autres cas une singularité peut être caractérisée par une zone comportant un gradient de couleurs ou d’intensité. Celles-ci pouvant être dans le domaine de la lumière visible ou dans d'autres parties du spectre comme le spectre UV ou le spectre infrarouge, i.e. multispectrale / hyperspectral.

La figure 1 illustre une représentation d’un corps d’un individu en 3D. Cette image peut correspondre à la première image IMi ayant une résolution dermoscopique et pouvant être zoomée directement pour obtenir une image d’une singularité SGi à l’échelle dermoscopique. Alternativement, cette représentation permet, au moyen d’un ordinateur par exemple, de sélectionner une zone du corps telle que la zone Zi représentant le bras du corps.

Selon un exemple, une commande CR permet à un utilisateur d’un ordinateur d’orienter l’image 3D du corps selon la vue qu’il souhaite afficher et exploiter. Il peut ainsi visualiser par exemple le dos ou le torse d’un corps. A cet effet, une commande permet de faire pivoter le corps selon un axe de révolution ici défini par l’axe parallèle à l’axe selon lequel le corps s’étend selon sa plus grande dimension. Selon un exemple, d’autres commandes permettent d’orienter le corps autour d’un autre axe, il peut s’agir d’un axe de roulis, de tangage ou de lacet. Selon un exemple, une translation peut être également définie. Si l’image 3D est la première image reçue ayant une résolution dermoscopique, cette dernière peut être manipulée de sorte à permettre un zoom sur une image à l’échelle dermoscopique.

Les commandes utilisateurs permettent de générer des consignes numériques CONS2 permettant de déplacer, modifier, zoomer, orienter ou encore coordonner l’affichage des deux images entre elles. Différentes commandes numériques CDN1 pour déplacer une zone d’intérêt, CDN2 pour orienter l’avatar selon au moins un axe, CDN3 pour grossir une zone d’intérêt, CDN4 pour sélectionner un marqueur positionné dans la première image ou la seconde image relatif à une singularité pour afficher une image extraite de la première image à une échelle dermoscopique peuvent aboutir à générer différentes opérations sur l’image affichée ou sur les deux images affichées dans chaque représentation.

La sélection d’un marquer d’intérêt ou d’un symbole de l’image par un utilisateur permet de générer une consigne numérique CON1 interprétable par un ordinateur et permettant de générer une fenêtre dans laquelle une image de résolution dermoscopique extraite de la première image ou de la seconde image est affichée à l’échelle dermoscopique.

Selon un exemple de réalisation, une commande CDNo permet d’agrandir une zone affichée à l’écran du corps humain. Ainsi, une fois une vue choisie, par exemple celle de la face avant d’un individu Ui , il est possible de zoomer sur une partie seulement du corps, tel que le torse ou le bras. Alternativement, il est possible de sélectionner une zone du corps afin de générer une représentation dans une autre fenêtre.

La représentation peut être une vue 2D ou 3D. selon l’exemple de la figure 1 , il s’agit d’une représentation tridimensionnelle, mais une représentation 2D pourrait être alternativement choisie. Cette représentation 2D peut concerner l’entièreté du corps ou une partie du corps. Afin d’obtenir une représentation 2D d’une surface 3D, une découpe selon des lignes de délimitation permet de générer un aplat d’une portion de la surface 3D pour sa représentation à l’écran.

L’invention comprend donc une première représentation permettant une navigation au sein de la surface du corps humain par des opérations de modification de l’orientation, de sélection de zones ou de grossissement, etc.

Selon un premier exemple, la représentation du corps humain telle que celle de la figure 1 , est un avatar indépendant de la représentation fidèle du corps d’un individu, elle est notée MODi.

Selon un second exemple, la représentation du corps humain telle que celle de la figure 1 , est un avatar fidèle du corps d’un individu MODo qui a été scanné à partir d’un dispositif d’acquisition d’images. L’avatar peut être représenté et orienté dans un repère Ro lié au corps de l’individu. Lorsque cette représentation est réalisée, elle s’appuie sur l’exploitation d’un modèle 3D d’un corps humain dont chaque point de la surface est indexé dans un repère Ro lié au modèle de corps. L’invention est compatible des dispositifs d'imagerie d’un corps entier qui peuvent produire des images macroscopiques du corps humain à partir desquelles un modèle de corps fidèle peut être réalisé.

Dans les deux cas de figure, une pluralité d’images dermoscopiques est enregistrée dans une mémoire afin de produire une image unique IMi de toute ou partie du corps humain. Le procédé de l’invention peut débuter à l’étape de réception de la première image IMi. Toutefois, une étape de détection de singularités cutanées à la surface du corps scanné peut être effectuée au préalable. Cette opération vise à associer à chaque singularité une position d’un modèle de corps MODo. Ainsi, lorsque la représentation 3D exploite directement le modèle 3D, les positions des singularités indexées sur le modèle de corps MODo correspondent aux positions des marqueurs générés à la surface du corps humain représenté et permettant d’accéder aux images dermoscopiques.

La position des singularités peut également être indexée sur une image 2D dans un repère noté Ri.

Lorsqu’un avatar 3D est généré pour représenter un modèle standard d’un corps humain, les marqueurs générés à la surface de cette représentation sont générés à des positions correspondantes aux positions indexées sur le modèle de corps MODo qui est fidèle au scan obtenu du corps d’un individu. Une matrice de transformation de coordonnées peut être employée pour générer des coordonnées d’un modèle de corps fidèle vers un modèle de corps standard.

Selon un mode de réalisation, des descripteurs sont associés à chaque singularité.

Selon un mode de réalisation, les coordonnées des points d’un modèle 3D fidèle d’un corps humain d’un individu sont transposées au sein d’une représentation 2D à partir d’une représentation standard d’un corps humain à partir d’une matrice de transformation des coordonnées.

Selon un mode de réalisation, le système de l’invention comprend un actionneur tel qu’une souris d’un ordinateur et un pointeur ou une commande tactile permettant d’effectuer des opérations sur l’avatar telle qu’une rotation CR notée sur la figure 1 .

La figure 2 représente deux représentations de deux images IMi, IM2 d’une même partie d’un corps humain d’un même individu U1 acquise à deux dates différentes. Les images IM 1 et IM2 sont préférentiellement affichées avec une même échelle et selon une même orientation. Elles correspondent à deux représentations 2D d’une portion du corps tel que par exemple le torse d’un individu. Selon un mode de réalisation, la représentation 2D de la portion du corps humain est directement extraite d’un modèle de corps MODo fidèle d’un corps d’un individu issu d’une opération de scan dudit individu. Dans ce dernier cas, si les images sont extraites d’un modèle de corps ayant évolué dans le temps, par exemple parce qu’une durée longue sépare les deux acquisitions et que l’individu a suivi un régime, alors les deux images IMi et IMi’ sont différentes. En d’autres termes, le modèle de corps Mo est différent ou la première image est différente dès lors que des pixels de la peau ont changé ou que des singularités peuvent également avoir changé.

Toutefois, dans la suite de la description, on considère que les images IMi et IM2 de chaque représentation désignent des parties équivalentes du corps humain.

Chaque représentation d’une portion du corps humain comprend une image IM1 et une pluralité de symboles Si, S2 indiquant qu’une pluralité de singularités SG1 associée à la pluralité de symboles appartient à une classe d’un classifier donnée. A titre d’exemple, il peut s’agir d’un grain de beauté, d’un bouton, un angiome, une cicatrice, etc., ou d’un type particulier de chacun de ses éléments. Typiquement, il peut y avoir différentes classes de lésions cutanées et différentes classes de cicatrices.

Le procédé de l’invention permet de récupérer une information d’un classifier déjà existant afin d’affecter la classe à la singularité détectée et positionnée dans l’image IM1 ou IM2. A cet effet, un réseau de neurones peut être configuré selon un entraînement donné afin de produire en sortie un classifier permettant de classifier les images données en entrée du réseau. Cette étape comme mentionnée est préférentiellement une étape préalable au procédé de l’invention.

Les symboles peuvent être des formes géométriques telles que des cercles, des ovales, des carrés, des triangles, des hexagones, des étoiles, etc.

Chaque symbole peut également comporter une couleur, la couleur peut également être choisie automatiquement pour être associée à une classe d’un classifieur. Un intérêt est de permettre un affichage intuitif pour un utilisateur d’une représentation d’une portion d’un corps humain indiquant des zones d’intérêt tout en qualifiant la zone d’intérêt. La zone d’intérêt dans ce cas peut se référer à une singularité positionnée à une position de la première image IM1 et/ ou de la seconde image IM2. Selon un mode de réalisation, chaque singularité est représentée par un marqueur 5 indépendant de la classification de l’image dermoscopique qui lui est associée.

La figure 2 représente au sein de chaque image une pluralité de marqueurs 5 et une pluralité de symboles Si, Si’, S2, S2’ sur chaque représentation.

Dans le cas de la figure 2, les deux représentations correspondent à deux dates différentes d’acquisition DATE-i, DATE2 des premières et secondes images IM1, IM2 ayant une résolution dermoscopique du corps humain. Elles peuvent correspondre à deux visites d’un patient espacées d’un délai de 6 mois par exemple.

Dans la représentation PRES1, deux symboles 14 et 16 sont identifiables par un triangle qui peut indiquer que les singularités sont de mêmes types. Ces symboles ne semblent pas avoir changé de classe dans la seconde représentation PRES2 compte tenu que leur géométrie et leur couleur n’a pas changé. La couleur est ici interprétée par la forme des tirets formant le contour de la forme géométrique.

On note que les quatre symboles 10 12, 13 et 15 sont identifiables par un cercle et peuvent indiquer que les singularités sont de mêmes types et donc d’un autre type que les singularités associées aux symboles 14 et 16. Certains de ces symboles ont changé dans la seconde représentation PRES2. En effet, le symbole 12 est devenu le symbole 12’ et semble avoir changé de couleur. On rappelle que les lignes formant le contour de la forme représentent ici la couleur. La forme du symbole 10 a changé de géométrie. On note que les symboles 15, 13 et 11 n’ont, eux, ni changé de formes géométriques ni changé de couleurs.

Ainsi, en un coup d’œil, un médecin peut, par exemple, attirer son attention sur des singularités permettant un examen approfondi.

Dans le cas présent, certaines singularités peuvent avoir une malignité du fait d’une évolution du contour de la forme de la singularité ou du fait qu’ils ont été changés de classes dans le classifier ou inversement.

Le procédé de l’invention permet un gain de temps dans l’examen d’un patient et une diminution des erreurs humaines par exemple chez les sujets comportant de nombreuses singularités. La figure 3 représente une représentation PRESi d’une image à laquelle est superposée des marqueurs 5 et des symboles Si , Si’. La figure 3 représente également une image dermoscopique IMDi prise à une date DATE-i. Cette image dermoscopique peut être affichée dans une fenêtre consécutivement à une action d’un utilisateur sur la première image IMi de la première représentation PRESi. Par exemple, un clic à partir d’un pointeur d’une souris permet d’activer l’affichage d’une fenêtre dans laquelle est affichée une image dermoscopique IMDi. Cette image permet de représenter une singularité associée au symbole 11 de l’image IMi. L’image dermoscopique IMDi affichée est par exemple extraite de l’image IMi selon une taille prédéfinie d’un cadrage prédéfini autour de la position de la singularité. Selon un exemple, le cadrage prend en compte la géométrie du contour de la singularité de manière à afficher l’intégralité de la singularité. Ainsi la taille du grossissement de la singularité peut être adaptée à une dimension définie d’un cadrage.

La figure 4 illustre la représentation PRESi dans laquelle l’image IMi est affichée consécutivement à une action d’un opérateur au niveau du symbole 12 superposée à l’image IMi. Une première image dermoscopique IMDi est affichée dans une première fenêtre et automatiquement une seconde image dermoscopique IMD2 extraite d’une seconde image IM2 acquise à une date antérieure à DATE1, par exemple à DATEo est affichée dans une seconde fenêtre au voisinage de la première fenêtre. L’affichage de la seconde fenêtre peut être automatique lorsque la forme ou la couleur du symbole est associée à un changement de la singularité d’une même position. Il peut s’agir également d’un nouveau symbole associé à une singularité n’ayant pas été classée précédemment et nouvellement classée dans une classe donnée du classifier lors de la dernière acquisition, c’est-à-dire à la date la plus récente.

Ainsi, la caractéristique géométrique ou colorimétrique d’un symbole associé à une image dermoscopique d’une singularité donnée peut être affectée du fait d’une classe attribuée à ladite image dermoscopique, ou du fait d’un changement de classe attribuée à ladite image dermoscopique, ou à l’affectation d’une première classe du classifieur à ladite image dermoscopique ou encore du fait du résultat d’une opération mathématique réalisée sur des caractéristiques calculées à partir de deux singularités d’une même position considérée à deux dates différentes. Un avantage de l’invention est de produire une sortie d’un système au moyen d’une interface proposant d'afficher des cartes de peau par partie ou du corps entier du niveau macroscopique jusqu'au niveau dermoscopique avec un grossissement allant de x10 à x30. Pour passer d’une vue à l’autre, une fonction de zoom peut être activée.

La figure 5 représente un exemple de réalisation d’un système de l’invention comportant un afficheur 20 permettant d’afficher une première image et une seconde image produite par le procédé de l’invention. La première image, comme la seconde image, peut être reconstruite à partir d’images acquises par un dispositif d’acquisition d’image 6. Dans le cas de la figure 5, il s’agit d’un bras robot mobile 6 et pilotable grâce à un calculateur de trajectoires. Dans ce cas de figure, l'utilisateur Ui est allongé sur une table 22. Selon un autre mode de réalisation, le dispositif d’acquisition 6 peut être une cabine comportant des optiques fixes ou mobiles dans laquelle un individu Ui se positionne par exemple en position debout.

La figure 5 représente également un autre dispositif d’acquisition 5 disposé dans une salle permettant d’imager la surface du corps d’un patient. Ce dispositif est associé à un repère R’. Ce dispositif peut par exemple permettre d’imager une représentation macroscopique du corps humain et le dispositif optique disposée en partie distale du bras robot est par exemple configuré pour imager des zones du corps avec une résolution dermoscopique.

La première image et la seconde image peuvent être reconstruites par l’agrégation d’images acquises par un dispositif d’acquisition d’images à résolution dermoscopique. Selon une autre méthode, une image composite est produite à partir de la sélection des pixels les plus nets de chaque image acquise du corps humain. Selon un mode de réalisation, les images directement acquises par le dispositif de prises d’images peuvent être transmises à un calculateur local ou distant pour alimenter un réseau de neurones entrainé avec des images de la peau. Un avantage est de permettre de déterminer des classes des images acquises et de les réattribuer à des singularités positionnées dans une image reconstruite à partir de l’ensemble des images.

Selon un mode de réalisation, une singularité est identifiée dès lors qu’une image est classée dans un groupe donné de classes. Par exemple, le groupe de classes formant les singularités peut comprendre la classe des grains de beauté, la classe des cicatrices et la classe des carcinomes. D’autres exemples de classes peuvent définir la classe des singularités.

Chaque image de singularité avec une résolution dermoscopique est indexée sur un modèle 3D du corps humain d’un individu. Selon un mode de réalisation, la position de la singularité est associée à cette indexation. A titre d’exemple, un point de la surface formée par la forme de la singularité peut être utilisé pour définir la position de la singularité sur le modèle 3D. Un autre exemple est le barycentre de la forme délimitant la singularité. Selon un autre exemple, il s’agit du centre du cercle moyen approchant la surface de la singularité.

Chaque singularité peut avoir une position dans l’image 2D acquise par l’optique et une position dans l’image 3D du corps humain. Une image d’une singularité peut être selon les modes de réalisation :

■ une image 2D dans le spectre visible ;

■ une image multispectrale ou hyperspectral ;

■ une image 3D ;

■ une image ultrason, de microscopie confocale

■ une image de biopsie de la singularité ;

■ une combinaison de toutes les options ci-dessus

Chaque singularité définit les nœuds d’un graphe et comprend à cette fin un identifiant dans le graphe. Selon un mode de réalisation, le graphe des singularités comprend une pluralité de nœuds, chaque nœud étant relié à ses nœuds voisins selon une distance topologique définie sur la surface du modèle 3D. On peut considérer que des nœuds voisins sont géométriquement proches selon une métrique définie, par exemple selon une distance euclidienne.

Lorsque le graphe des singularités est défini avec les nœuds comme position des singularités et les arêtes comme lien entre des nœuds voisins, il est possible de construire des vecteurs caractéristiques pour chaque nœud et/ou chaque arrête du graphe. Ces vecteurs caractéristiques peuvent être définis comme des « embeddings » dans la terminologie anglo-saxonne et dans la terminologie technique appliquée au GNN, désignant dans la terminologie anglosaxonne « Graph neural Network ». Les embeddings permettent d’encoder des informations pour chaque nœud et/ ou arête en encodant une donnée caractéristique du voisinage du nœud et/ou de l’arête.

Nous décrivons un mode de réalisation, dans lequel un embedding que nous nommerons « vecteur caractéristique » dans la suite de la description, est calculé pour chaque nœud.

Un intérêt de la construction d’un vecteur caractéristique est d’encoder chaque nœud avec une donnée propre, telle qu’une valeur pouvant former un identifiant du nœud ou un attribut de ce dernier. Le vecteur caractéristique d’un nœud peut être calculé par une méthode d’apprentissage machine dans laquelle en entrée on fournit l’image d’une singularité et en sortie un vecteur caractéristique est généré. Le modèle d’apprentissage machine est par exemple entrainé avec un couple d’images donné et la mise en œuvre de deux réseaux de neurones qui entraînent leurs coefficients selon la réponse d’une fonction de coût qu’on cherche à minimiser. Cette méthode permet d’entrainer un modèle d’apprentissage machine qui sera exploité pour générer un vecteur caractéristique à partir d’une image. Un intérêt est d’utiliser le vecteur caractéristique d’un nœud comme point de comparaison pour quantifier la similarité entre deux nœuds.

Selon un mode de réalisation, l’utilisation du modèle entrainé, permet de définir une fonction de similarité pour calculer une distance entre des vecteurs caractéristiques entre deux nœuds du graphe. Le modèle est alors entrainé de sorte que la distance entre deux images similaires soit minimale lorsque les images des singularités sont identiques et soit maximale lorsque les images sont très différentes.

Le modèle d’apprentissage machine est préférentiellement entrainé avec un grand nombre d’images de singularités différentes de manière à construire des vecteurs caractéristiques discriminants et permettant de restituer une fonction de distance performante.

L’inférence du modèle ainsi entrainé permet de générer un vecteur caractéristique donné pour une image d’une singularité d’un nœud donné. Ce vecteur caractéristique peut alors définir un attribut ou un identifiant du nœud considéré du graphe de singularités.

Selon un mode de réalisation, le vecteur caractéristique d’un nœud est calculé en tenant compte des nœuds voisins. Ainsi en chaque nœud, le vecteur caractéristique encode une information, voire une distance selon une métrique donnée, considérée entre deux nœuds voisins. Il est alors possible de calculer des valeurs des vecteurs caractéristiques d’un nœud à partir d’une pluralité de nœuds voisins afin de calculer par itération un vecteur caractéristique restituant localement le niveau de similarité avec les nœuds voisins. Cette méthode peut être appliquée à chaque nœud du graphe de singularités afin de générer un ensemble de vecteurs caractéristiques d’un graphe. Un avantage est d’encoder l’ensemble des informations relatives à un graphe comme sa structure et ses relations en considérant des vecteurs caractéristiques encodant localement la topologie du graphe en un nœud.

Un intérêt des vecteurs caractéristiques, également appelés « embeddings », est de construire une représentation numérique d’un graphe qui peut être utilisé par la suite pour entraîner des algorithmes d’apprentissage machine. Dans le cas de la présente invention, les vecteurs caractéristiques ont l’avantage de permettre de comparer deux graphes de singularités d’un même individu duquel on a généré deux modèles de corps à deux dates différentes. Un des objectifs de l’invention est de représenter dans un même référentiel les deux modèles de corps et plus particulièrement les images de qualité dermoscopique en chaque point du modèle de corps. Or les modèles de corps pris à différentes dates d’un même individu peuvent avoir été acquis dans des conditions différentes, ils peuvent être désorientés l’un de l’autre selon les 6 coordonnées (3 rotations, 3 translations) ou encore ils peuvent être différents parce que l’individu a changé, par exemple il peut avoir grossi ou maigri ou avoir eu une opération dans l’intervalle des deux dates modifiant ainsi une portion du graphe.

En outre, un intérêt d’utiliser les singularités comme nœuds d’un graphe pour faire se correspondre deux graphes issus de deux modèles de corps d’un même individu est de s’affranchir de la position de nœuds « classiques » qui seraient calculés suite à la génération d’un modèle de corps en 3D. En effet, dans le cas d’un nuage de points généré à partir d’une opération de scan d’un corps définissant un graphe, la position des nœuds serait considérée comme arbitraire lors de la reconstruction du modèle de corps. Les singularités permettent de s’affranchir d’une position arbitraire des nœuds considérés à la surface du corps, notamment par ce qu’elles constituent une certaine forme d’invariance chez l’individu, aux nouvelles singularités près. Ainsi, un ensemble de vecteurs caractéristiques est calculé pour chaque nœud du graphe des singularités.

Selon un premier exemple, l’algorithme de calcul d’un vecteur caractéristique ne prend en considération uniquement des données d’une singularité, telle que son image.

Selon un autre exemple, l’algorithme de calcul des vecteurs caractéristiques est initié par le calcul d’un vecteur caractéristique initial pour un nœud choisi, puis la donnée ou la valeur définissant le vecteur caractéristique du nœud initial est propagée à des nœuds voisins. Chaque nœud voisin calcule à son tour son propre vecteur caractéristique et propage à son tour cette valeur. Cette étape peut être réalisée sur plusieurs itérations afin de générer un ensemble de vecteurs caractéristiques pour l’ensemble des nœuds du graphe des singularités. Cette technique repose sur un passage d’information entre les nœuds du graphe afin de calculer l’ensemble des vecteurs caractéristiques du graphe des singularités. On comprend que lors d’un calcul d’un vecteur caractéristique d’un nœud, dit nœud destinataire, ce dernier prend en compte des données calculées par ses voisins afin de calculer son propre vecteur caractéristique. Les opérations réalisées pour calculer un vecteur caractéristique d’un nœud à partir de ses propres données et des données des nœuds voisins peuvent comprendre des opérations de type « moyenne », « somme », « maximum », etc. Le calcul d’un vecteur caractéristique pour un nœud est par exemple calculé à la suite de plusieurs itérations, c’est-à-dire plusieurs passages d’information entre des nœuds voisins d’un nœud donné de manière à encoder des informations locales du nœud donné. La transmission d’informations est donc répétée à plusieurs reprises pour permettre à chacun des nœuds d’intégrer l’information de ses voisins et ainsi permettre de capturer de plus en plus d’informations sur la structure du graphe.

Lorsque deux graphes de singularités sont comparés entre eux, la comparaison des vecteurs caractéristiques peut être réalisée au moyen d’une fonction mathématique permettant d’évaluer la distance entre des graphes de singularités.

Afin de réduire les calculs, la comparaison entre deux graphes de singularités peut être réalisée entre deux graphes réduits afin de converger rapidement au départ et d’ajuster dans un second temps. Pour cela la dimension des graphes peut être réduite.

Un intérêt de cette méthode de comparaison des graphes de singularités est de supporter des déformations entre les deux graphes. La fonction de comparaison met en œuvre préférentiellement une ou des fonctions non linéaires pour réaliser l’opération de comparaison, également appelée « matching ».

Selon un exemple, le procédé de l’invention comprend une étape d’optimisation permettant de modifier l’un des deux graphes pour le faire correspondre à l’autre graphe à partir d’une fonction de coût utilisée à la fois entre les positions de chaque nœud du graphe et également entre les vecteurs caractéristiques de chaque nœud du graphe. Cette méthode permet de faire se correspondre les singularités de chaque graphe. Cette méthode permet d’être particulièrement performante pour supporter des changements locaux entre les deux graphes tout en faisant se correspondre localement des zones proches entre elles. La méthode est robuste également à des changements de singularités dans un des deux graphes, des apparitions de nouvelles singularités dans un des deux graphes ou encore l’absence de singularité dans un des deux graphes.

Cette méthode est notamment plus performante qu’une méthode de transformation rigide du fait qu’elle supporte des changements des modèles dans le temps.

La méthode de comparaison des graphes pour les faire se correspondre permet une approche globale du graphe et une approche locale pour converger vers une superposition des nœuds, ou de la majorité des nœuds aux nouvelles singularités apparues près et aux singularités ayant disparu près.

L’approche globale permet de mettre en œuvre une fonction de coût globale en considérant l’ensemble des nœuds du graphe. La matrice d’adjacence peut être utilisée à cet effet. Une distance, par exemple euclidienne, peut être calculée entre les deux graphes de singularités afin d’optimiser une fonction de coût basée sur la distance topologique entre les nœuds de deux graphes. La fonction cherche alors à minimiser la fonction de distance selon au moins un critère. Selon un exemple, une première distance est définie entre les nœuds de chaque graphe, par exemple, une distance euclidienne entre des points. Une seconde distance peut également être définie entre les vecteurs caractéristiques des nœuds. Enfin une troisième distance peut être définie entre des attributs ou propriétés des nœuds du graphe. Les attributs peuvent correspondre à des descripteurs d’un nœud ou à une autre donnée telle qu’une annotation ou une classe. Une pluralité de distances peut être définie pour calculer une proximité entre les nœuds de deux graphes de singularités.

Notons que lorsque les vecteurs caractéristiques sont utilisés pour calculer une distance, il peut être discriminé les attributs ayant servi à calculer les vecteurs caractéristiques de ceux qui n’ont pas contribué à calculer ces derniers. Ainsi la seconde et la troisième distance ne prennent pas en compte les mêmes critères.

Selon un mode de réalisation, les distances peuvent être plus ou moins pondérées les unes vis-à-vis des autres dans l’algorithme de comparaison et de mise en correspondance des deux graphes de singularités de manière à optimiser les calculs et obtenir une grande précision de correspondance. Cette pondération peut par exemple être mise en œuvre pour renforcer la distance euclidienne dans un premier temps entre les positions des points vis-à-vis d’une autre distance qui sera renforcée dans un second temps pour améliorer la convergence de l’exécution de l’algorithme vers la solution ou pour améliorer la précision de la correspondance des deux graphes . Selon un autre exemple, la pondération peut permettre d’exploiter dans de meilleures proportions la distance entre vecteurs caractéristiques de deux graphes vis-à-vis des descripteurs d’une singularité ou de la distance euclidienne entre les positions de points des deux graphes.

Autrement dit, la distance utilisée dans ce dernier cas peut être exprimée comme une combinaison de différentes distances entre les nœuds du graphe des singularités, elle peut être exprimée ainsi : d = a di (Gi, G2)+ b d 2 (Gi, G2) + c ds(Gi, G2), où :

■ di est une distance euclidienne permettant de mesurer une distance topologique sur la surface 3D du corps humain entre des nœuds. Une autre distance peut également être utilisée que la distance euclidienne ; ■ d2 une distance quelconque définie par une métrique sur un espace, telle qu’une distance de Minkowski ou de Tchebychev, ou tout autre type de distance telle qu’une distance basée sur la fonction « similarité cosinus » ; d2 permet par exemple de calculer la distance entre des vecteurs caractéristiques (embeddings) de différents nœuds ;

■ ds une distance quelconque définie par une métrique sur un espace, telle qu’une distance de Minkowski ou de Tchebychev, ou tout autre type de distance telle qu’une distance basée sur la fonction « similarité cosinus » ; ds permet par exemple de calculer la distance entre des descripteurs de différents nœuds ;

■ a, b et c sont des coefficients ;

■ Gi : le graphe des singularités généré à un instant ti ;

■ G2 : le graphe des singularités généré à un instant t2. d est la fonction qu’on cherche à optimiser.

Selon un autre exemple, la distance d peut être exprimée sous la forme d’une fonction non linéaire de di , d2, ds.

Selon un exemple, le vecteur des coefficients a, b et c est optimisé au cours de l’opération de mise en correspondance des graphes.

Selon un exemple, si les vecteurs caractéristiques encodent directement ou indirectement les descripteurs, seule la distance d2 peut être utilisée sans avoir à utiliser la distance ds.

Selon un mode de réalisation, une donnée supplémentaire à celle des positions des nœuds, telle que la classe de l’image de la similarité peut être utilisée pour définir une distance ds. Cette distance ds peut définir dans ce cas une donnée discrète 0 ou 1 lorsque la distance entre deux nœuds est calculée. La distance d3 peut être utilisée avec la distance di par exemple avec ou sans la distance d2.

Selon un mode réalisation, l’optimisation de la fonction de coût de la distance entre les deux graphes permet de définir les paramètres d’une transformation d’un premier graphe pour le faire se correspondre à un second graphe. La transformation de l’ensemble du graphe peut correspondre à l’ensemble des transformations de l’ensemble des nœuds du graphe de similarité. L’invention comprend l’application de cette transformation calculée afin de permettre un affichage de portions semblables des deux graphes et plus particulièrement des nœuds de chaque graphe, c’est-à-dire des images de singularités. L’affichage des images des singularités extraites de deux nœuds se correspondant dans chacun des graphes est réalisé préférentiellement côte à côte.

Selon un exemple de réalisation, les paires de nœuds se correspondant de chacun des deux graphes sont associées. L’association peut être réalisée au moyen d’un index, d’une table de correspondance, d’une base de données ou encore d’un fichier de données. Les données d’association des nœuds peuvent alors être exploitées afin de représenter des nœuds associés entre eux.

Selon un mode de réalisation, l’algorithme de mise en correspondance des graphes comprend une phase d’initialisation, qui comprend un recalage initial des graphes. Ce recalage initial des graphes peut être réalisé dans un premier temps par une transformation rigide qui vise à optimiser un critère de distance entre les nœuds permettant de rapprocher les graphes dans l’espace. Selon un exemple, cette phase d’initialisation peut être utilisée pour homogénéiser les dimensions des graphes. Selon un autre exemple, cette phase d’initialisation comprend la réduction d’un graphe afin qu’il soit topologiquement contenu dans l’autre graphe. L’algorithme procédant par itération à une transformation homothétique tout en optimisant la fonction distance.

Selon un exemple de réalisation, un graphe de similarité comprend entre 50 et 600 nœuds. Selon un mode de réalisation, le graphe de similarité comprend entre 150 et 500 nœuds. La dimension du nœud dépend généralement de l’individu. Toutefois, un intérêt est que la dimension du graphe permet d’appliquer des algorithmes robustes tout en ayant des temps de calculs relativement courts compte tenu que la dimension du graphe reste petite.