Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR ADJUSTING AT LEAST ONE MEDICAL PHOTOGRAPH AND DEVICE FOR IMPLEMENTING SAID METHOD
Document Type and Number:
WIPO Patent Application WO/2020/260844
Kind Code:
A1
Abstract:
The method (100) for adjusting at least one dental medical photograph comprises: - a step (105) of acquiring at least one of said photographs; - a step (110) of classifying at least one acquired photograph; - a step (115) of analysing an image of at least one classified photograph in order to detect at least one anatomic reference in each of said classified photographs, the analysis step being carried out as a function of the classification of said photograph; - a step (120) of estimating parameters of a geometric transformation to be applied to at least one analysed photograph as a function of at least one detected anatomic reference and of a model of the position of the teeth; and - a step (125) of geometric transformation of at least one analysed photograph according to the estimated parameters.

Inventors:
BEN-HAMADOU HACHRAF (FR)
REKIK AHMED (TN)
SETBON HUGO (BE)
Application Number:
PCT/FR2020/051131
Publication Date:
December 30, 2020
Filing Date:
June 29, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
DEEPSMILE TECH (FR)
International Classes:
G16H30/40
Other References:
RAPHAËL DESTREZ ET AL: "Automatic registration of 3D dental mesh based on photographs of patient's mouth", COMPUTER METHODS IN BIOMECHANICS AND BIOMEDICAL ENGINEERING: IMAGING & VISUALIZATION, vol. 7, no. 5-6, 26 December 2018 (2018-12-26), GB, pages 604 - 615, XP055733614, ISSN: 2168-1163, DOI: 10.1080/21681163.2018.1519849
BARTOLI A: "Groupwise Geometric and Photometric Direct Image Registration", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE COMPUTER SOCIETY, USA, vol. 30, no. 12, 1 December 2008 (2008-12-01), pages 2098 - 2108, XP011246648, ISSN: 0162-8828
KAIMING HE ET AL: "Deep Residual Learning for Image Recognition", 2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 1 June 2016 (2016-06-01), pages 770 - 778, XP055536240, ISBN: 978-1-4673-8851-1, DOI: 10.1109/CVPR.2016.90
HASSAN KHASTAVANEH ET AL: "Face image quality assessment based on photometric features and classification techniques", 2017 IEEE 4TH INTERNATIONAL CONFERENCE ON KNOWLEDGE-BASED ENGINEERING AND INNOVATION (KBEI), 1 December 2017 (2017-12-01), pages 0289 - 0293, XP055667949, ISBN: 978-1-5386-2640-5, DOI: 10.1109/KBEI.2017.8324988
KAIMING HEXIANGYU ZHANGSHAOQING RENJIAN SUN: "Deep Residual Learning for Image Récognition", THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION (CVPR, 2016, pages 770 - 778, XP055536240, DOI: 10.1109/CVPR.2016.90
JONATHAN LONGEVAN SHELHAMERTREVOR DARRELL: "Fully Convolutional Networks for Semantic Segmentation", THE IEEE CONFÉRENCE ON COMPUTER VISION AND PATTERN RÉCOGNITION (CVPR, 2015, pages 3431 - 3440
ZHANPENG ZHANGPINGLUOCHEN CHANGELOYXIAOOU TANG: "Facial Landmark Détection by Deep Multi-task Learning", ECCV 2014 : COMPUTER VISION - ECCV 2014, 2014, pages 94 - 108, XP055225601, DOI: 10.1007/978-3-319-10599-4_7
Attorney, Agent or Firm:
CASSIOPI (FR)
Download PDF:
Claims:
REVENDICATIONS

1 . Procédé (100) d’ajustement d’au moins une photographie médicale dentaire, caractérisé en ce qu’il comporte :

- une étape (105) d’acquisition d’au moins une dite photographie,

- une étape (1 10) de classification d’au moins une photographie acquise,

- une étape (1 15) d’analyse d’image d’au moins une photographie classifiée pour détecter au moins un repère anatomique dans chaque dite photographie classifiée, l’étape d’analyse étant réalisée en fonction de la classification de ladite photographie dentaire,

- une étape (120) d’estimation de paramètres d’une transformation géométrique à appliquer à au moins une photographie analysée en fonction d’au moins un repère anatomique détecté et d’un modèle de position des dents et

- une étape (125) de transformation géométrique d’au moins une photographie analysée selon les paramètres estimés.

2. Procédé (100) selon la revendication 1 , dans lequel :

- au moins un repère anatomique est une dent,

- des coordonnées prédéterminées sont associées à ladite dent dans le modèle de position des dents et

- les paramètres de la transformation géométrique à appliquer sont déterminés en fonction des coordonnées estimées du centroïde de l’au moins une dent détectée et des coordonnées prédéterminées du centroïde de la dent correspondante dans le modèle de position des dents.

3. Procédé (100) selon l’une des revendications 1 ou 2, qui comporte une étape de modification du modèle de position des dents comportant :

- une étape d’identification d’une dent présente sur le modèle de position des dents et non repérée sur la photographie dentaire,

- une étape de suppression sur le modèle de position des dents de la dent correspondante à la dent non repérée sur la photographie dentaire.

4. Procédé (100) selon l’une des revendications 1 à 3, dans lequel les paramètres d’une transformation géométrique à appliquer sont déterminés pour minimiser la distance entre le centroïde d’au moins une dent détectée sur la photographie et le centroïde de la dent correspondante sur le modèle de position des dents.

5. Procédé (100) selon l’une des revendications 1 à 4, dans lequel l’étape (1 15) d’analyse d’image d’au moins une photographie classifiée pour détecter au moins un repère anatomique comporte :

- une étape d’identification des centroïdes d’une pluralité de dents

et dans lequel l’étape (120) d’estimation de paramètres d’une transformation géométrique à appliquer comporte :

- une étape de détermination d’une courbe par application d’une fonction d’ajustement aux centroïdes identifiés et

- l’estimation d’une transformation géométrique en fonction de la courbe déterminée. 6. Procédé (100) selon la revendication 5, dans lequel la transformation géométrique comporte une rotation et dans lequel l’angle de rotation est déterminé par une estimation de la droite passant par les centroïdes des dents de la mâchoire supérieure ou de la mâchoire inférieure et par une estimation de l’inclinaison de cette droite par rapport à l’horizontale.

7. Procédé (100) selon l’une des revendications 1 à 6, dans lequel la transformation géométrique est une transformation affine.

8. Procédé (100) selon l’une des revendications 1 à 7, qui comporte :

- deux étapes distinctes d’acquisition d’une première photographie puis d’une deuxième photographie du même patient et

- une deuxième étape d’analyse d’image visant à identifier une caractéristique de la première photographie

et dans lequel une transformation géométrique à appliquer à la deuxième photographie est déterminée en fonction de la caractéristique identifiée sur la première photographie.

9. Procédé (100) selon la revendication 8, dans lequel la caractéristique identifiée sur la première photographie est la présence d’un miroir.

10. Procédé (100) selon la revendication 8, dans lequel la caractéristique identifiée sur la première photographie est une dent manquante.

1 1 . Procédé (100) selon l’une des revendications 1 à 10, qui comporte :

- une étape (130) de détection d’au moins une valeur de paramètre photométrique d’au moins une photographie et

- une étape (135) d’ajustement photométrique d’au moins une photographie médicale en fonction d’au moins une valeur de paramètre photométrique détecté.

12. Procédé (100) selon la revendication 1 1 , dans lequel l’étape (130) de détection est réalisée sur au moins deux photographies et produit deux valeurs de paramètres photométriques distinctes, le procédé comportant, de plus, une étape (140) de calcul d’une valeur de paramètre d’ajustement photométrique en fonction de chaque valeur de paramètre détectée, l’étape (135) d’ajustement étant réalisée en fonction d’au moins une valeur de paramètre calculée.

13. Procédé (100) selon l’une des revendications 1 1 ou 12, dans lequel l’étape (135) d’ajustement photométrique comporte une amélioration de la netteté de la photographie.

14. Procédé (100) selon la revendication 13, qui comporte une étape d’identification d’une zone d’intérêt sur la photographie, correspondante aux dents ou à la gencive, et dans lequel la netteté est améliorée seulement sur la zone d’intérêt.

15. Procédé (100) selon l’une des revendications 1 à 14, qui comporte :

- une étape d’identification de pixels correspondants à un artefact dû à une mauvaise condition de capture de la photographie,

- une étape d’estimation des pixels qui auraient été obtenus en l’absence de ladite condition de capture de la photographie et

- une étape de remplacement pixels identifiées par les pixels estimés correspondants.

16. Procédé (100) selon l’une des revendications 1 à 15, qui comporte une étape (145) d’association d’au moins une photographie avec un indicateur d’étape de protocole de photographie médicale.

17. Procédé (100) selon la revendication 16, qui comporte une étape (150) de mesure de la qualité d’au moins une photographie en fonction de l’indicateur d’étape de protocole associé et une étape (155) de fourniture d’un indicateur de la qualité mesurée pour au moins une photographie.

18. Procédé (100) selon l’une des revendications 1 à 17, dans lequel au moins un repère anatomique détecté est :

- un nez,

- un œil,

- au moins une dent ou

- une lèvre.

19. Procédé (100) selon l’une des revendications 1 à 18, qui comporte une étape de détourage.

20. Dispositif (200) pour mettre en œuvre un procédé selon l’une des revendications 1 à 19, caractérisé en ce qu’il comporte :

- un moyen (205) d’acquisition d’au moins une photographie,

- un moyen (210) de traitement d’images pour traiter au moins une photographie acquise et - un moyen (215) d’émission de chaque photographie traitée.

Description:
PROCÉDÉ D’AJUSTEMENT D’AU MOINS UNE PHOTOGRAPHIE MÉDICALE ET DISPOSITIF

POUR LE METTRE EN ŒUVRE

DOMAINE TECHNIQUE DE L’INVENTION

La présente invention vise un procédé d’ajustement d’au moins une photographie médicale dentaire et un dispositif pour le mettre en oeuvre.

ÉTAT DE LA TECHNIQUE

Dans le domaine médical, et dentaire en particulier, certaines procédures médicales requièrent la prise de clichés photographiques de l’anatomie du patient afin de déterminer un plan de traitement. Ces clichés photographiques sont habituellement pris par un opérateur, typiquement un membre du personnel médical, avec un appareil photo non adapté aux contraintes de l’usage. Il découle de cette pratique une qualité non homogène d’image et un certain nombre de défauts dans la prise de vue qui nécessitent un retraitement manuel des clichés saisis.

Cette absence de mise en conformité des clichés a priori engendre une perte de temps et parfois un surcoût en raison de la sous-traitance du retraitement des clichés, sans par ailleurs garantir la qualité des clichés à l’issue de ce retraitement.

OBJET DE L’INVENTION

La présente invention vise à remédier à tout ou partie de ces inconvénients.

À cet effet, selon un premier aspect, la présente invention vise un procédé d’ajustement d’au moins une photographie médicale dentaire, qui comporte :

- une étape d’acquisition d’au moins une dite photographie,

- une étape de classification d’au moins une photographie acquise,

- une étape d’analyse d’image d’au moins une photographie classifiée pour détecter au moins un repère anatomique dans chaque dite photographie classifiée, l’étape d’analyse étant réalisée en fonction de la classification de ladite photographie et d’un modèle anatomique cible prédéterminé,

- une étape d’estimation de paramètres d’une transformation géométrique à appliquer à au moins une photographie analysée en fonction d’au moins un repère anatomique détecté et

- une étape de transformation géométrique d’au moins une photographie analysée selon les paramètres estimés.

On appelle une photographie médicale dentaire une photographie laissant apparaître au moins une dent ou une gencive.

Grâce à ces dispositions, chaque photographie médicale dentaire peut être retraitée de manière automatique à la suite son acquisition de sorte à obtenir des photographies présentant un niveau de qualité permettant leur usage médical ultérieur.

Le procédé d’ajustement permet l’ajustement des photographies issues en particulier d’un examen dentaire mis en oeuvre par un orthodontiste. Ce procédé permet d’accélérer l’obtention de photos exploitables pour la préparation d’un plan de soin en minimisant d’une part le temps pris pour ajuster l’appareil photographique au moment de la prise des photographies et en diminuant le temps nécessaire à retoucher manuellement les photographies obtenues. L’ajustement automatisé selon l’invention permet non seulement un gain de temps substantiel, mais aussi l’obtention de photographies exploitable par un personnel moins qualifié, sans nécessiter l’intervention du dentiste ou de l’orthodontiste.

Dans des modes de réalisation :

- au moins un repère anatomique est une dent,

- des coordonnées prédéterminées sont associées à ladite dent dans le modèle de position des dents et

- les paramètres de la transformation géométrique à appliquer sont déterminés en fonction des coordonnées estimées du centroïde de l’au moins une dent détectée et des coordonnées prédéterminées du centroïde de la dent correspondante dans le modèle de position des dents.

Grâce à ces dispositions, le procédé d’ajustement permet l’ajustement d’une photographie dentaire en fonction d’un modèle de position des dents comportant des coordonnées d’une pluralité de dents. En d’autres termes, le procédé d’ajustement permet d’aligner la photographie dentaire sur un modèle théorique appelé modèle de position des dents. Le modèle de position des dents peut être obtenu en moyennant les coordonnées des positions de chacune des dents identifiées sur une grande quantité de photographies dentaires. Le modèle théorique peut être obtenu de manière arbitraire ou probabiliste.

Les coordonnées des dents selon le modèle de position des dents peuvent être par exemple la fonction mathématique et les coordonnées d’une aire (aussi appelée empreinte) correspondant à une dent ou un point particulier de l’empreinte d’une dent. En particulier, la position d’une dent peut être défini par son centroïde. Le centroïde peut correspondre à un point central correspondant de préférence au centre de masse de l’empreinte d’une dent.

Dans des modes de réalisation, le procédé comporte une étape de modification du modèle de position des dents comportant :

- une étape d’identification d’une dent présente sur le modèle de position des dents et non repérée sur la photographie dentaire,

- une étape de suppression sur le modèle de position de la dent correspondante à la dent non repérée sur la photographie dentaire.

Grâce à ces dispositions, la photographie dentaire obtenue est réalisée sur un modèle de position des dents d’avantage pertinent par rapport à un modèle de position des dents standard. Ainsi, les paramètre de transformation géométrique obtenus permettent un ajustement plus efficace de la photographie dentaire.

À titre d’exemple, lorsque l’absence des deux prémolaires gauche est identifiée sur une photographie dentaire un modèle de position des dents dégradé est généré à partir du modèle de position des dents standard comportant les coordonnées de 12 dents pour générer un modèle de position des dents comportant les coordonnées de 10 dents, c’est-à-dire l’ensemble des dents du modèle initial à l’exception des prémolaires. Dans des modes de réalisation, les paramètres d’une transformation géométrique à appliquer sont déterminés pour minimiser la distance entre le centroïde d’au moins une dent détectée sur la photographie et le centroïde de la dent correspondante sur le modèle de position des dents.

Dans des modes de réalisation, l’étape d’analyse d’image d’au moins une photographie classifiée pour détecter au moins un repère anatomique comporte :

- une étape d’identification des centroïdes d’une pluralité de dents

et dans lequel l’étape d’estimation de paramètres d’une transformation géométrique à appliquer comporte :

- une étape de détermination d’une courbe par application d’une fonction d’ajustement aux centroïdes identifiés et

- l’estimation d’une transformation géométrique en fonction de la courbe déterminée.

Dans des modes de réalisation, la transformation géométrique comporte une rotation et l’angle de rotation est déterminé par une estimation de la droite passant par les centroïdes des dents de la mâchoire supérieure ou de la mâchoire inférieure et par une estimation de l’inclinaison de cette droite par rapport à l’horizontale.

Dans des modes de réalisation, le procédé comporte :

- deux étapes distinctes d’acquisition d’une première photographie puis d’une deuxième photographie du même patient et

- une deuxième étape d’analyse d’image visant à identifier une caractéristique de la première photographie

et une transformation géométrique à appliquer à la deuxième photographie est déterminée en fonction de la caractéristique identifiée sur la première photographie.

Grâce à ces dispositions, le traitement d’une deuxième photographie peut être rendu plus efficace ou plus rapide en tenant compte de la caractéristique identifiée sur la première photographie.

Dans des modes de réalisation, la caractéristique identifiée sur la première photographie est la présence d’un miroir.

Grâce à ces dispositions, l’ajustement de la deuxième photographie peut prendre en compte la présence d’une image miroir ou initier une étape de correction d’artefact visuel dû à la présence du miroir.

Dans des modes de réalisation, la caractéristique identifiée sur la première photographie est une dent manquante.

Grâce à ces dispositions, un modèle de position de dents utilisé pour déterminer les paramètres d’une transformation géométrique à appliquer à une deuxième photographie peut être modifié en fonction de l’absence d’une dent constatée sur une première photographie.

Dans des modes de réalisation, le procédé objet de la présente invention comporte :

- une étape de détection d’au moins une valeur de paramètre photométrique d’au moins une photographie et

- une étape d’ajustement photométrique d’au moins une photographie médicale en fonction d’au moins une valeur de paramètre photométrique détecté. Ces modes de réalisation permettent d’ajuster l’apparence de la photographie de manière à la rendre convenable à l’usage qui en sera fait ultérieurement.

Dans des modes de réalisation, l’étape de détection est réalisée sur au moins deux photographies et produit deux valeurs de paramètres photométriques distinctes, le procédé comportant, de plus, une étape de calcul d’une valeur de paramètre d’ajustement photométrique en fonction de chaque valeur de paramètre détectée, l’étape d’ajustement en étant réalisée en fonction d’au moins une valeur de paramètre calculée.

Ces modes de réalisation permettent d’harmoniser les paramètres photométriques d’au moins deux photographies.

Dans des modes de réalisation, l’étape d’ajustement photométrique comporte une amélioration de la netteté de la photographie.

Dans des modes de réalisation, le procédé comporte une étape d’identification d’une zone d’intérêt sur la photographie, correspondante aux dents ou à la gencive, et dans lequel la netteté est améliorée seulement sur la zone d’intérêt.

Grâce à ces dispositions, l’amélioration de la netteté est réalisée seulement sur des zones d’intérêt de la photographie permettant ainsi une réduction du temps et des ressources informatiques nécessaires à l’étape d’amélioration de la netteté.

Dans des modes de réalisation, le procédé comporte :

- une étape d’identification de pixels correspondants à un artefact dû à une mauvaise condition de capture de la photographie,

- une étape d’estimation des pixels qui auraient été obtenus en l’absence de ladite condition de capture de la photographie et

- une étape de remplacement des pixels identifiés par les pixels estimés correspondants.

Grâce à ces dispositions, la qualité et la lisibilité de la photographie sont améliorées en remplaçant les zones dissimulées par un artefact. On désigne par le terme « artefact » un défaut qui apparaît sur la photographie.

Par exemple, l’artefact est un reflet de la lumière localisé sur une partie de la gencive. Le reflet de lumière sature un ensemble de pixels sur la photographie et dissimule une partie de la gencive. Par exemple, l’artefact est un défaut causé par la présence d’un miroir, par exemple un défaut provenant de la réflexion de la lumière sur le miroir ou alors un défaut causé par des rayures présentes sur le miroir.

Dans des modes de réalisation, le procédé objet de la présente invention comporte une étape d’association d’au moins une photographie avec un indicateur d’étape de protocole de photographie médicale.

Ces modes de réalisation permettent de classer une pluralité d’images selon différentes étapes d’un protocole de photographie médical de manière automatique.

Dans des modes de réalisation, le procédé objet de la présente invention comporte une étape de mesure de la qualité d’au moins une photographie en fonction de l’indicateur d’étape de protocole associé et une étape de fourniture d’un indicateur de la qualité mesurée pour au moins une photographie. Ces modes de réalisation permettent d’indiquer à l’opérateur en charge de la capture des photographies que certaines photographies manquent ou présentent une qualité insuffisante.

Dans des modes de réalisation, le procédé objet de la présente invention est adapté à la photographie dentaire, au moins un repère anatomique détecté étant :

- un nez,

- un œil,

- au moins une dent ou

- une lèvre.

Dans des modes de réalisation, le procédé comporte une étape de détourage.

Selon un deuxième aspect, la présente invention vise un dispositif pour mettre en œuvre un procédé objet de la présente invention, qui comporte :

- un moyen d’acquisition d’au moins une photographie,

- un moyen de traitement d’images pour traiter au moins une photographie acquise et

- un moyen d’émission de chaque photographie traitée.

Les avantages, buts et caractéristiques du dispositif objet de la présente invention étant identiques aux avantages, buts et caractéristiques du procédé objet de la présente invention, ils ne sont pas rappelés ici.

BRÈVE DESCRIPTION DES FIGURES

D’autres avantages, buts et caractéristiques particulières de l’invention ressortiront de la description non limitative qui suit d’au moins un mode de réalisation particulier du procédé et du dispositif objets de la présente invention, en regard des dessins annexés, dans lesquels :

La figure 1 représente, schématiquement et sous forme d’un logigramme, une succession d’étapes particulière du procédé objet de la présente invention,

La figure 2 représente, schématiquement, un mode de réalisation particulier du dispositif objet de la présente invention,

La figure 3 représente un exemple de photographie dentaire occlusale supérieure,

La figure 4 représente un exemple de photographie dentaire occlusale inférieure,

La figure 5 représente un exemple de détection de repères anatomiques sur la photographie de la figure 3,

La figure 6 représente un exemple de détection de repères anatomiques sur la photographie de la figure 4,

La figure 7 représente un exemple de photographie dentaire frontale,

La figure 8 représente un exemple de photographie dentaire latérale gauche,

La figure 9 représente un exemple de détection de repères anatomiques sur la photographie de la figure 7,

La figure 10 représente un exemple de détection de repères anatomiques sur la photographie de la figure 8,

La figure 11 représente un exemple de photographie dentaire latérale droite, La figure 12 représente un exemple de détection de repères anatomiques sur la photographie de la figure 11 ,

La figure 13 représente un exemple de photographie dentaire occlusale inférieure,

La figure 14 représente la superposition des centroïdes, représentés par des points, des dents figurants sur la photographie de la figure 13,

La figure 15 représente un exemple particulier de modèle de position des dents,

La figure 16 représente isolément les centroïdes, représentés par des points, des dents figurants sur la photographie de la figure 13,

La figure 17 illustre un mode de réalisation particulier de l’étape de modification du modèle de position des dents,

La figure 18 illustre une transformation géométrique (rotation) à appliquer à la photographie de la figure 13, lors de l’étape de transformation géométrique.

DESCRIPTION DES MODES DE RÉALISATION DE L’INVENTION

La présente description est donnée à titre non limitatif, chaque caractéristique d’un mode de réalisation pouvant être combinée à toute autre caractéristique de tout autre mode de réalisation de manière avantageuse.

On note dès à présent que les figures ne sont pas à l’échelle.

On appelle « photographie » l’ensemble de données obtenues par la mise en œuvre d’un capteur optique. Ici, le terme « photographie » se réfère à une image fixe ou à un ensemble d’images formant une séquence vidéographique.

On appelle « photographie médicale » une photographie d’au moins une partie de l’anatomie d’un patient dans le contexte de l’élaboration ou de l’exécution d’un plan de traitement déterminé ou à déterminer. L’application médicale est indifférente et peut appartenir à toute spécialité. Préférentiellement, la présente invention s’adresse à la photographie dentaire.

On observe, sur la figure 1 , une vue schématique d’un mode de réalisation du procédé 100 objet de la présente invention.

Le procédé 100 d’ajustement d’au moins une photographie médicale comporte :

- une étape 105 d’acquisition d’au moins une dite photographie dentaire,

- une étape 1 10 de classification d’au moins une photographie acquise,

- une étape 1 15 d’analyse d’image d’au moins une photographie classifiée pour détecter au moins un repère anatomique dans chaque dite photographie classifiée, l’étape d’analyse étant réalisée en fonction de la classification de ladite photographie,

- une étape 120 d’estimation de paramètres d’une transformation géométrique à appliquer à au moins une photographie analysée en fonction d’au moins un repère anatomique détecté et d’un modèle de position des dents et

- une étape 125 de transformation géométrique d’au moins une photographie analysée selon les paramètres estimés.

L’étape 105 d’acquisition peut inclure ou non une étape de capture (non représentée) nécessaire à l’acquisition des données de prime abord. Une telle étape de capture met en œuvre un capteur d’images, de tout type connu de l’Homme du Métier. Par exemple, une telle étape de capture met en oeuvre un capteur photographique d’appareil photographique portable ou intégré à un téléphone portable. L’étape de capture peut être réalisée par un opérateur ou de manière automatique par l’exécution d’un programme automatique de capture photographique déclenché de manière logicielle. L’étape 105 d’acquisition peut inclure ou non une étape de transmission de données photographiques depuis un capteur photographique ou un stockage et/ou un organe de transmission de données intermédiaires.

L’étape 105 d’acquisition est définie, a minima, par la capacité à transférer au moins une photographie à un dispositif électronique de calcul réalisant l’étape 1 10 de classification. Cette étape 105 d’acquisition peut ainsi être réalisée par la mise en oeuvre d’un réseau de données de type Internet configuré pour opérer le transfert d’une photographie vers le dispositif électronique de calcul. Dans des variantes, l’étape 105 d’acquisition met en oeuvre un périphérique de stockage, par exemple de type clé USB (pour « Universal Serial Bus », traduit par Bus en Série Universel) branché au dispositif électronique de calcul. Dans des modes de réalisation, la transmission de données photographiques est réalisée au moyen d’un émetteur sans fil fonctionnant selon le standard IEEE 802.1 1 dit « Wi-Fi » ou selon la technologie Bluetooth (marque déposée).

Par exemple, à l’issue de l’étape 105 d’acquisition, les photographies en figures 3 et 4 sont acquises. L’étape 1 10 de classification est, par exemple, réalisée par un dispositif électronique de calcul, de type ordinateur ou serveur, exécutant un programme informatique de traitement d’images configuré pour détecter ce que la photographie représente. Par exemple, à l’issue de cette étape 1 10 de classification, au moins une photographie est associée à un identifiant de classe représentatif d’une figuration, dans la photographie, d’un visage vu de face, d’un visage vu de profil ou d’une photographie dentaire frontale, latérale de droite ou latérale de gauche ou en encore d’une photographie occlusale supérieure ou occlusale inférieure. Des exemples de photographies correspondant à chacun de ces identifiants de classe sont illustrés en figures 3 à 4, 7 à 8 et 1 1 .

Dans des modes de réalisation, chaque photographie est associée à un identifiant de classe permettant ainsi d’identifier, lors de l’acquisition, si une photographie nécessaire à l’établissement d’un plan de traitement est manquante ou encore de faciliter la recherche ciblée de photographies associées à un identifiant de classe particulier.

Une telle étape 1 10 de classification peut être réalisée, par exemple, en mettant en oeuvre la technique décrite dans le document Deep Residual Learning for Image Récognition des auteurs Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun publié dans The IEEE Conférence on Computer Vision and Pattern Récognition (CVPR), 2016, pp. 770-778. Ce document est incorporé ici par référence.

Cette étape 1 10 de classification met en oeuvre, par exemple, un algorithme d’apprentissage automatique exécuté sur une base de données d’images médicales.

Par exemple, à l’issue de l’étape 1 10 de classification, la photographie en figure 16 est classifiée en tant que photographie de la dentition de face avec la mâchoire fermée tandis que la photographie en figure 4 est classifiée en tant que photographie occlusale de la mâchoire inférieure. Cette classification des photographies permet ensuite d’appliquer un processus d’analyse d’image différencié en vue de détecter au moins un repère anatomique.

Dans des modes de réalisation, la classification des photographies permet ensuite de déterminer une transformation géométrique particulière, spécifique à la classe de photographie identifiée.

L’étape 115 d’analyse est, par exemple, réalisée par un dispositif électronique de calcul, de type ordinateur ou serveur, exécutant un programme informatique de traitement d’images configuré pour repérer, dans au moins une photographie, un repère anatomique déterminé. Un tel repère anatomique correspond, par exemple à :

- un nez,

- un œil,

- au moins une dent ou

- une lèvre.

Préférentiellement, le repère anatomique correspond à une dent ou à une pluralité de dents.

Dans des modes de réalisation, la présence d’une dent est identifiée, mais aussi son type. Par exemple, les canines de la mâchoire supérieure, usuellement numérotées 13 et 23, sont identifiées. Par « repérer », on entend non seulement identifier le repère anatomique, mais également son positionnement et son orientation. Connaissant ces deux informations, et a minima seulement l’orientation, il devient possible de déterminer l’orientation générale de la photographie.

Par exemple, si une photographie du nez, sur une photographie du visage prise de face, montre qu’un axe général défini par l’orientation du cartilage septal présente un angle, par rapport à un bord de l’image, de 75° alors qu’il devrait, dans de telles circonstances, présenter un angle de 90°, il devient possible d’estimer que la photographie présente une déviation de 15° par rapport à une photographie conforme et, une fois cette estimation réalisée, il devient possible de traiter la photographie en y appliquant une rotation de 15° pour corriger la photographie.

L’étape 115 d’analyse peut être réalisée par la mise en œuvre d’un algorithme d’apprentissage automatique de type segmentation sémantique. Une telle approche est décrite, notamment, dans le document Fully Convolutional Networks for Semantic Segmentation, des auteurs Jonathan Long, Evan Shelhamer, Trevor Darrell, publié dans The IEEE Conférence on Computer Vision and Pattern Récognition (CVPR), 2015, pp. 3431 -3440.

L’étape 115 d’analyse peut être réalisée par la mise en œuvre d’un algorithme d’apprentissage automatique de type détection de régression. Une telle approche est décrite, notamment, dans le document Facial Landmark Détection by Deep Multi-task Learning, des auteurs Zhanpeng ZhangPing LuoChen Change LoyXiaoou Tang, publié dans la revue ECCV 2014 : Computer Vision - ECCV 2014 pp 94-108, 2014.

Par exemple, les incisives inférieures peuvent être identifiées dans les figures 4, 7, 8 et 1 1 tandis que, du fait de la prise de vue, celles-ci présentent des formes différentes selon les figures. Connaissant la classe de l’image, les algorithmes considérés recherchent les incisives inférieures de manière différente.

Ainsi, en fonction d’une information représentative de la classe d’une photographie, c’est-à-dire de ce que représente la photographie, le traitement d’image est différencié. Cette information peut avoir tout format utile à la mise en œuvre considérée. Par exemple, cette information peut être un caractère ou une suite de caractères alphanumériques.

L’étape 120 d’estimation est, par exemple, réalisée par un dispositif électronique de calcul, de type ordinateur ou serveur, exécutant un programme informatique de traitement d’images configuré pour déterminer si le positionnement et/ou l’orientation d’un repère anatomique détecté sont conformes aux attentes vis-à-vis de l’orientation de la photographie et, si ce positionnement n’est pas conforme, déterminer le décalage par rapport au positionnement conforme, que ce soit en matière de rotation, de centrage de la photographie ou en matière de dimensions (zoom). Ce décalage vis-à-vis de la conformité constitue le négatif des valeurs de paramètres de transformation géométriques à appliquer pour corriger la photographie.

Les paramètres de cette transformation géométrique peuvent être estimés par des méthodes d’optimisation numérique comme la technique des moindres carrés en cherchant un certain alignement des repères anatomiques détectés ou par des modèles de régression appris par apprentissage automatique et qui infèrent les paramètres souhaités étant données la photographie d’entrée.

L’étape 125 de transformation est, par exemple, réalisée par un dispositif électronique de calcul, de type ordinateur ou serveur, exécutant un programme informatique de traitement d’images configuré pour réaliser la transformation géométrique selon les valeurs de paramètres de transformation estimés.

Par exemple, chaque pixel de l’image d’entrée est individuellement déplacé selon la transformation géométrique estimée ce qui, au fur et à mesure, constitue l’image de sortie. Cette technique est largement utilisée dans les logiciels de manipulation ou de retouche d’images.

À l’issue du procédé 100, la photographie est corrigée géométriquement pour correspondre à un critère de conformité prédéterminé concernant la géométrie attendue des photographies propres au domaine médical considéré dans l’application.

Dans des modes de réalisation, l’étape 1 15 d’analyse d’image d’au moins une photographie classifiée pour détecter au moins un repère anatomique comporte :

- une étape d’identification des centroïdes d’une pluralité de dents et

l’étape 120 d’estimation de paramètres d’une transformation géométrique à appliquer comporte :

- une étape de détermination d’une courbe par application d’une fonction d’ajustement aux centroïdes identifiés et

- l’estimation d’une transformation géométrique en fonction de la courbe déterminée.

Dans des modes de réalisation, ladite courbe est une courbe affine par morceaux.

Selon un exemple de réalisation illustré en figures 7 et 9, lorsqu’une photographie dentaire frontale est identifiée, les étapes suivantes sont mises en œuvre :

- une localisation de la zone d’intérêt et

- une détection, reconnaissance et segmentation individuelle des dents.

La détection, reconnaissance et segmentation des dents d’une manière individuelle permet à la fois de bien localiser les dents et aussi de reconnaître le type de dents (molaire, canines, incisives). Préférentiellement, les centroïdes, 181 et 182, d’au moins deux dents détectées sont estimés. La figure 9 illustre la détection, reconnaissance et segmentation individuelle des dents sur la photographie.

En outre, au moins l’une des étapes suivantes est mise en œuvre pour déterminer la transformation géométrique affine :

- la rotation selon un angle obtenu par une estimation de la droite 183 passant par les centroïdes des dents de la mâchoire supérieure et une estimation de l’angle de rotation mettant la droite estimée à l’horizontale et

- la translation 2D (centrage) et le facteur d’échelle (zoom) estimés par un jeu de règles de trois permettant de garantir un centrage de la zone d’intérêt avec des marges optimales.

Ainsi, comme illustrés en figure 9, les centroïdes, 181 et 182, sont estimés et une droite 183 obtenue par régression linéaire des points correspondants aux centroïdes des dents identifiées est estimée. Dans des modes de réalisation :

- le centroïde d’au moins une dent non visible ou partiellement visible sur la photographie est estimé et

- la droite 183 est obtenue par régression linéaire d’au moins un centroïde d’une dent visible at au moins un centroïde estimé pour une dent non visible ou partiellement visible.

Dans des modes de réalisation, le contour d’au moins une dent est déterminé et l’angle de rotation à appliquer sur la photographie est obtenu en fonction du contour estimé pour au moins une dent.

Selon un exemple de réalisation illustré en figures 8 et 1 1 , lorsqu’une photographie dentaire latérale est identifiée, les mêmes étapes que celles mises en œuvre lorsqu’une photographie dentaire frontale est identifiée sont mises en œuvre.

Ainsi, comme illustré en figures 9 et 12, les centroïdes, respectivement 191 et 192 et 212, d’au moins deux dents sont identifiés et une droite, respectivement 193 et 213, obtenue par régression linéaire des points correspondants aux centroïdes des dents identifiées est estimée.

Dans le cas d’une photographie dentaire latérale, la détermination de l’orientation droite ou gauche de la photographie repose sur la détection des molaires et des incisives qui indiquent le sens de la photographie.

Dans un exemple de réalisation illustré en figures 3 et 4, lorsqu’une photographie dentaire occlusale inférieure ou supérieure est détectée, les étapes suivantes sont mises en œuvre :

- une localisation de la zone d’intérêt, 901 et 902, illustrée en figures 5 et 6, incluant les dents,

- une détection, reconnaissance et segmentation des dents d’une manière individuelle permettant la localisation des dents individuelle et la reconnaissance de leur type (molaire, canines, incisives),

- une estimation de la transformation affine comportant une estimation d’un angle de rotation faite via le recalage entre les centroïdes des dents détectées et un modèle de position des dents et une estimation de la translation 2D et du facteur d’échelle faite par un jeu de règles de trois permettant de garantir un centrage de la zone d’intérêt avec des marges optimales et

- une rotation en vue d’orienter la photographie occlusale vers le haut s’il s’agit d’une photo occlusale supérieure et vers le bas s’il s’agit d’une photo occlusale inférieure.

Dans des modes de réalisation particuliers du procédé 100, illustrés en figures 13 à 18, les paramètres de la transformation géométrique sont déterminés par alignement des centroïdes identifiés sur l’image dentaire avec les centroïdes des dents d’un modèle de position de dents. En d’autres termes, les paramètres de la transformation géométrique à appliquer sont déterminés en fonction des coordonnées estimées du centroïde de l’au moins une dent détectée et des coordonnées prédéterminées du centroïde de la dent correspondante dans le modèle de position des dents.

Dans ce cas, le procédé comporte, lors de l’étape 1 15 d’analyse une ou plusieurs étapes de détection d’une dent et d’association de la dent détectée à une dent comprise dans le modèle de position des dents.

Un modèle de position de dents est particulier est illustré en figure 15. Ce modèle de position de dent comporte quatorze dents, chacune représentée par un point noir, et relié deux à deux et de proche en proche par des segments. La surface de chaque dent est illustrée par des bulles grises. La surface d’une dent sur la photographie est également appelée empreinte.

Des coordonnées prédéterminées sont associées à chaque dent du modèle de position de dents.

La figure 13 représente un exemple de photographie dentaire occlusale inférieure qui laisse apparaitre douze dents, dont la dent qui correspond à la canine gauche 301 .

Les figures 14 et 16 illustrent la détection de repères anatomiques (les dents) sur la photographie de la figure 13. La figure 14 illustre les coordonnées des centroïdes des repères anatomiques superposés sur la photographie de la figure 13, ces mêmes repères anatomiques sont illustrés seuls en figure 16.

Les repères anatomiques sont détectés lors de l'étape 1 15 d’analyse d’image. Chacune des dents visibles sur la photographie est identifiée par son centroïde représenté par un point noir. En particulier, le centroïde 302 correspondant au centroïde de la canine gauche 301 est détecté.

Dans des modes de réalisation particuliers illustrés en figures 15 et 17, le procédé 100 comporte une étape de modification du modèle de position des dents comportant :

- une étape d’identification d’une dent présente sur le modèle de position des dents et non repérée sur la photographie dentaire,

- une étape de suppression sur le modèle de position de la dent correspondante à la dent non repérée sur la photographie dentaire.

Ainsi, les molaires 305 et 306 qui ne sont pas visibles sur la photographie de la figure 13 entraînent la suppression, sur le modèle de position des dents illustré en figure 15, des coordonnées correspondantes aux molaires 305 et 306. Par exemple, chacune des dents détectées sur le profil illustré en figure 16 est appariée à une dent du modèle de positon des dents illustré en figure 15 et les dents figurant sur le modèle de position des dents, mais non détectées sur le profil illustré en figure 16 sont retirées du modèle de position des dents. Le modèle de position des dents obtenu à l’issue de cette étape est illustré en figure 17.

La figure 18 illustre une étape de détermination de l’angle de rotation à appliquer à la photographie dentaire de la figure 13. L’angle de rotation est déterminé de sorte à minimiser la distance entre le centroïde de chacune des dents détectées sur la photographie et le centroïde de la dent correspondante sur le modèle de position des dents. Dans des modes de réalisation, la méthode mise en œuvre pour minimiser la distance entre le centroïde de chacune des dents détectées sur la photographie et le centroïde de la dent correspondante sur le modèle de position des dents est la méthode des moindres carrés.

On observe sur la figure 18 une série de points blancs, dont le point 315, correspondant au modèle de position des dents et une série de points noirs correspondants aux centroïdes des dents détectées, dont les centroïdes 302 et 314. L’angle de rotation, illustré par l’angle entre les repères orthonormaux 310 et 31 1 , est obtenu par réduction maximale des distances entre la dent du modèle de position des dents et la dent détectée correspondante, par exemple la distance 320 entre les points 314 et 315.

La méthode décrite ci-dessus pourra être adaptée pour déterminer les paramètres d’une translation, d’un rétrécissement, d’un agrandissement ou de toute autre transformation géométrique sans dériver de l’invention.

Préférentiellement, la transformation géométrique appliquée est une transformation géométrique linéaire, c'est à dire appliquée uniformément à l'ensemble des points de le photographie de sorte que la photographie n'est pas déformée.

Dans des modes de réalisation, le procédé 100 comporte deux étapes distinctes d’acquisition d’une première photographie puis d’une deuxième photographie du même patient et une deuxième étape d’analyse d’image visant à identifier une caractéristique de la première photographie, la transformation géométrique à appliquer à la deuxième photographie étant déterminée en fonction de la caractéristique identifiée sur la première photographie. La caractéristique identifiée sur la première photographie est par exemple la présence d’un miroir ou l’absence d’une dent.

Dans des modes de réalisation, tel que celui représenté en figure 1 , le procédé 100 comporte :

- une étape 130 de détection d’au moins une valeur de paramètre photométrique d’au moins une photographie et

- une étape 135 d’ajustement photométrique d’au moins une photographie médicale en fonction d’au moins une valeur de paramètre photométrique détecté.

L’étape 130 de détection est, par exemple, réalisée par un dispositif électronique de calcul, de type ordinateur ou serveur, exécutant un programme informatique de traitement d’images configuré pour détecter et pour quantifier une valeur de paramètre photométrique d’au moins une photographie. Une telle valeur de paramètre photométrique est, par exemple, une valeur de luminosité ou de contraste de la photographie. En fonction du décalage éventuel entre les valeurs quantifiées et une valeur attendue, correspondant à la conformité attendue de la photographie, une valeur d’ajustement peut être déterminée par la réalisation d’un calcul de différence entre la valeur quantifiée et la valeur correspondant à la conformité attendue.

L’étape 135 d’ajustement photométrique est, par exemple, réalisée par un dispositif électronique de calcul, de type ordinateur ou serveur, exécutant un programme informatique de traitement d’images configuré pour appliquer à la photographie une correction correspondant à la valeur d’ajustement calculée.

Dans des modes de réalisation, tel que celui représenté en figure 1 , l’étape 130 de détection est réalisée sur au moins deux photographies et produit deux valeurs de paramètres photométriques distinctes, le procédé comportant, de plus, une étape 140 de calcul d’une valeur de paramètre d’ajustement photométrique en fonction de chaque valeur de paramètre détectée, l’étape 135 d’ajustement en étant réalisée en fonction d’au moins une valeur de paramètre calculée.

Dans des modes de réalisation, l’étape 135 d’ajustement photométrique comporte une amélioration de la netteté de la photographie. Préférentiellement, seule une zone d’intérêt est traitée lors de cette étape. Par exemple, la zone d’intérêt correspond aux dents ou à la gencive. Dans ce cas, le procédé 100 comporte une étape d’identification d’une zone d’intérêt correspondant aux dents ou d’une zone d’intérêt correspondant à la gencive.

Dans des modes de réalisation, l’amélioration de la netteté est réalisée au moyen d’un traitement algorithmique qui, à partir d’une ou de plusieurs photographies déjà capturées, créent une image de meilleure résolution. Cette étape du procédé peut être désignée sous le terme de processus de super résolution.

Dans des modes de réalisation, l’étape 135 d’ajustement photométrique comporte une étape de détourage.

Dans des modes de réalisation, le procédé 100 comporte :

- une étape d’identification de pixels correspondants à un artefact dû à une mauvaise condition de capture de la photographie,

- une étape d’estimation des pixels qui auraient été obtenus en l’absence de ladite condition de capture de la photographie et

- une étape de remplacement pixels identifiées par les pixels estimés correspondants.

On désigne par le terme « artefact » un défaut qui apparaît sur la photographie.

Par exemple, l’artefact est un reflet de la lumière localisé sur une partie de la photographie correspondant à la gencive. Le reflet de lumière sature un groupe de pixels sur la photographie et dissimule une partie de la gencive.

Par exemple, l’artefact est un défaut causé par la présence d’un miroir. Par exemple, ce défaut provient de la réflexion de la lumière sur le miroir ou est causé par des rayures présentes sur le miroir. Préférentiellement, l’étape d’estimation des pixels est une technique d’apprentissage adverse (désigné en anglais par les termes « Generative Adversial Networks »).

L’étape 140 de calcul photométrique est, par exemple, réalisée par un dispositif électronique de calcul, de type ordinateur ou serveur, exécutant un programme informatique configuré pour comparer les valeurs de paramètres détectées et pour déterminer une valeur de paramètre photométrique consigne à atteindre pour chaque photographie. Une telle comparaison est, par exemple, obtenue par la réalisation d’une moyenne des valeurs de paramètres photométriques détectés.

Dans des modes de réalisation, tel que celui représenté en figure 1 , la transformation géométrique est une transformation affine. On appelle également une transformation affine une « application affine ». Dans des modes de réalisation, tel que celui représenté en figure 1 , le procédé 100 comporte une étape 145 d’association d’au moins une photographie avec un indicateur d’étape de protocole de photographie médicale.

L’étape 145 d’association est, par exemple, réalisée par un dispositif électronique configuré pour exécuter un programme informatique de classification de photographies acquises en fonction d’un protocole prédéfini. Ce programme informatique de classification peut mettre en oeuvre un traitement d’images similaire à l’étape 1 10 de classification pour déterminer à quelle étape du protocole une photographie appartient. Par exemple, si le protocole requiert une photographie du visage de face d’un patient puis une photographie d’une image de profil, la classification de deux photographies acquises en respectivement une photographie une image de profil permet d’associer, respectivement, un indicateur d’image de face, correspondant à la première photographie attendue dans le protocole, et un indicateur d’image de profil, correspondant à la deuxième photographie attendue dans le protocole.

Dans des modes de réalisation, tel que celui représenté en figure 1 , le procédé 100 objet de la présente invention comporte une étape 150 de mesure de la qualité d’au moins une photographie en fonction de l’indicateur d’étape de protocole associé et une étape 155 de fourniture d’un indicateur de la qualité mesurée pour au moins une photographie.

L’étape 150 de mesure est, par exemple, réalisée par un dispositif électronique configuré pour exécuter un programme informatique de traitement d’images configuré pour déterminer un niveau de qualité de la photographie par rapport à une valeur consigne. La qualité peut être définie, par exemple, de manière photométrique (image trop claire, trop foncée) ou par exemple en mesurant la précision de l’image ou l’angle de prise de vue par rapport à des valeurs consignes.

L’étape 155 de fourniture peut être réalisée par l’association, en mémoire, de l’indicateur avec chaque photographie correspondante ou par la mise en œuvre d’un écran affichant une information représentative de l’indicateur.

On observe, sur la figure 2, une vue schématique d’un mode de réalisation du dispositif 200 objet de la présente invention. Ce dispositif 200 pour mettre en œuvre un procédé tel que décrit en regard de la figure 1 comporte :

- un moyen 205 d’acquisition d’au moins une photographie,

- un moyen 210 de traitement d’images pour traiter au moins une photographie acquise et

- un moyen 215 d’émission de chaque photographie traitée.

Le moyen 205 d’acquisition est, par exemple, un appareil photographique. Ce moyen 205 d’acquisition peut, alternativement, correspondre à l’ensemble des variantes présentées en regard de l’étape 105 d’acquisition de la figure 1 .

Le moyen 210 de traitement d’images est, par exemple, un ordinateur ou un serveur informatique configuré pour réaliser les étapes de traitement informatique d’au moins une photographie acquise.

Le moyen 215 d’émission est, par exemple, une carte réseau configurée pour émettre au moins une photographie traitée via un réseau de données de type Internet, par exemple. Le moyen 215 d’émission peut, alternativement, correspondre à toute variante décrite en regard de la sortie de l’étape 125 de transformation telle que décrite en regard de la figure 1 .