Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND SYSTEM FOR IDENTIFYING OBJECTS FROM PIXELATED IMAGES OF SAID OBJECTS
Document Type and Number:
WIPO Patent Application WO/2020/193253
Kind Code:
A1
Abstract:
The system for identifying objects from images comprises a module for aggregating and sharing images, the module receiving as input first, second and third pluralities of images pixelated respectively by an expert in the field, through machine learning and deep machine learning, and providing as output a plurality of shared pixelated adjustment images having maximum detail; and a module for aggregating and sharing invariants receiving as input the first, second and third pluralities of invariants pixelated respectively by an expert in the field, through machine learning and deep machine learning, and providing as output a plurality of shared pixelated adjustment invariants having maximum detail. In response to a new plurality of images of the object to be identified, the first, second and third identification modules are designed to use as input, separately and sequentially for the respective identification thereof, the plurality of shared pixelated adjustment images and/or the plurality of shared pixelated adjustment invariants originating from the aggregation and sharing modules.

Inventors:
BERECHET STEFAN (FR)
BERECHET ION (FR)
BERGINC GÉRARD (FR)
Application Number:
PCT/EP2020/057107
Publication Date:
October 01, 2020
Filing Date:
March 16, 2020
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SISPIA (FR)
THALES SA (FR)
International Classes:
G06K9/62
Foreign References:
US9135747B22015-09-15
US20150125049A12015-05-07
Other References:
NAGARAJAN B ET AL: "An invariant approach to object classification using background removal", COMPUTING, COMMUNICATION AND NETWORKING, 2008. ICCCN 2008. INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 18 December 2008 (2008-12-18), pages 1 - 6, XP031442577, ISBN: 978-1-4244-3594-4
WOODS K ET AL: "COMBINATION OF MULTIPLE CLASSIFIERS USING LOCAL ACCURACY ESTIMATES", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE COMPUTER SOCIETY, USA, vol. 19, no. 4, 30 April 1997 (1997-04-30), pages 405 - 410, XP000690654, ISSN: 0162-8828, DOI: 10.1109/34.588027
AFEF BEN BRAHIM ET AL: "Feature Selection Aggregation Versus Classifiers Aggregation for Several Data Dimensionalities", 31 December 2013 (2013-12-31), XP055658570, Retrieved from the Internet [retrieved on 20200116]
RASHID MUHAMMAD ET AL: "Object detection and classification: a joint selection and fusion strategy of deep convolutional neural network and SIFT point features", MULTIMEDIA TOOLS AND APPLICATIONS, KLUWER ACADEMIC PUBLISHERS, BOSTON, US, vol. 78, no. 12, 8 December 2018 (2018-12-08), pages 15751 - 15777, XP036813846, ISSN: 1380-7501, [retrieved on 20181208], DOI: 10.1007/S11042-018-7031-0
DU XIANZHI ET AL: "Fused DNN: A Deep Neural Network Fusion Approach to Fast and Robust Pedestrian Detection", 2017 IEEE WINTER CONFERENCE ON APPLICATIONS OF COMPUTER VISION (WACV), IEEE, 24 March 2017 (2017-03-24), pages 953 - 961, XP033096879, DOI: 10.1109/WACV.2017.111
Attorney, Agent or Firm:
LOUBET, Bruno et al. (FR)
Download PDF:
Claims:
REVENDICATIONS

1. Système d’identification d’un objet à partir d’images dudit objet à identifier, comprenant :

- un module d’extraction d’invariants (EXTIV) de l’objet à partir d’images dudit objet ;

- un premier module d’identification (IDEM) dudit objet propre à recevoir en entrée les images de l’objet à identifier et les invariants issus du module d’extraction d’invariants, et apte à délivrer en sortie une première pluralités d’images dudit objet labellisées par un expert métier (EM), et une première pluralité d’invariants labellisés par ledit expert métier (EM); ledit premier module d’identification (IDEM) ayant une première précision d’identification (PEM) correspondant à celle de l’expert métier (EM) ;

- un deuxième module d’identification (IDML) propre à recevoir en entrée les images de l’objet à identifier et les invariants issus du module d’extraction d’invariants et apte à délivrer en sortie une deuxième pluralité d’invariants labellisés par apprentissage automatique et une deuxième pluralité d’images dudit objet labellisées par

correspondance avec les invariants labélisés ledit deuxième module d’identification (IDML) ayant une deuxième précision (PML) correspondant à celle de

l’apprentissage automatique ; et

- un troisième module d’identification (IDDL) propre à recevoir en entrée les images de l’objet à identifier et apte à délivrer en sortie une troisième pluralité d’images labellisées par apprentissage automatique profond et une troisième pluralité

d’invariants labellisés par apprentissage automatique profond, ledit troisième module d’identification (IDDL) ayant une troisième précision (PDL) correspondant à celle de l’apprentissage automatique profond ;

caractérisé en ce qu’il comprend en outre :

- un module d’agréation et de mutualisation (MAMR) recevant en entrée les première, deuxième, et troisième pluralités d’images labellisées respectivement par l’expert métier, par apprentissage automatique et par apprentissage automatique profond et délivrant en sortie une pluralité d’images labélisées mutualisées d’ajustement ayant la meilleure précision ; et

- le module d’agrégation et de mutualisation (MAMR) recevant également en entrée les première, deuxième, et troisième pluralités invariants labellisés respectivement par l’expert métier, par apprentissage automatique et par apprentissage automatique profond et délivrant également en sortie une pluralité d’invariants labélisés mutualisés d’ajustement ayant la meilleure précision ; et

- en ce qu’en réponse à la réception d’une nouvelle pluralité d’images de l’objet à identifier, les premier, deuxième, et troisième modules d’identification sont conçus pour utiliser en entrée, séparément et séquentiellement pour leur identification respective, la pluralité d’images labellisés mutualisés d’ajustement et/ou la pluralité d’invariants labellisés mutualisés d’ajustement issus du module d’agrégation et de mutualisation (MAMR).

2. Système selon la revendication 1 , caractérisé en ce qu’il comprend en outre une base mutualisée d’images labellisées enrichie séquentiellement et

continuellement par les résultats du module d’agrégation et de mutualisation.

3. Système selon la revendication 1 ou la revendication 2 caractérisé en ce qu’il comprend en outre une base mutualisée d’invariants labellisés enrichie

séquentiellement et continuellement par les résultats du module d’agrégation et de mutualisation.

4. Système selon l’une quelconque des revendications précédentes, caractérisé en ce que la meilleure précision (PMIM) est égale au maximum entre la précision du premier module (PEM), la précision du deuxième module (PML) et la précision du troisième module (PDL).

5. Système selon l’une quelconque des revendications précédentes, caractérisé en ce que le label mutualisé d’ajustement (LAB) est égal au label du premier module (ILEM) si la précision du premier module (PEM) est supérieure à la précision du deuxième (PML) et du troisième modules (PDL) ; en ce que le Label d’ajustement de l’objet (LAB) est égal au Label du deuxième module (ILML) si la précision du deuxième module est supérieure à celle du troisième (PDL) et du premier module (PEM), et en ce que le Label d’ajustement (LAB) est égal à celui du troisième module si la précision du troisième module est supérieure à celle du premier (PEM) et à celle du deuxième module (PML).

6. Système selon l’une quelconque des revendications précédentes, caractérisé en ce que les Images labélisées d’ajustement sont obtenues par la consolidation des Images de l’objet avec le Label d’ajustement de l’objet.

7. Système selon l’une quelconque des revendications précédentes, caractérisé en ce que les Invariants labélisés mutualisés d’ajustement sont obtenus par la consolidation des Invariants agrégés avec le Label d’ajustement de l’objet.

8. Système selon l’une quelconque des revendications précédentes, caractérisé en ce que les Invariants agrégés sont obtenus par l’agrégation des Invariants labélisés des premier, second et troisième modules d’identification.

9. Procédé d’identification d’un objet à partir d’images labellisées dudit objet mis en oeuvre par un système selon l’une des revendications 1 à 8.

10. Programme d’ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur et/ou exécutable par un processeur, caractérisé en ce qu’il comprend des instructions pour l’exécution du procédé selon la revendication 9 lorsque ledit programme est exécuté sur un ordinateur.

Description:
PROCEDE ET SYSTEME D’IDENTIFICATION D’OBJETS A PARTIR D’IMAGES

LABELLISEES DESDITS OBJETS

[0001 ] Le domaine de l’invention est celui de l’identification d’objets à partir d’images labellisées (étiquetées) desdits objets.

[0002] Elle trouve une application dans de nombreux secteurs, qui peuvent aller de la reconnaissance faciale et vocale, des voitures autonomes, de la robotique civile et militaire jusqu’à la reconnaissance d’images médicales, en passant par la détection de défauts en industrie telle que celle du bois par exemple.

[0003] Dans l’exemple de l’industrie du bois, on entend par « image labellisée » d’un défaut du bois, une image dans laquelle on a relié un défaut à un défaut connu appartenant au groupe formé par exemple par fissure, trou de termite, trou de choc.

[0004] On connaît au moins trois approches différentes pour classifier, reconnaître ou identifier des défauts à partir d’images labellisées de ces défauts.

[0005] En premier lieu, on connaît l’approche dite « par Expert Métier », basée sur l’expérience et le savoir-faire de l’Expert de l’objet à identifier, par exemple l’Expert en industrie du bois. L’expert métier traite alors en entrée une grande quantité d’images de poutres et attribue en sortie un « label » correspondant à la présence ou non d’un défaut connu. Une telle approche est par exemple celle décrite dans le document US9135747B.

[0006] En deuxième lieu, on connaît en intelligence artificielle l’approche appelée par « apprentissage automatique » ou « Machine Learning » en anglo-saxon, qui fonctionne par apprentissage automatique d’une base d’invariants (attributs ou caractéristiques) labellisés. Un algorithme est entraîné avec une grande quantité de données en entrée aboutissant à la création d’un modèle qui permet de fournir une sortie. Le modèle est ici une représentation de la question posée et de la manière d’y répondre.

[0007] En troisième lieu, on connaît en intelligence artificielle l’approche appelée par « apprentissage automatique profond » ou « Deep Learning » en anglo-saxon, qui fonctionne par la mise en correspondance des images contenant l’objet et les labels associés. Une telle approche est par exemple celle décrite en reconnaissance faciale dans US2015/0125049 de Facebook. [0008] La première approche par Expert Métier est limitée par l’expertise et la capacité humaine à classifier des objets complexes. Généralement, le taux de réussite de l’expert métier est entre 85% et 90% (Taux de réussite = Nombre d’identifications réussies / Nombre d’identifications réalisées * 100).

[0009] La deuxième approche par Machine Learning a besoin d’une base de données d’invariants labélisés représentative, pas nécessairement factorielle, afin de pouvoir reconnaître ou identifier un objet donné. Le taux de réussite de cette approche dépasse rarement ou de peu celui de l’expert métier.

[0010] La troisième approche par Deep Learning a besoin d’importantes bases de données 2D/3D labélisées, obtenues en factoriel. Elle réussit à identifier un objet donné avec un taux de réussite ou de précision supérieur à 95%, d’où l’intérêt de cette approche.

[001 1 ] Dans la pratique, la notion de taux de réussite est également appelée précision ou confiance associée aux réponses des modèles d’identification d’objets.

[0012] Par la suite, on retient la notion de précision et on l’associe spécifiquement aux réponses de chaque approche.

[0013] L’inconvénient de l’existant réside dans le fait que chaque approche est utilisée individuellement ou éventuellement en cascade, l’une après l’autre, ne permettant pas d’interagir entre les approches. Cela induit des temps d’application très longs, des discordances entre la mise à jour des bases de données, voire entre les connaissances extraites ainsi que la limitation des confiances en identification.

[0014] De plus, au fur à mesure de l’implémentation automatique des techniques d’intelligence Artificielle (Machine Learning, Deep Learning) dans des applications de détection, de classification, de reconnaissance et d’identification d’objets, l’action de l’Expert Métier diminue et implicitement son expérience s’affaiblit. Cela induit à court ou à moyen terme à un appauvrissement du savoir-faire de l’Expert Métier en faveur d’une connaissance artificielle de plus en plus riche et élargie.

[0015] Le but de l’invention est de remédier aux inconvénients des approches d’identification de l’art antérieur.

[0016] Elle vise à faire travailler en simultané et séquentiellement les trois approches via des procédés mis en parallèle avec un enrichissement mutuel et continu des bases de données labellisées nécessaires aux apprentissages automatiques des modèles. [0017] Elle porte sur un système d’identification d’un objet à partir d’images dudit objet à identifier, comprenant :

- un module d’extraction d’invariants de l’objet à partir d’images dudit objet ;

- un premier module d’identification dudit objet propre à recevoir en entrée les images de l’objet à identifier et les invariants issus du module d’extraction

d’invariants, et apte à délivrer en sortie une première pluralités d’images dudit objet labellisées par un expert métier, et une première pluralité d’invariants labellisés par ledit expert métier; ledit premier module d’identification ayant une première précision d’identification correspondant à celle de l’expert métier ;

- un deuxième module d’identification propre à recevoir en entrée les images de l’objet à identifier et les invariants labellisés par l’expert métier et apte à délivrer en sortie une deuxième pluralité d’images dudit objet labellisées par apprentissage automatique et une deuxième pluralité d’invariants labellisés par apprentissage automatique; ledit deuxième module d’identification ayant une deuxième précision correspondant à celle de l’apprentissage automatique ; et

- un troisième module d’identification propre à recevoir en entrée les images de l’objet à identifier et apte à délivrer en sortie une troisième pluralité d’images labellisées par apprentissage automatique profond et une troisième pluralité d’invariants labellisés par apprentissage automatique, ledit troisième module d’identification ayant une troisième précision correspondant à celle de

l’apprentissage automatique profond.

[0018] Selon une définition générale de l’invention, le système comprend en outre :

- un module d’agréation et de mutualisation d’images labélisées recevant en entrée les première, deuxième, et troisième pluralités d’images labellisées respectivement par l’expert métier, par apprentissage automatique et par apprentissage automatique profond et délivrant en sortie une pluralité d’images labélisées mutualisées d’ajustement ayant la meilleure précision ; et

- un module d’agrégation et de mutualisation d’invariants labélisés recevant en entrée les première, deuxième, et troisième pluralités invariants labellisés

respectivement par l’expert métier, par apprentissage automatique et par

apprentissage automatique profond et délivrant en sortie une pluralité d’invariants labélisés mutualisés d’ajustement ayant la meilleure précision ; et

- en réponse à une nouvelle pluralité d’images de l’objet à identifier, les premier, deuxième, et troisième modules d’identification utilisent en entrée pour leur identification respective, la pluralité d’images labellisés mutualisés d’ajustement et/ou la pluralité d’invariants labellisés mutualisés d’ajustement issus des modules d’agrégation et de mutualisation.

[0019] Grâce à l’invention, le système d’identification bénéficie non seulement du résultat en sortie du module d’identification présentant la meilleure précision en phase d’apprentissage pour l’identification d’un objet choisi mais aussi de réutiliser (mutualiser) le meilleur résultat d’identification en entrée pour la phase de test (d’interrogation) sur les identifications ultérieures d’objet à traiter.

[0020] Il en résulte une identification aboutissant à des meilleurs résultats.

[0021 ] Ainsi le système d’identification conforme à l’invention permet de remédier aux inconvénients de chaque approche individuelle, de réduire les discordances entre la mise à jour des bases de données, voire entre les connaissances extraites et augmente les précisions de chaque approche respective grâce à la mutualisation des bases de données (images 2D/3D, invariants 2D/3D couplés à la meilleure précision) enrichies par la meilleure réponse.

[0022] De manière surprenante, c’est en mutualisant les bases de données issues des modules d’identification par Expert Métier, Machine Learning et Deep Learning en parallèle et synergie et non en silo comme dans l’art antérieur et en choisissant la meilleure précision qu’un système d’identification performant peut être obtenu, de plus sans entraîner de temps de traitement supplémentaire important.

[0023] En pratique, une base mutualisée d’images labellisées est enrichie

séquentiellement et continuellement par les résultats du module d’agrégation et de mutualisation d’images.

[0024] De même, une base mutualisée d’invariants labellisés est enrichie

séquentiellement et continuellement par les résultats du module d’agrégation et de mutualisation d’invariants.

[0025] Selon un mode de réalisation, la meilleure précision mutualisée est égale au maximum entre la précision de l’Expert Métier, la précision du Machine Learning et la précision du Deep Learning.

[0026] Selon un autre mode de réalisation, le label mutualisé d’ajustement est égal au label Expert Métier si la précision Expert Métier est supérieure à la précision Machine Learning et à la précision Deep Learning, le label mutualisé de l’objet est égal au Label Machine Learning si la Précision Machine Learning est supérieure à la Précision Deep Learning et à la Précision Expert Métier, le Label mutualisé est égal au Label Deep Learning si la Précision Deep Learning est supérieure à la Précision Expert Métier et à la Précision Machine Learning.

[0027] Selon encore un autre mode de réalisation, les Images labélisées mutualisées d’ajustement sont obtenues par la consolidation des images de l’objet avec le label mutualisé de l’objet.

[0028] Selon encore un autre mode de réalisation les invariants labélisés mutualisés d’ajustement sont obtenus par la consolidation des Invariants agrégés avec le Label mutualisé de l’objet, les Invariants agrégés sont obtenus par l’agrégation des

Invariants labélisés Expert Métier, des Invariants labélisés Machine Learning et des Invariants labélisés Deep Learning.

[0029] La présente invention a également pour objet un procédé d’identification d’un objet à partir d’images labellisées dudit objet mis en oeuvre par ledit système d’identification conforme à l’invention.

[0030] La présente invention a également pour objet un programme d’ordinateur téléchargeable depuis un réseau de communication et/ou enregistré sur un support lisible par ordinateur et/ou exécutable par un processeur, lequel comprend des instructions pour l’exécution du procédé conforme à l’invention lorsque ledit programme est exécuté sur un ordinateur.

[0031 ] D’autres caractéristiques et avantages de l’invention apparaîtront à la lecture de la description détaillée qui suit, faite à titre d’exemple non limitatif et en référence aux dessins annexés dans lesquels :

[0032] [Fig 1] représente schématiquement l’agrégation et la mutualisation des résultats de trois approches : Expert Métier, Machine Learning et Deep Learning, [0033] [Fig 2] représente schématiquement le processus d’identification d’objets par l’Expert Métier faisant appel à la Base mutualisée d’invariants 2D/3D labélisés,

[0034] [Fig 3] représente schématiquement le processus complet, d’apprentissage et d’identification d’objets par Machine Learning faisant appel à la Base mutualisée d’invariants 2D/3D labélisés,

[0035] [Fig 4] représente schématiquement le processus complet, d’apprentissage et d’identification d’objets par Deep Learning faisant appel à la Base mutualisée d’images 2D/3D labélisées,

[0036] [Fig 5]a, b, c, d sont des illustrations d’images 2D des défauts à identifier et des labels associés,

[0037] [Fig 6] est un label obtenu par approche Expert Métier, et [0038] [Fig 7] est un label obtenu par approche Deep Learning.

[0039] D’une figure à l’autre, les mêmes éléments sont repérés par les mêmes références.

[0040] En référence à la figure 1 , on a représenté un système d’identification d’objets qui va utiliser en parallèle les trois approches d’identification par Expert Métier, Machine Learning et Deep Learning.

[0041 ] En premier lieu, le système comprend un premier module d’identification IDEM entraîné par un expert métier EM qui reçoit en entrée des images IMO d’un objet à identifier (2D et/ou 3D), des invariants IVO extraits par un algorithme d’extraction EXTIV.

[0042] Par exemple, dans l’industrie du bois, les invariants ainsi extraits

appartiennent au groupe formé par la texture, la surface, la zone remplie et la zone vide, le diamètre équivalent, la longueur de l’axe majeur, la longueur de l’axe mineur, le périmètre...

[0043] En sortie, le premier module d’identification IDEM délivre des images labellisées ILEM de l’objet par l’expert métier (humain) selon des règles prédéfinies liées à l’objet à identifier et au métier de l’expert, des invariants labellisés par l’expert métier IVLEM, et une précision PEM de l’expert métier EM.

[0044] Par exemple, en identification de défauts dans une poutre en bois, le trou appartient à la liste de labels spécifiques en industrie du bois. Ici le trou (figure 6) dans la poutre a été identifié par l’expert métier par le label « Trou t_1 ».

[0045] En second lieu, le système d’identification comprend un deuxième module d’identification IDLM entraîné par apprentissage automatique appelé encore Machine Learning qui reçoit en entrée des images IMO d’un objet à identifier (2D et/ou 3D), des invariants (géométriques ou autres) et des invariants IVO extraits par

l’algorithme d’extraction EXTIV.

[0046] En sortie, le deuxième module d’identification IDLM délivre des images labellisées ILML de l’objet par machine learning, des invariants labellisés IVLML, et une précision PML du machine learning.

[0047] Enfin en troisième lieu, le système d’identification comprend encore en outre un troisième module d’identification IDDL entraîné par apprentissage automatique profond ou « Deep Learning » qui reçoit en entrée des images IMO d’un objet à identifier (2D et/ou 3D). [0048] En sortie, le troisième module d’identification IDDL délivre des images labellisées ILDL de l’objet par Deep Learning, des invariants labellisés IVLDL, et une précision PDL du Deep Learning.

[0049] Le troisième module d’identification IDDL a une précision PDL correspondant à celle de l’apprentissage automatique profond.

[0050] Comme on le verra plus en détail ci-après, il est prévu d’utiliser un module algorithmique d’Agrégation et de Mutualisation MAMR qui reçoit les résultats issus de trois approches Expert Métier EM, Machine Learning ML et Deep Learning DL afin de mutualiser les résultats issus de l’apprentissage et ne retenir que ceux ayant la meilleure précision afin de les réutiliser dans l’identification des nouvelles images de l’objet à traiter en phase de test.

[0051 ] En pratique, le module MAMR a comme entrées :

- les Images 2D/3D ILEM de l’objet labélisées par l’Expert Métier, les

lnvariants2D/3D IVLEM de l’objet labélisés par l’Expert Métier et la Précision de l’Expert Métier PEM,

- les Images 2D/3D de l’objet labélisées par Machine Learning ILML, les

lnvariants2D/3D de l’objet labélisés par Machine Learning IVLML et la Précision du Machine Learning PML,

- les Images 2D/3D de l’objet labélisées par Deep Learning ILDL, les Invariants 2D/3D IVLDL de l’objet labélisés par Deep Learning et la Précision du Deep Learning PDL.

[0052] En sortie, le module MAMR génère :

- des Images 2D/3D de l’objet labélisées et mutualisées ILM,

- des Invariants 2D/3D de l’objet labélisés et mutualisés IVLM,

- une Précision mutualisée image PMIM et

- une Précision mutualisée invariant PMIV.

[0053] Avantageusement, les Précisions mutualisées PMIM et PMIV sont choisies de manière à être égales au maximum entre la Précision de l’Expert Métier PEM, la Précision du Machine Learning PML et la Précision du Deep Learning PDL.

[0054] Le module d’agrégation et de mutualisation délivre en sortie un résultat qui correspond au label retenu, appelé encore « Label LAB » de l’objet mutualisé.

[0055] Le label retenu, mutualisé LAB est égal :

- au Label de l’objet donné par l’Expert Métier EM si la Précision de l’Expert Métier PEM est supérieure à la Précision de la Machine Learning PML et à la Précision du Deep Learning PDL,

- au Label de l’objet donné par Machine Learning si la Précision du Machine

Learning PML est supérieure à la Précision du Deep Learning PDL et à la Précision de l’Expert Métier PEM,

- au Label de l’objet donné par Deep Learning si la Précision du Deep Learning PDL est supérieure à la Précision de l’Expert Métier PEM et à la Précision du Machine Learning PML.

[0056] Les Images 2D/3D labélisées mutualisées sont obtenues par la consolidation des Images 2D/3D de l’objet avec le Label mutualisé LAB de l’objet.

[0057] Les Invariants 2D/3D labélisées mutualisés sont obtenus par la consolidation des Invariants agrégés avec le Label mutualisé LAB de l’objet.

[0058] Les Invariants 2D/3D agrégés sont obtenus par l’agrégation des Invariants labélisés par l’Expert Métier, des Invariants labélisés par Machine Learning et des Invariants labélisés par Deep Learning.

[0059] Très avantageusement, les images 2D/3D labélisées mutualisées et les Précisions mutualisées associées vont enrichir une Base mutualisée d’images 2D/3D labélisées BMIM avec Précisions associées PMIM. De même, les Invariants 2D/3D labélisés mutualisés et les Précisions mutualisées vont enrichir une Base mutualisée d’invariants 2D/3D labélisés BMIV et avec Précisions associées PMIV.

[0060] La Base mutualisée d’images 2D/3D labélisées BMIM avec Précisions associées PMIM sera utilisée pour l’ajustement des modules d’identification IDLM et IDDL (en pointillé dans la figure 1 ). La Base mutualisée d’invariants 2D/3D labélisés BMIV et avec Précisions associées PMIV sera utilisée par le module IDEM (en pointillé dans la figure 1 ).

[0061 ] Le processus complet d’enrichissement et d’utilisation des bases mutualisées de données labélisées BMIM (images) et BMIV (invariants) comporte de nombreuses étapes d’acquisition et de traitement de données.

[0062] Les images 2D/3D IMO d’un objet à identifier sont envoyées :

- vers l’Approche 1 d’identification d’objets IDEM par l’Expert Métier (figure 2),

- vers un Module algorithmique d’Extraction d’invariants 2D/3D EXTIV de l’objet (figure 2),

- vers l’Approche 3 IDDL d’identification d’objets par Deep Learning (figure 4),

[0063] Le Module algorithmique d’Extraction d’invariants 2D/3D EXTIV génère les Invariants 2D/3D IVO de l’objet à partir des Images 2D/3D IMO de l’objet. [0064] Les Invariants 2D/3D IVO de l’objet sont envoyés :

- vers l’Approche 1 IDEM d’identification d’objets par l’Expert Métier (figure 2),

- vers l’Approche 2 IDLM d’identification d’objets par Machine Learning (figure 3), [0065] En référence à la figure 2, l’Approche 1 IDEM d’identification d’objets par l’Expert Métier génère en sortie :

- les Images 2D/3D de l’objet labélisées par l’Expert Métier ILEM,

- les lnvariants2D/3D de l’objet labélisés par l’Expert Métier IVLEM,

- la Précision de l’Expert Métier PEM,

à partir de ses entrées :

- les images 2D/3D de l’objet à identifier,

- les Invariants 2D/3D de l’objet.

[0066] En référence à la figure 3, l’Approche 2 d’identification d’objets par Machine Learning génère en sortie :

- les Images 2D/3D de l’objet labélisées par Machine Learning ILML,

- les lnvariants2D/3D de l’objet labélisés par Machine Learning IVML,

- la Précision du Machine Learning PML,

à partir de ses entrées :

- les Images 2D/3D de l’objet à identifier,

- les Invariants 2D/3D de l’objet.

[0067] En référence à la figure 4, l’Approche 3 d’identification d’objets par Deep Learning génère en sortie :

- les Images 2D/3D de l’objet labélisées ILDL par Deep Learning,

- les lnvariants2D/3D de l’objet labélisés par Deep Learning IVLDL,

- la Précision du Deep Learning PDL,

à partir de ses entrées les images 2D/3D de l’objet à identifier.

[0068] En référence à la figure 2, en réponse à des nouvelles images IMO de l’objet à identifier (phase de test), le processus complet d’identification d’objets par l’Expert Métier va faire appel à la Base mutualisée d’invariants 2D/3 labélisés BMIV pour ajuster son identification humaine si les invariants stockés dans la base de données présente une meilleure précision que ceux issus du module d’extraction EXTIV.

[0069] En premier lieu, les nouvelles images 2D/3D IMO d’un objet à identifier sont envoyées :

- vers l’Expert Métier pour identifier l’objet, - vers un Module algorithmique d’Extraction d’invariants 2D/3D EXTIV de l’objet,

- vers un Module algorithmique de Consolidation des résultats CREM.

[0070] De manière classique, le Module algorithmique d’Extraction d’invariants 2D/3D EXTIV génère les Invariants 2D/3D de l’objet à partir des Images 2D/3D de l’objet.

[0071 ] Les Invariants 2D/3D IVO de l’objet sont envoyés :

- vers un Module de Recherche des Invariants 2D/3D labélisés RIVL correspondant dans la Base mutualisée d’invariants 2D/3D labélisés avec Précisions associées BMIV,

- vers un Module algorithmique de Consolidation de résultats CREM.

[0072] Lorsque la recherche est positive, c’est-à-dire lorsque les Invariants 2D/3D labélisés issus de la Base mutualisée d’invariants 2D/3D BMIV sont meilleurs que ceux issus du module d’extraction, alors les invariants labélisés avec Précisions associées issus de la base de données BMIV sont envoyés à leur tour vers l’Expert Métier comme aide à l’identification humaine de l’objet. Sinon, en cas de recherche négative l’expert s’appuie sur les invariants issus du module d’extraction EXTIV.

[0073] L’Expert Métier génère le Label ILEM de l’objet et la Précision associée PEM sur la base des invariants ainsi mis à jour et optimisés grâce à la base de données d’invariants labellisés et mutualisés.

[0074] Le Module algorithmique de Consolidation de résultats CREM génère les Images 2D/3D de l’objet labélisées par l’Expert Métier, les Invariants 2D/3D de l’objet labélisés par l’Expert Métier et la Précision de l’Expert Métier en consolidant

(associant) le Label de l’objet aux Images 2D/3D de l’objet, aux Invariants 2D/3D de l’objet et à la Précision associée.

[0075] De manière similaire, en phase de test sur de nouvelles images à traiter, le processus complet d’identification d’objets par Machine Learning va faire appel à la Base mutualisée d’invariants 2D/3D labélisés (figure 3). Le processus comporte deux phases en interaction.

[0076] En premier lieu, le processus comprend une phase d’Apprentissage par Machine Learning afin d’ajuster (optimiser, mettre à jour) le Modèle Machine

Learning sur la correspondance Invariants 2D/3D et Labels à partir des invariants issus de la Base mutualisée d’invariants 2D/3D labélisés avec Précisions associées.

[0077] En second lieu (en phase de test), le processus comprend une phase d’interrogation du Modèle Machine Learning IDML, ajusté durant la phase

d’Apprentissage, qui comporte les éléments suivants : - les images 2D/3D d’un objet à identifier sont envoyées :

- vers un Module algorithmique d’Extraction d’invariants 2D/3D de l’objet,

- vers un Module algorithmique de Consolidation des résultats,

- le Module algorithmique d’Extraction d’invariants 2D/3D génère les Invariants 2D/3D de l’objet à partir des Images 2D/3D de l’objet,

- les Invariants 2D/3D de l’objet sont envoyés

- vers un Module Interrogation du Modèle Machine Learning ajusté,

- vers le Module algorithmique de Consolidation des résultats,

- le Module Interrogation du Modèle Machine Learning ajusté génère le Label de l’objet et la Précision associée,

- le Module algorithmique de Consolidation de résultats génère les Images 2D/3D de l’objet labélisées par Machine Learning, les Invariants 2D/3D de l’objet labélisés par Machine Learning et la Précision du Machine Learning en consolidant (associant) le Label de l’objet aux Images 2D/3D de l’objet, aux Invariants 2D/3D de l’objet et à la Précision associée.

[0078] De manière similaire, le processus complet d’identification d’objets par Deep Learning va faire appel à la Base mutualisée d’images 2D/3D labélisées (figure 4). Le processus comporte lui aussi deux phases en interaction.

[0079] En premier lieu, une phase d’Apprentissage par Deep Learning permet d’ajuster le Modèle Deep Learning sur la correspondance Images 2D/3D x Labels à partir de la Base mutualisée d’images 2D/3D labélisées avec Précisions associées.

[0080] En second lieu (en phase de test), le processus comprend une phase d’interrogation du Modèle Deep Learning IDDL, ajusté durant la phase

d’Apprentissage.

[0081 ] En pratique, les images 2D/3D d’un objet à identifier sont envoyées :

- vers un Module Interrogation du Modèle Deep Learning ajusté IDDL,

- vers un Module algorithmique de Consolidation des résultats CRDL.

[0082] Le Module Interrogation du Modèle Deep Learning ajusté IDDL génère à la fois le Label de l’objet, la Précision associée et les Invariants 2D/3D de l’objet,

[0083] Le Module algorithmique de Consolidation de résultats CRDL génère les Images 2D/3D de l’objet labélisées par Deep Learning, les Invariants 2D/3D de l’objet labélisé par Deep Learning et la Précision du Deep Learning en consolidant (associant) le Label de l’objet aux Images 2D/3D de l’objet, aux Invariants 2D/3D de l’objet et à la Précision associée. [0084] En référence aux figures 5a à 5d on a illustré un exemple de quatre images d’une poutre en bois comprenant des anomalies ou des défauts à identifier.

[0085] En figures 5a à 5d, on a représenté une pluralité de défauts possibles sur une poutre : fissure, trou de termite, trou de choc, ...

[0086] La problématique ici est d’identifier le défaut rédhibitoire en industrie du bois sur une grande quantité de poutres en bois à traiter.

[0087] Par exemple, en identification de défauts dans une poutre en bois, le trou appartient à la liste de labels spécifiques en industrie du bois. Ici le trou (figure 6) dans la poutre a été identifié par expert métier et machine learning et labélisé par le label « Trou t_1 ».

[0088] En figure 7, ce même trou a été identifié et labellisé par deep learning par le label « Trou ». Chaque module d’identification (EM, ML, DL) a le même label mais avec une précision différente.

[0089] En référence à la figure 6 on a représenté des Labels obtenus par l’Approche Experts Métiers des anomalies ou des défauts sur l’une des images de la poutre en bois :

Trou t_1 :

t1 Joc : localisation du Trou_1 [x1 ,y1 ,x2,y2]

t1_d : diamètre du Trou_1 en mm

t1_p : profondeur du Trou_1 en mm

Fissure f_1 :

f1 Joc : localisation de la Fissure l [x1 ,y1 ,x2,y2]

f 1 J : longueur de la Fissurejl en mm

f1_e : épaisseur de la Fissurejl en mm

Fissure f_2 :

f2Joc : localisation de la Fissure_2 [x1 ,y1 ,x2,y2]

f2J : longueur de la Fissure_2 en mm

f2_e : épaisseur de la Fissure_2 en mm

Trous termites tm_(n) :

tm1 Joc : localisation trous_ termites Jl [x1 ,y1 ]

tm2Joc : localisation trous_ termites_2 [x1 ,y1 ] tm3_loc : localisation trous_ termites_3 [x1 ,y1 ]

tm4_loc : localisation trous_ termites_4 [x1 ,y1 ]

tm5_loc : localisation trous_ termites_5 [x1 ,y1 ]

tm6_loc : localisation trous_ termites_6 [x1 ,y1 ]

tm7_loc : localisation trous_ termites_7 [x1 ,y1 ]

Bois :

b_es : essence du bois

b_état : état du bois (bon, moyen, mauvais).

[0090] En référence à la figure 7 on a représenté des Labels obtenus par l’Approche Deep Learning et les régions d’intérêt associées aux anomalies ou aux défauts sur la même image de la poutre en bois. Ces Labels sont de type : Trou, Fissure et Trou termites.

[0091 ] A titre d’exemple non limitatif, la structure de l’Approche Machine Learning utilisée pour la classification de défauts (apprentissage supervisé) est de type Support Vector Machine (SVM).

[0092] A titre d’exemple non limitatif, la structure de l’Approche Deep Learning utilisée pour la détection et la classification de défauts est de type « Faster R-CNN (Régions with Convolutional Neural Network features) object classification ».

[0093] A titre d’exemple non limitatif, l’agrégation des invariants utilise des opérateurs booliens adaptatifs : ET, OU et XOR. D’autres méthodes sont applicables : les méthodes Bayésiennes probabilistes, la méthode de Dempster-Shafer» basée sur la théorie des croyances, les méthodes de rangs de Borda Count, Ordered Weighted Averaging operator (OWA), Aggregator Weight-Functional Operator (AWFO), les Chaînes de Markov cachées (CMC), la logique floue basée sur des règles

d’inférence et les réseaux de neurones artificiels.

[0094] Ainsi l’invention permet de remédier aux inconvénients de chaque approche individuelle, de réduire les discordances entre la mise à jour des bases de données, voire entre les connaissances extraites et augmente les précisions de chaque approche respective grâce à la mutualisation des bases de données (images 2D/3D, invariants 2D/3D couplés à la meilleure précision) enrichies par la meilleure réponse [0095] Grâce à l’invention :

- l’approche Deep Learning utilise les Labels acquis en apprentissage par l’Approche Expert Métier et les Labels de l’Approche Machine Learning,

- l’Approche Machine Learning utilise les invariants acquis en apprentissage par l’Approche Expert Métier et les invariants de l’Approche Deep Learning,

- l’Approche Expert Métier utilise les invariants de l’Approche Deep Learning et les invariants de l’Approche Machine Learning,

pour une meilleure précision d’identification.

[0096] De plus, le système d’identification bénéficie non seulement du résultat en sortie du module d’identification présentant la meilleure précision en phase d’apprentissage pour l’identification d’un objet choisi mais aussi de réutiliser

(mutualiser) le meilleur résultat d’identification en entrée pour la phase de test sur les identifications ultérieures d’objet à traiter.

[0097] Les domaines d’application de l’invention sont larges, couvrant la détection, la classification, la reconnaissance et l’identification d’objets à intérêt.