Domaine de l'invention

La présente invention concerne un système d'affichage visuel d'informations sur des objets réels pour des applications de réalité augmentée dans l'industrie, notamment pour la conception, la fabrication, l'assemblage ou la maintenance d'équipements techniques.

Différents systèmes de réalité augmentée sont connus pour étendre la perception de la réalité visuelle, et notamment des systèmes de visualisation par un écran de visualisation, une tablette ou des lunettes de réalité augmentée affichant une combinaison de capture de l'image de l'objet réel et de données sous forme d'image numérique de la maquette virtuelle de l'objet associé.

Ces solutions de réalité augmentée permettent d'améliorer l'efficacité des étapes de travail manuel dans la fabrication, l'assemblage et la maintenance et, en même temps, la qualité du travail. La transmission précise d'informations, par exemple l'état de planification numérique (modèle CAO) directement à un équipement, rend la transmission complexe et sujette à erreur des plans de construction en utilisant des modèles et d'autres instruments de mesure dispensables. Une comparaison de variance visuelle peut être réalisée à tout moment et de manière intuitive pour un utilisateur. De plus, des instructions de travail, par exemple des instructions pas-à-pas, peuvent être mises à disposition directement sur l'objet de travail ou dans le champ de vision de l'utilisateur, c'est-à-dire exactement là où elles sont réellement nécessaires. Des scénarii typiques d'application de l'invention comprennent des systèmes d'assistance d'ouvriers pour afficher des instructions d'assemblage et de maintenance et des informations pour l'assurance qualité. Par exemple, les positions d'assemblage ou les trous de forage peuvent être marqués avec précision ou des points de soudure ou des supports à vérifier peuvent être identifiés. Le système est également adapté pour fournir une assistance au personnel d'entretien sur place par des experts non-résidents. État de la technique

On connaît dans l'état de la technique le brevet américain US9436993 décrivant un système de réalité augmentée comprenant un système de traitement d'image ; un premier module d'imagerie, comprenant une ou plusieurs caméras, en communication avec le système de traitement d'image, dans lequel le système de traitement d'image est configuré pour :

- recevoir des données d'image secondaires provenant d'un second dispositif d'imagerie ;

- segmenter lesdites données d'image secondaires pour déterminer une première surface d'intérêt ;

- recevoir des données d'imagerie en temps réel à partir du premier module d'imagerie, les données d'imagerie en temps réel provenant de la ou des caméras comprenant des images d'une ou plusieurs : une seconde surface d'intérêt, un marqueur d'ancrage, et une orientation de la surface, une pluralité de marqueurs précoces ou tardifs, et des outils ;

- calculer une transformation d'enregistrement de la première surface d'intérêt par rapport à la seconde surface d'intérêt en utilisant un ou plusieurs parmi : le marqueur d'ancrage, la pluralité de marqueurs précoces ou tardifs, ou la seconde surface ;

- calculer un emplacement de suivi du premier module d'imagerie par rapport à la première surface d'intérêt en utilisant un ou plusieurs des éléments suivants : le marqueur d'ancrage, la pluralité de marqueurs précoces ou tardifs, la seconde surface ou des caractéristiques sur la seconde surface ; et

- créer une image améliorée en combinant des informations provenant des données d'imagerie en temps réel avec des informations correspondantes calculées à partir des données d'image secondaires sur la base de l'emplacement du premier module d'imagerie.

Pour assurer une parfaite synchronisation du référentiel de l'image virtuelle et d'un objet réel, il est connu par la demande de brevet EP 2715662 un procédé de localisation d'une caméra et de reconstruction 3d dans un environnement partiellement connu. Ce procédé de localisation d'une caméra et de reconstruction 3D de l'environnement statique dans lequel elle évolue comporte un objet d'intérêt dont le modèle 3D est connu qui comprend les étapes suivantes :

- a/ calcul d'une pose initiale de la caméra dans l'environnement et d'une reconstruction initiale,

- b/ calcul de la pose de la caméra pour chaque nouvelle image par appariement de primitives 3D de l'environnement avec des primitives 2D de ladite image et reconstruction de primitives 3D de l'environnement par triangulation,

- c/ optimisation simultanée des poses de la caméra et des primitives 3D par minimisation d'une erreur de reprojection sur plusieurs images.

Le modèle 3D est une description géométrique de l'objet d'intérêt, l'erreur de reprojection ne comporte que deux types de termes, un premier type de termes lié à des primitives contraintes par le modèle 3D et un deuxième type de termes lié à des primitives de l'environnement autre que l'objet, et l'étape d'optimisation comprend une sous-étape d'association des primitives à l'environnement ou au modèle 3D.

Inconvénients de l'art antérieur

Les solutions de l'art antérieur ne sont pas totalement satisfaisantes, car elles ne permettent pas de visualiser les informations de réalité augmentées sur les parties masquées de l'objet réel, par exemple par l'interposition entre la caméra et l'objet de la main de l'opérateur, du bras d'un robot, ou d'un outil de traitement.

Dans les solutions de l'art antérieur, les informations numériques apparaissent en superposition, non pas avec l'objet, mais avec l'image de l'élément interposé entre la caméra et l'objet, ce qui enlève toute utilité de ces informations.

Solution apportée par l'invention

L'invention vise à remédier à ces inconvénients.

À cet effet, selon un premier aspect de l'invention, il est proposé un procédé de visualisation d'une image combinant une image d'un objet réel provenant d'un système de capture vidéo avec des informations numériques provenant d'un modèle tridimensionnel de l'équipement, comportant :

• un traitement de recalage en temps réel d'un repère dudit modèle tridimensionnel avec un repère du système de capture vidéo, un repère de l'objet de l'objet réel, et

• un affichage d'une partie au moins desdites informations numériques en incrustation sur l'image capturée par ledit système de capture vidéo.

Le procédé selon l'invention comporte en outre une étape initiale d'enregistrement de la texture de référence de l'objet réel.

Le procédé selon l'invention comporte en outre une étape d'analyse des images transmises par le système de capture vidéo.

Le modèle tridimensionnel peut être enregistré sur tout support d'enregistrement, local tel qu'un dispositif portable, par exemple un téléphone ou une tablette, ou distant, par exemple sur un serveur numérique.

Selon l'invention, l'étape d'analyse comporte :

• une génération d'une image de synthèse à partir d'une part de l'image capturée, et d'autre part du modèle tridimensionnel de l'équipement texturé à partir de la texture enregistrée,

• une étape de calcul d'une image composite par mélange de l'image de synthèse et de l'image capturée.

L'image de synthèse peut comporter des information numériques supplémentaires, par exemple des étiquettes.

Lors de l'étape de calcul de l'image composite par mélange, l'image de synthèse peut être appliquée au-dessus de l'image capturée, avec une transparence supérieure à un seuil prédéterminé. Le seuil prédéterminé peut, par exemple, être de 50 %.

Selon un deuxième aspect de l'invention, il est proposé un système comportant :

• un système de capture vidéo,

• un support d'enregistrement comportant une maquette virtuelle, - un équipement réel associé à la maquette numérique,

- un module de visualisation configuré pour mettre en œuvre l'étape initiale et l'étape d'analyse selon le premier aspect de l'invention, ou l'un ou plusieurs de ses perfectionnements.

Selon un troisième aspect de l'invention, il est proposé un produit programme d'ordinateur, chargeable directement dans la mémoire interne d'un ordinateur, comprenant des portions de code de logiciel pour l'exécution des étapes du procédé de visualisation selon le premier aspect de l'invention, ou l'un ou plusieurs de ses perfectionnements, lorsque ledit programme est exécuté sur un ordinateur.

Présentation des figures

D'autres données, caractéristiques et avantages de la présente invention apparaîtront à la lecture de la description de mises en œuvre et de modes de réalisation nullement limitatifs, au regard de dessins annexés sur lesquels :

- la figure 1 est un schéma d'un système selon l'invention,

- la figure 2 est un schéma d'une image partiellement occultée avec un procédé selon l'art antérieur,

- la figure 3 est un schéma d'une image obtenue avec le procédé selon l'invention.

Description des modes de réalisation

Les modes de réalisation décrits ci-après n'étant nullement limitatifs, on pourra notamment considérer des variantes de l'invention ne comprenant qu'une sélection de caractéristiques décrites, par la suite isolées des autres caractéristiques décrites, si cette sélection de caractéristiques est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure. Cette sélection comprend au moins une caractéristique, de préférence fonctionnelle sans détails structurels, ou avec seulement une partie des détails structurels si cette partie uniquement est suffisante pour conférer un avantage technique ou pour différencier l'invention par rapport à l'état de la technique antérieure. Il est maintenant décrit conjointement à la fois un mode de réalisation d'un système selon l'invention et un procédé selon l'invention.

La figure 1 illustre un mode de réalisation d'un système 100 selon l'invention.

Il est schématiquement représenté un objet réel 200.

Un système de capture vidéo 300 peut capturer une ou plusieurs images de l'objet réel 200 et produire des images capturées le.

Un serveur d'information numérique 400 est schématiquement représenté sur la figure 1. Le serveur d'informations numérique comporte un enregistrement d'un modèle tridimensionnel de l'objet réel 200. Le serveur d'informations numériques 400 est configuré pour générer des informations numériques In.

On comprend que le modèle tridimensionnel pourrait être enregistré sur un autre support d'enregistrement qu'un serveur numérique, par exemple sur un dispositif portable, tel qu'un téléphone ou une tablette.

Un calculateur 500 est schématiquement représenté sur la figure 1. Le calculateur 500 est configuré pour : recevoir l'image capturée le par le système de capture vidéo 300, recevoir des informations numériques In relatives à l'objet réel 200 et générées par le serveur d'informations numériques 400, combiner l'image reçue avec les informations reçues.

Le calculateur 500 est en outre configuré pour mettre en œuvre un traitement de recalage en temps réel d'un repère 402 du modèle tridimensionnel avec un repère 302 du système de capture vidéo 300 et un repère 202 de l'objet de l'objet réel 200. L'objet réel est représenté dans dans un environnement virtuel sous forme d'objet virtuel dans lequel les éléments sont représentés selon un repère qui lui est propre, le repère 402. L'objet réel est dans un environnement disjoint et placé selon un repère qui n'est pas directement lié à celui du monde virtuel, le repère 202. Le système de capture vidéo 300 observe le monde réel à travers une caméra qui permet de générer une image de la pièce dans son environnement. On peut voir dans l'image l'objet réel projeté sur le plan image et placé sur une zone dont les coordonnées sont reliée à un repère image, le repère 302. Grâce à la technologie de recalage il est possible d'identifier des éléments visuels pouvant être relié à la scène virtuelle et ainsi replacer dans un environnement virtuel les différents objets. Ainsi on sait placer la caméra à une position relative de l'objet virtuel de sorte que l'image produite par la caméra est alignée avec le modèle 3D virtuel tel que dans le monde réel. Cet alignement permet ensuite de réaliser une projection de la texture (image) de l'objet sur le modèle 3D virtuel, ce qui est expliqué par la suite.

Le calculateur 500 est aussi configuré pour générer une image Ig comportant une partie au moins des informations numériques en incrustation sur l'image capturée par ledit système de capture vidéo 300.

Il est en outre illustré sur la figure 1 un dispositif de visualisation 600. Le dispositif de visualisation 600 est configuré pour afficher l'image Ig générée par le calculateur 500.

L'image Ig peut être visualisée par un superviseur (non représenté) aux fins de contrôler divers paramètres de l'objet réel 200.

On comprend que lorsqu'un utilisateur U intervient sur l'objet, une partie de son corps peut s'interposer entre l'objet réel 200 et le système de capture vidéo 300.

Sur l'image capturée le par le système de capture vidéo 300, une partie de l'objet réel 200 est alors masquée par la partie du corps de l'utilisateur qui est interposée.

La figure 2 illustre l'image Ig affichée par le dispositif de visualisation 600, lorsque deux doigts Dl, D2 de l'utilisateur U sont interposés entre le système de capture vidéo 300 et l'objet réel 200. On note également la présence de l'information, en réalité augmentée, de la taille de l'objet, de 5 cm dans l'exemple représenté. L'information de taille de l'objet provient des informations numériques In.

En ce cas, le superviseur ne peut pas contrôler en temps réel l'état de l'objet réel 200 une partie au moins de l'objet est masqué.

Le procédé selon l'invention comporte :

• une étape initiale Ei d'enregistrement d'une texture de référence de l'objet réel, et • une étape d'analyse de l'image capturée IC par le système de capture vidéo 300.

Dans l'exemple représenté sur la figure 2, on note que l'objet réel comporte une texture 204 en pointillé. La texture enregistrée est notée T200.

L'étape d'analyse Ea comporte une extraction Ee des zones dites visibles Zv dont la texture correspond à la texture enregistrée T200, et des zones dites masquées Zm dont la texture diffère de la texture enregistrée T200.

L'étape d'analyse comporte en outre une étape de calcul Ec d'une image composite Icomp par mélange :

• des zones masquées Zm dudit modèle tridimensionnel avec la texture de référence T200 correspondant aux zones masquées Zm,

• des zones visibles Zv dudit modèle tridimensionnel avec la texture extraite de l'image acquise le par le système de capture vidéo.

L'étape d'analyse comporte en outre une superposition des informations numériques In sur l'image composite ainsi calculée.

Aussi, l'étape d'analyse Ea comporte :

• une génération d'une image de synthèse à partir d'une part de l'image capturée, et d'autre part du modèle tridimensionnel de l'équipement texturé à partir de la texture enregistrée,

• une étape de calcul d'une image composite par mélange de l'image de synthèse et de l'image capturée.

La figure 4 illustre une image Icomp calculée par l'étape de calcul Ec.

On observe que sur l'image Icomp, les zones préalablement masquées par les doigts de l'utilisateur ont été remplacées en utilisant le modèle tridimensionnel de l'équipement et la texture enregistrée T200. Ainsi, les zones ont été remplacées en utilisant le modèle tridimensionnel augmenté au préalable de la texture enregistrée T200.

Aussi, l'invention ne s'intéresse pas seulement à un plan du fond mais bien à la géométrie réelle de l'objet et sa texture qui sont ensuite utilisés pour effacer les occultations par impression sur l'objet occultant de la texture apprise en amont. Dans les méthodes selon l'art antérieur, il existe des techniques d'estimation de fond où le niveau de couleur / intensité d'un pixel est estimé avec des méthodes probabilistes et qui sont le résultat d'une intégration temporelle des images permettant de prédire ce qui est relatif au fond et ce qui est en mouvement et à ignorer. Il n'est pas possible d'appliquer ces méthodes lorsque l'obstacle est statique, le modèle finissant par l'intégrer comme un objet du fond. Selon l'invention, la texture pré enregistrée et correctement recalée est placée en sur impression, quelle que soit la dynamique de la scène.

Bien sûr, l'invention n'est pas limitée aux exemples qui viennent d'être décrits et de nombreux aménagements peuvent être apportés à ces exemples sans sortir du cadre de l'invention. De plus, les différentes caractéristiques, formes, variantes et modes de réalisation de l'invention peuvent être associés les uns avec les autres selon diverses combinaisons dans la mesure où ils ne sont pas incompatibles ou exclusifs les uns des autres.