La présente invention concerne un procédé d'affichage d'une image de réalité mixte.

La présente invention concerne, également, un produit programme d'ordinateur associé à un tel procédé.

La présente invention concerne, en outre, un ensemble d'affichage comprenant un tel produit programme d'ordinateur.

Dans le cadre du développement de la réalité mixte, il est connu d'intégrer des éléments virtuels, c'est-à-dire des images de synthèse, dans des images provenant du monde réel pour obtenir des images dites de réalité mixte. La réalité mixte se distingue de la réalité virtuelle par l'utilisation d'images du monde réel. La réalité mixte se distingue de la réalité augmentée par le fait que les éléments virtuels ne sont pas superposés directement dans le champ de vision de l'utilisateur, mais sont intégrés dans des images du champ de vision de l'utilisateur. De telles images du champ de vision proviennent d'un système de capture d'image du monde réel. Les images du champ de vision comprenant les éléments virtuels intégrés sont ensuite projetées dans le champ de vision dudit utilisateur.

Cependant, les éléments intégrés dans de telles images de réalité mixte se démarquent des éléments initialement présents sur l'image réelle. Le rendu de tels éléments intégrés n'est donc pas réaliste.

Il existe donc un besoin pour un procédé améliorant le rendu d'images de réalité mixte obtenues par l'intégration d'éléments virtuels dans des images du monde réel.

A cet effet, l'invention a pour objet un procédé d'affichage d'une image de réalité mixte, l'image de réalité mixte étant associée à un champ de vision d'un utilisateur acquis par une caméra et formée d'une scène incluse dans ledit champ de vision, le procédé comprenant les étapes de :

- fourniture d'un ensemble d'affichage comprenant une caméra propre à acquérir des images du champ de vision de l'utilisateur et un afficheur d'images de réalité mixte,

- acquisition d'une première image par la caméra selon des caractéristiques réelles de prise de vue, la première image étant une image de la scène dans le champ de vision de l'utilisateur, la scène comprenant des éléments réels,

- extraction, à partir de la première image, de caractéristiques réelles d'éclairement et de position des éléments réels,

- sélection d'éléments virtuels à intégrer dans la première image,

- modification des éléments virtuels en fonction des caractéristiques réelles de prise de vue, d'éclairement et de position, - intégration des éléments virtuels modifiés dans la première image pour obtenir une deuxième image, la deuxième image étant une image de réalité mixte, et

- affichage de la deuxième image sur l'afficheur.

L'invention concerne une méthode de rendu à base physique (PBR) utilisant les paramètres d'une caméra réelle et d'éclairage réels obtenus par calibration ou mesure afin de modéliser une caméra virtuelle identique à la caméra réelle et présentant, notamment, les mêmes caractéristiques optiques que la caméra réelle. Le rendu obtenu par la caméra virtuelle est alors fusionné de manière cohérente et photo-réaliste dans l'image capturée par la caméra réelle.

Selon d'autres aspects avantageux de l'invention, le procédé d'affichage comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles :

- chaque élément virtuel est associé à des caractéristiques virtuelles de prise de vue et d'éclairement, les éléments virtuels intégrés dans la deuxième image ayant au moins une caractéristique virtuelle de prise de vue identique à une caractéristique réelle de prise de vue correspondante ou au moins une caractéristique virtuelle d'éclairement identique à une caractéristique réelle d'éclairement correspondante ;

- l'étape de modification comprend la modélisation d'une caméra virtuelle à partir des caractéristiques de prise de vue, l'étape de modification comprenant la modification des éléments virtuels à intégrer pour que les éléments virtuels modifiés correspondent aux images des éléments virtuels qui auraient été obtenues à partir de la caméra virtuelle ;

- la caméra comprend au moins un capteur et au moins une optique, le capteur présentant des caractéristiques intrinsèques et des limitations dynamiques, les optiques présentant des caractéristiques intrinsèques et des imperfections, la caméra présentant des réglages et étant susceptible d'être changée de position lors de la prise de vue, les caractéristiques de prise de vue étant choisies dans la liste constituée : des caractéristiques intrinsèques du capteur de la caméra, des limitations dynamiques du capteur de la caméra, des caractéristiques intrinsèques de l'optique de la caméra, des imperfections de l'optique de la caméra, des réglages de la caméra et des changements éventuels de position de la caméra lors de la prise de vue ;

- les éléments réels comprennent au moins une source de lumière, les caractéristiques d'éclairement étant relatives à au moins l'un de la position ou de l'intensité de ladite source de lumière ; - l'étape de modification comprend la modification de l'apparence des éléments virtuels en appliquant des effets d'éclairage sur les éléments virtuels en fonction des caractéristiques d'éclairement et de position ;

- la caméra est une caméra stéréoscopique, la première image étant une image stéréoscopique, la première image étant formée d'une première image gauche et d'une première image droite, l'étape d'intégration comprenant l'intégration des éléments modifiés dans l'une de la première image gauche ou de la première image droite prise comme image de référence pour obtenir une deuxième image gauche, respectivement une deuxième image droite, l'étape d'intégration comprenant également l'application d'une transformation à la deuxième image gauche, respectivement la deuxième image droite, obtenue pour obtenir une deuxième image droite, respectivement une deuxième image gauche, la deuxième image étant une image stéréoscopique formée de la deuxième image gauche et de la deuxième image droite ;

- l'étape de sélection est mise en œuvre par l'utilisateur.

L'invention a, également, pour objet un produit programme d'ordinateur comportant un support lisible d'informations, sur lequel est mémorisé un programme d'ordinateur comprenant des instructions de programme, le programme d'ordinateur étant chargeable sur une unité de traitement de données et adapté pour entraîner la mise en œuvre d'un procédé d'affichage tel que décrit précédemment lorsque le programme d'ordinateur est mis en œuvre sur l'unité de traitement des données.

L'invention concerne aussi un ensemble d'affichage d'une image de réalité mixte, l'image de réalité mixte étant associée à un champ de vision d'un utilisateur et formée d'une scène incluse dans ledit champ de vision, l'ensemble comprenant :

- une caméra propre à acquérir des images du champ de vision de l'utilisateur, - un afficheur d'images de réalité mixte,

- un calculateur comprenant un processeur comprenant une unité de traitement de données, et

- un produit programme d'ordinateur tel que décrit précédemment.

D'autres caractéristiques et avantages de l'invention apparaîtront à la lecture de la description qui suit de modes de réalisation de l'invention, donnés à titre d'exemple uniquement et en référence aux dessins qui sont :

- figure 1 , une vue schématique d'un ensemble d'affichage et d'une scène, et

- figure 2, un organigramme d'un exemple d'un procédé d'affichage selon l'invention.

Un ensemble d'affichage 10 et une scène 12 sont illustrés sur la figure 1 . La scène 12 est une scène du monde réel, aussi bien une scène d'intérieur qu'une scène d'extérieur.

L'ensemble 10 comprend un afficheur 14 d'images de réalité mixte, une caméra 15 et un calculateur 16.

L'afficheur 14 et la caméra 15 sont en interaction avec le calculateur 16. Une telle interaction est, par exemple, réalisée par une connexion filaire ou par une connexion sans fil, telle qu'une connexion Wifi ou Bluetooth.

Dans l'exemple illustré sur la figure 1 , l'afficheur 14 et la caméra 15 sont embarqués dans un casque de réalité mixte 17.

Le casque 17 est propre à être positionné sur la tête d'un utilisateur 18.

Le casque 17 est configuré pour immerger l'utilisateur 18 dans une réalité mixte. La caméra 15 est adaptée à la prise d'images en couleurs. La gamme de longueurs d'onde détectée par la caméra 15 correspond, par exemple, au domaine du visible. Le domaine du visible est défini comme la gamme de longueurs d'onde comprise au sens large entre 380 nanomètres (nm) et 780 nm.

La caméra 15 comprend un ou plusieurs capteurs. De tels capteurs sont des composants photosensibles permettant de convertir un rayonnement électromagnétique en un signal électrique analogique. Les composants sont, par exemple, des composants CCD (acronyme de l'anglais Charge-Coupled Device, traduit en français par Dispositif à Transfert de Chargé).

La caméra 15 comprend, également, une ou plusieurs optique. Les optiques sont, par exemple, des lentilles ou des miroirs.

La caméra 15 est, de préférence, une caméra stéréoscopique. Une caméra stéréoscopique est une caméra comprenant deux capteurs optiques propres à acquérir chacun l'image d'une même scène à partir de deux points de vue légèrement distants. Les images acquises par de tels capteurs sont ensuite présentées à l'utilisateur de sorte que l'image de gauche soit vue uniquement par l'œil gauche de l'utilisateur et que l'image de droite soit vue uniquement par l'œil droit de l'utilisateur, ce qui donne un effet de relief.

Dans un mode de réalisation préféré, la caméra 15 présente les caractéristiques du système de prise de vue décrit dans la demande de brevet WO 2016/097609 A.

La caméra 15 est disposée sur le casque 17 de sorte à acquérir des images du champ de vision de l'utilisateur 18. Le champ de vision est défini comme la portion de l'espace vue par un œil regardant droit devant lui et immobile.

La caméra 15 est propre à communiquer les images acquises au calculateur 16. La caméra 15 présente des caractéristiques réelles de prise de vue. Les caractéristiques réelles de prise de vue sont, par exemple, choisies dans la liste constituée : des caractéristiques intrinsèques du ou des capteurs de la caméra 15, des limitations dynamiques du ou des capteurs de la caméra 15, des caractéristiques intrinsèques de la ou des optiques de la caméra 15, des imperfections de la ou des optiques de la caméra 15, des réglages (gain, temps d'exposition, balance des blancs) de la caméra 15 et des changements éventuels de position de la caméra 15 lors de la prise de vue.

Les caractéristiques intrinsèques du ou des capteurs de la caméra 15 sont, par exemple, relatives à la résolution de la caméra 15, au bruit de la caméra 15 et/ou à la fonction de transfert de modulation de la caméra 15.

La résolution de la caméra 15 est le nombre de pixels de chaque capteur de la caméra 15 par unité de longueur. La résolution de la caméra 15 est, par exemple, obtenue directement à partir d'un manuel fourni par le fabriquant de la caméra 15.

Le bruit de la caméra 15 est un bruit aléatoire faisant très légèrement varier l'intensité des pixels de la caméra 15 lorsque la caméra 15 acquiert une scène fixe.

Le bruit de la caméra 15 est, par exemple, quantifié par une calibration. Une telle calibration consiste, par exemple, à acquérir, à éclairage constant, un ensemble d'images avec la caméra 15 et une scène fixe. La scène fixe est préférentiellement une mire colorimétrique, telle qu'une mire colorimétrique de Macbeth pour observer un éventail de couleur suffisamment large. La variation de l'intensité des pixels est ensuite modélisée sous forme d'une distribution gaussienne.

La fonction de transfert de modulation (abrégé par l'acronyme FTM) d'un système optique est une fonction permettant d'évaluer le contraste de l'image obtenue par le système optique en fonction de la fréquence spatiale.

La fonction de transfert de modulation de la caméra 15 est, par exemple, obtenue par calibration à partir de mires optiques à différentes fréquences spatiales.

Les limitations dynamiques du capteur de la caméra 15 sont, par exemple, relatives à l'altération des couleurs entre une scène dans le champ de vision de la caméra 15 et l'image de la scène acquise par la caméra 15, et ce en fonction de l'éclairage et du contraste de la scène.

Une telle altération des couleurs est modélisée à partir d'une fonction, appelée fonction de réponse de la caméra 15. La fonction de réponse de la caméra 15 fait le lien entre la luminance de la scène acquise par la caméra 15 et l'intensité des pixels de l'image acquise par la caméra 15. Une telle fonction est, par exemple, approximée par une calibration radiométrique. Le document de Mitsunaga intitulé « Radiometric self- calibration », publié dans Computer Vision and Pattern Récognition, 1999, IEEE Computer Society Conférence on. (Vol. 1 ) décrit une méthode d'obtention d'une telle fonction.

Les caractéristiques intrinsèques de la ou des optiques de la caméra 15 sont, par exemple, relatives à l'ouverture et à la distance focale image de la caméra 15.

L'ouverture d'un système optique est un nombre sans dimension défini comme le rapport de la distance focale image du système optique par le diamètre de la pupille d'entrée dudit système optique.

L'ouverture de la caméra 15 et la distance focale image de la caméra 15 sont, par exemple, obtenues directement par le manuel fourni par le fabriquant de la caméra 15.

L'ouverture et la distance focale image de la caméra 15 en relation avec les caractéristiques des images acquises par la caméra 15 permettent d'estimer la profondeur de champ et, ainsi, l'effet de flou progressif engendré par la caméra 15. La profondeur de champ de la caméra 15 correspond à la zone de l'espace acquise de manière nette par la caméra 15. Le flou progressif est le flou dû à la profondeur de champ de la caméra 15.

Les imperfections de la ou des optiques de la caméra 15 sont, par exemple, relatives aux aberrations géométriques induites par les optiques de la caméra 15. De telles aberrations géométriques sont, par exemple, des aberrations sphériques, de coma, d'astigmatisme, de courbure de champ ou encore de distorsion.

Les aberrations géométriques sont, par exemple, quantifiées par une calibration de la caméra 15.

La distorsion est, par exemple, calibrée à partir d'une mire rectangulaire de type damier. La détection des coins de chaque damier permet de définir une fonction de distorsion.

Les autres aberrations telles que les aberrations chromatiques sont, par exemple, estimées de manières similaire en séparant les différents canaux de couleur : rouge, vert et bleu d'une image.

Les réglages de la caméra 15 sont, par exemple, relatifs à la saturation de la caméra 15, à la balance des blancs de la caméra 15 et/ou au temps d'exposition de la caméra 15.

La saturation est une coordonnée du système colorimétrique TSL (acronyme de Teinte, Saturation, Luminosité). La saturation fournit une mesure de l'intensité de la couleur identifiée par sa teinte. La luminosité correspond à une mesure de la quantité de lumière.

La saturation de la caméra 15 est, par exemple, déterminée manuellement par l'utilisateur. La balance des blancs est un réglage à effectuer sur une caméra permettant de compenser la température de couleurs, de manière à ce que les zones blanches d'une scène dans le champ de vision de la caméra apparaissent blanches sur l'image de la scène acquise par la caméra.

La balance des blancs de la caméra 15 est déterminée par une mesure ou directement par le manuel fourni par le fabriquant de la caméra 15.

Le temps d'exposition ou temps de pose de la caméra 15 est l'intervalle de temps pendant lequel l'obturateur de la caméra 15 laisse passer la lumière lors d'une prise de vue, et donc la durée de l'exposition des capteurs de la caméra 15 à la lumière.

Le temps d'exposition de la caméra 15 en relation avec les caractéristiques des images acquises par la caméra 15 permet d'estimer l'effet de flou de bougé de la caméra 15. Le flou de bougé de la caméra 15 est le flou produit par le mouvement de la caméra 15 lors de la prise de vue.

Les éventuels changements de position de la caméra 15 lors de la prise de vue sont, par exemple, relatifs à un effet d'obturateur déroulant (en anglais Rolling Shutter).

L'effet d'obturateur déroulant est un mécanisme photographique qui consiste à enregistrer une image par déroulement, c'est-à-dire que les images sont acquises ligne par ligne par scannage. Un tel mécanisme engendre des artéfacts lorsque l'image acquise par la caméra comprend des objets se déplaçant rapidement ou qui sont soumis à des éclairages fluctuant rapidement. De tels artéfacts sont la déformation des objets considérés.

De tels artéfacts sont, par exemple, modélisés en estimant la vitesse de déplacement de la caméra. Une telle estimation est, par exemple, décrite dans le document WO 2015/071458. La vitesse de déplacement est, par exemple, obtenue en utilisant une caméra conforme au système de prise de vue décrit dans la demande de brevet WO 2016/097609 A. La position de la caméra dans l'espace pour chaque image acquise par la caméra est fournie par la caméra. La vitesse entre chaque image est alors déduite à partir des positions prises par la caméra entre deux images successives.

Le calculateur 16 est propre à collecter les images issues de la caméra 15 et à traiter lesdites images pour obtenir des images modifiées. Le calculateur 16 est propre à transmettre les images modifiées à l'afficheur 14 pour l'affichage desdites images.

Le calculateur 16 est, par exemple, un ordinateur.

Le calculateur 16 comprend un processeur 21 comprenant une unité de traitement de données 22, des mémoires 24 et un lecteur 26 de support d'informations. Le calculateur 16 comprend, optionnellement, un dispositif d'entrée 28 tel qu'un clavier ou une manette et une unité d'affichage 30. Le calculateur 16 comporte, en outre, des connexions à un réseau tel que le réseau local permettant à plusieurs utilisateurs de se connecter en réseau.

Le calculateur 16 est en interaction avec un produit programme d'ordinateur 32.

Le produit programme d'ordinateur 32 comporte un support d'informations 34. Le support d'information 34 est un support lisible par le calculateur 16, usuellement par l'unité de traitement de données 22.

Le support lisible d'informations 34 est un médium adapté à mémoriser des instructions électroniques et capable d'être couplé à un bus d'un système informatique.

A titre d'exemple, le support d'informations est une disquette ou disque souple (de la dénomination anglaise Floppy dise), un disque optique, un CD-ROM, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, une mémoire EPROM, une mémoire EEPROM, une carte magnétique ou une carte optique.

Sur le support d'informations est mémorisé le programme d'ordinateur comprenant des instructions de programme.

Le programme d'ordinateur est chargeable sur l'unité de traitement de données 22 et est adapté pour entraîner la mise en œuvre d'un procédé d'affichage qui sera décrit plus en détails dans la suite de la description.

Dans le mode de réalisation illustré sur la figure 1 , le calculateur 16 est dissocié du casque 17.

En variante, le calculateur 16 est embarqué dans le casque 17.

Un procédé d'affichage d'une image de réalité mixte utilisant l'ensemble d'affichage 10 va maintenant être décrit en référence à la figure 2.

Le procédé d'affichage comprend une étape 100 de fourniture de l'ensemble d'affichage 10 décrit précédemment.

Le procédé d'affichage comprend, également, une étape 1 10 d'acquisition d'une première image par la caméra 15 selon les caractéristiques réelles de prise de vue de la caméra 15.

La première image est une image d'une scène incluse dans le champ de vision de l'utilisateur 18. La scène comprend des éléments réels. Les éléments réels comprennent au moins une source de lumière.

Lorsque la caméra 15 est une caméra stéréoscopique, la première image est une image stéréoscopique. La première image est alors formée d'une première image gauche et d'une première image droite.

Le procédé d'affichage comprend une étape 120 d'extraction, à partir de la première image, de caractéristiques réelles d'éclairement et de position des éléments réels. L'étape d'extraction est réalisée par le calculateur 16 en interaction avec le produit programme d'ordinateur 32.

Les caractéristiques d'éclairement sont relatives à au moins l'un de la position, de l'intensité ou de la direction de propagation des sources de lumière de la scène de la première image.

La position et l'intensité des sources de lumière de la scène sont, par exemple, obtenues au moyen d'un procédé tel que décrit dans l'article de Meilland et al. intitulé. "3D High Dynamic Range Dense Visual SLAM and its application to Real-Time Object Re- lighting." publié dans Mixed and Augmented Reality (ISMAR), 2013 IEEE International Symposium on. IEEE, 2013.

En complément, la position et l'intensité des sources de lumière de la scène sont identifiées à partir d'images de la scène acquises à des temps d'exposition très faible et connus précisément. Plus précisément, en baissant l'exposition de la caméra 15, seuls les points forts des sources lumineuses sont conservés et l'éclairage ambiant dû aux réflexions des rayons lumineux sur des surfaces plus ou moins réfléchissantes de la scène réelle est supprimé. Les images sont, ensuite, mises sous forme binaire, ce qui permet d'isoler les sources lumineuses. La position des sources lumineuses par rapport à la caméra 15 est déterminée par la carte de profondeur fournissant la position en trois dimensions de chaque pixel. La position dans l'espace relative à un repère global commun (position de la caméra initiale) est ensuite déterminée par calcul de la position de la caméra courante.

En variante, pour une scène pour laquelle l'éclairage est constant, les positions des sources de lumière de la scène sont identifiées en cartographiant les sources lumineuses de façon dynamique ou a priori. Une telle variante implique de retrouver un repère d'origine relatif, lorsque la caméra ne dispose pas de système de positionnement absolu de type GPS (acronyme de l'anglais Global Positioning System traduit en français par Système mondial de positionnement).

Les caractéristiques de position sont relatives à la position des éléments réels dans la scène de la première image.

Par exemple, l'étape d'extraction 120 permet d'obtenir une carte de profondeur.

Une carte de profondeur est une carte représentant la scène acquise par la caméra avec des niveaux de gris ou de couleurs, chaque niveau de gris ou de couleur correspondant à une distance entre un élément de la scène et la caméra 15. La carte de profondeur est, par exemple, obtenue directement via la caméra 15 lors de l'acquisition de la première image. De préférence, la carte de profondeur et les positions des sources de lumière sont enregistrées dans une base de données afin de permettre de retrouver une position dans l'espace précédemment visualisé par la caméra en pointant la caméra vers la même scène.

Le procédé d'affichage comprend, également, une étape 130 de sélection d'éléments virtuels à intégrer dans la première image.

Chaque élément virtuel est associé à des caractéristiques virtuelles de prise de vue et d'éclairement.

Les éléments à intégrer sont, par exemple, des personnages virtuels ou encore des objets virtuels statiques ou en mouvement.

L'étape de sélection est mise en œuvre par l'utilisateur 18. Par exemple, l'utilisateur 18 choisit les éléments virtuels à intégrer parmi une liste d'éléments virtuels en fonction de l'usage que ledit utilisateur 18 fait du casque de réalité mixte 17. Par exemple, dans le cas d'un jeu vidéo, l'utilisateur 18 lance l'application correspondant au jeu vidéo et les éléments virtuels correspondants au jeu vidéo sont automatiquement sélectionnés par le calculateur 16.

En variante, l'étape de sélection est uniquement effectuée par le calculateur 16.

Le procédé d'affichage comprend une étape 140 de modification des éléments virtuels en fonction des caractéristiques réelles de prise de vue, d'éclairement et de position. L'étape de modification 140 est réalisée par le calculateur 16 en interaction avec le produit programme d'ordinateur 32.

L'étape de modification 140 comprend la modélisation d'une caméra virtuelle à partir des caractéristiques de prise de vue et la modification des éléments virtuels à intégrer pour que les éléments virtuels modifiés correspondent aux images des éléments virtuels qui auraient été obtenues à partir de la caméra virtuelle. En pratique, cela revient à traiter directement les éléments virtuels à intégrer avec les artéfacts introduits par la caméra virtuelle.

La caméra virtuelle présente un ou plusieurs capteurs virtuels et une ou plusieurs optiques virtuelles. La caméra virtuelle présente, également, des caractéristiques virtuelles de prise de vue identiques aux caractéristiques réelles de prise de vue de la caméra 15.

Plus précisément, lorsque les caractéristiques réelles de prise de vue sont des caractéristiques intrinsèques du ou des capteurs de la caméra 15, le ou les capteurs virtuels de la caméra virtuelle présentent les mêmes caractéristiques intrinsèques. Par exemple, la caméra virtuelle est une caméra ayant la même résolution que la caméra 15. Ainsi, la résolution des éléments virtuels modifiés est limitée à la résolution de la caméra 15.

Par exemple, les images générées par la caméra virtuelle comporte le même bruit que la caméra 15. Les éléments virtuels modifiés présentent alors un tel bruit.

Par exemple, la caméra virtuelle présente la même fonction de transfert de modulation que la caméra 15.

En pratique, cela revient à modifier le rendu des éléments virtuels à intégrer de sorte à reproduire les effets engendrés par les limitations de la caméra 15 à capter le contraste en fonction de la finesse des détails. Un tel traitement est, par exemple, obtenu en réduisant la taille des images des éléments virtuels, puis en appliquant des filtres, tels que des filtres gaussiens auxdites images obtenues. Ensuite, les images des éléments sont ré-agrandies jusqu'à leur tailles d'origine et des filtres, notamment un filtre de Bayer, sont appliqués sur lesdites images.

En complément, un flou supplémentaire est appliqué sur les bords des éléments virtuels à intégrer. Pour cela, un filtre gaussien est appliqué sur le masque de la géométrie des éléments virtuels, pour obtenir un dégradé (les valeurs du masque étant convertie de binaire aux flottants entre 0 et 1 ). Le masque de la géométrie des éléments virtuels est une image binaire pour laquelle les intensités valent 0 pour les pixels représentant un élément réel et valent 1 pour les pixels représentant un élément virtuel. En post-traitement, les contours des éléments virtuels sont fusionnés avec l'image réelle de façon progressive en utilisant un masque avec un seuil. Le seuil du masque permet de régler la propagation du flou autour des éléments virtuels pour éviter un effet de halo.

L'application d'un tel flou supplémentaire permet de retranscrire sur les éléments virtuels à intégrer le fait que la caméra 15 atténue les hautes fréquences et donc que l'image réelle acquise a des contours moins nets que l'image des éléments virtuels. Lorsqu'un tel flou n'est pas appliqué sur les éléments virtuels à intégrer, les éléments virtuels à intégrer, qui sont par défaut parfaitement nets, se démarquent significativement de l'image réelle.

Lorsque les caractéristiques réelles de prise de vue sont les limitations dynamiques du ou des capteurs de la caméra 15, le ou les capteurs virtuels de la caméra virtuelle présentent les mêmes limitations dynamiques.

Par exemple, la fonction de réponse est appliquée aux éléments virtuels à intégrer de sorte à reproduire sur les éléments virtuels à intégrer l'altération des couleurs de la première image. Lorsque les caractéristiques réelles de prise de vue sont les caractéristiques intrinsèques de la ou des optiques de la caméra 15, la ou les optiques virtuelles de la caméra virtuelle présentent les mêmes caractéristiques intrinsèques.

Par exemple, l'ouverture de la caméra virtuelle et la distance focale image de la caméra virtuelle sont identiques à l'ouverture de la caméra 15 et à la distance focale image de la caméra 15.

En outre, l'ouverture de la caméra 15, la distance focale image de la caméra 15 et la carte de profondeur de la scène de la première image permettent de déterminer un effet de flou progressif du à la profondeur de champ de la caméra 15. La profondeur de champ s'étend de la moitié de la distance hyperfocale à l'infini. La distance hyperfocale est la distance minimum à partir de laquelle il est possible de faire la mise au point tout en gardant les objets situés à l'infini avec une netteté acceptable. La mise au point à cette distance permet d'obtenir la plus grande plage de netteté acceptable qui s'étend alors de la moitié de cette distance à l'infini. L'effet de flou progressif se manifeste dans la zone au-delà de la zone de netteté définie par la distance hyperfocale.

La caméra virtuelle est alors configurée pour reproduire un tel effet de flou progressif. Ainsi, un tel effet de flou progressif est présent sur les éléments virtuels modifiés.

Lorsque les caractéristiques réelles de prise de vue sont les imperfections de la ou des optiques de la caméra 15, le ou les capteurs optiques de la caméra virtuelle présentent les mêmes imperfections.

Par exemple, la caméra virtuelle reproduit les aberrations géométriques de la caméra 15. Ainsi, de telles aberrations géométriques sont présentes sur les éléments virtuels modifiés.

En variante, les aberrations géométriques sont directement supprimées de la première image et ne sont donc pas modélisées sur la caméra virtuelle.

Lorsque les caractéristiques réelles de prise de vue sont les réglages de la caméra 15, la caméra virtuelle présente les mêmes réglages que la caméra 15.

Par exemple, la caméra virtuelle présente la même saturation que la caméra 15. Ainsi la saturation des couleurs des éléments virtuels modifiés est conforme à la saturation des couleurs de la caméra 15.

Par exemple, la caméra virtuelle présente la même balance des blancs que la caméra 15. Ainsi, le rendu des éléments virtuels modifiés est conforme à la balance des blancs de la caméra 15.

Par exemple, la caméra virtuelle présente le même temps d'exposition que la caméra 15. En outre, le temps d'exposition de la caméra 15 et la position de la caméra 15 permettent de déduire l'accélération de la caméra 15 et de déterminer, ainsi, l'effet de flou de bougé de la caméra 15. La caméra virtuelle est alors configurée pour reproduire un tel effet de flou de bougé. Ainsi, un tel effet de flou de bougé est présent sur les éléments virtuels modifiés.

Lorsque les caractéristiques réelles de prise de vue sont les changements de position de la caméra 15 lors de la prise de vue, la caméra virtuelle présente les mêmes changements de position que la caméra 15.

En outre, la caméra virtuelle reproduit les artéfacts dus à l'effet d'obturateur déroulant de la caméra 15. Ainsi, de tels artéfacts sont présents sur les éléments virtuels modifiés.

En variante, de tels artéfacts sont directement supprimés de la première image et ne sont donc pas modélisés sur la caméra virtuelle.

L'étape de modification 140 comprend, en outre, la modification de l'apparence des éléments virtuels à intégrer en fonction des caractéristiques réelles d'éclairement et de position.

Par exemple, une telle modification d'apparence consiste à appliquer des effets d'éclairage sur les éléments virtuels modifiés. Les effets d'éclairage sont, par exemple, la projection d'ombres depuis les éléments à intégrer vers des éléments de la première image ou inversement, ou encore la modification de l'éclairage des textures des éléments virtuels (modifiant l'intensité lumineuse mais aussi la teinte desdits éléments virtuels).

La prise en compte des caractéristiques réelles d'éclairement et de position permet de rendre cohérents avec la première image les modifications de l'apparence des éléments virtuels à intégrer.

Le procédé d'affichage comprend une étape 150 d'intégration des éléments virtuels modifiés dans la première image pour obtenir une deuxième image. La deuxième image est une image de réalité mixte.

L'étape d'intégration 150 est réalisée par le calculateur 16 en interaction avec le produit programme d'ordinateur 32.

Lorsque la première image est une image stéréoscopique, la deuxième image est également une image stéréoscopique. La deuxième image est alors formée d'une deuxième image gauche et d'une deuxième image droite.

L'étape d'intégration 150 comprend alors l'intégration des éléments modifiés sur l'une de la première image gauche ou de la première image droite prise comme image de référence pour obtenir la deuxième image gauche, respectivement la deuxième image droite. Par exemple, la caméra virtuelle fournissant le rendu de l'image gauche subit une transformation pour obtenir la position de la caméra virtuelle droite. La transformation permet de décaler les éléments virtuels de la deuxième image prise comme référence d'une distance légèrement différente pour obtenir un effet de parallaxe. Une telle transformation se fait en modifiant la position de la caméra virtuelle droite d'une distance égale à la séparation entre les deux capteurs de la caméra réelle stéréoscopique.

Les caractéristiques virtuelles de prise de vue des éléments virtuels sont, de préférence, identiques aux caractéristiques réelles de prise de vue correspondantes. De même, les caractéristiques virtuelles d'éclairement sont, de préférence, identiques aux caractéristiques réelles d'éclairement correspondantes.

Le procédé d'affichage comprend une étape 160 d'affichage de la deuxième image dans le champ de vision de l'utilisateur. Typiquement, la deuxième image est affichée sur l'afficheur 14.

Lorsque la deuxième image est une image stéréoscopique, la deuxième image gauche est affichée sur l'afficheur 14 devant l'œil gauche de l'utilisateur et la deuxième image droite est affichée sur l'afficheur 14 devant l'œil droit de l'utilisateur.

En variante, l'homme du métier comprendra que la deuxième image est affichée sur tout autre afficheur, tel qu'un écran, dans le champ de vision de l'utilisateur.

Les étapes d'acquisition 1 10, d'extraction 120, de sélection 130, de modification 140, d'intégration 150, d'affichage 160 sont réitérées au cours du temps.

Ainsi, le procédé utilise les caractéristiques de la caméra 15 et d'éclairage réels obtenus par calibration ou mesure afin de modéliser une caméra virtuelle identique présentant les mêmes caractéristiques de prise de vue que la caméra 15. Le rendu obtenu par une telle caméra virtuelle est alors fusionné de manière cohérente et photoréaliste dans l'image capturée par la caméra réelle.

En outre, les deuxièmes images sont restituées en temps réel à l'utilisateur, ce qui augmente la sensation de réalisme.

Un tel procédé d'affichage améliore donc le rendu d'images de réalité mixte obtenues par l'intégration d'éléments virtuels dans des images du monde réel.