Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD, DEVICE AND SYSTEM FOR IMMERSING A USER IN A VIRTUAL REALITY APPLICATION
Document Type and Number:
WIPO Patent Application WO/2021/255395
Kind Code:
A1
Abstract:
This method makes it possible to immerse a user (USR) in a virtual reality application. It comprises: - a step (E15, E20) of controlling the movement of an avatar (AVT) of a user in a synthetic scene (SS); - a step (E35) of controlling the movements of a video acquisition system (CAM) depending on the detected movements (E10) of the head of the user (USR); and - a step (E55) of playing back content on a screen (SCR) of a virtual reality helmet of the user (USR), the content being a video stream acquired by the video acquisition system (ACQ) if the position of the eyes of the avatar (AVT) is in a synthetic object (VV) whose volume can be included in a volume (VOLCAM) in which the video acquisition system (CAM) is likely to move.

Inventors:
GUIGNON RICHARD (FR)
POIVRE SÉBASTIEN (FR)
BELAY GILDAS (FR)
Application Number:
PCT/FR2021/051097
Publication Date:
December 23, 2021
Filing Date:
June 17, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ORANGE (FR)
International Classes:
G06F3/01; G02B27/01
Foreign References:
US20140361976A12014-12-11
US20180004286A12018-01-04
US20190385372A12019-12-19
Download PDF:
Claims:
REVENDICATIONS

[Revendication 1] Procédé d'immersion d'un utilisateur (USR) dans une application de réalité virtuelle, ce procédé comportant :

- une étape (E15, E20) de contrôle du déplacement d'un avatar (AVT) d'un utilisateur dans une scène synthétique (SS);

- une étape (E35) de contrôle des déplacements d'un système d'acquisition vidéo (CAM) en fonction des déplacements détectés (E10) de la tête de l'utilisateur (USR), l'orientation (ORAVT) de l'avatar (AVT) étant contrôlée en fonction de l'orientation (ORHD) de la tête de l'utilisateur (USR) ; et

- une étape (E55) de restitution d'un contenu sur un écran (SCR) d'un casque (HLM) de réalité virtuelle de l'utilisateur (USR), ledit contenu étant un flux vidéo acquis par ledit système d'acquisition vidéo si la position des yeux de l'avatar (AVT) est dans un objet synthétique (W) dont le volume est apte à être compris dans un volume (VOLCAM) dans lequel ledit système d'acquisition vidéo (CAM) est susceptible de se déplacer.

[Revendication 2] Procédé d'immersion d'un utilisateur (USR) selon la revendication 1 dans lequel le contenu restitué (E50) sur ledit écran (SCR) est la scène synthétique (SS) si la position des yeux de l'avatar (AVT) est en dehors de l'objet synthétique (W).

[Revendication 3] Procédé d'immersion d'un utilisateur (USR) selon la revendication 1 ou 2 dans lequel le contenu restitué (E60) est un contenu de transition (TRS) entre le flux vidéo acquis par ledit système (ACQ) et la scène synthétique (SS) si la position des yeux de l'avatar (AVT) est proche de la limite de l'objet synthétique (W).

[Revendication 4] Procédé d'immersion d'un utilisateur (USR) selon la revendication 3 dans lequel le contenu de transition (TRS) est une image synthétique de la couleur dudit objet synthétique (W).

[Revendication 5] Procédé d'immersion d'un utilisateur (USR) selon la revendication 3 dans lequel le contenu de transition (TRS) est un fondu entre le flux vidéo acquis par ledit système d'acquisition vidéo (ACQ) et la scène synthétique (SS).

[Revendication 6] Dispositif d'immersion (DIMM) d'un utilisateur (USR) dans une application de réalité virtuelle, ce dispositif comportant :

- un module (MCA) de contrôle du déplacement d'un avatar (AVT) d'un utilisateur dans une scène synthétique (SS);

- un module (MCV) de contrôle des déplacements d'un système d'acquisition vidéo (CAM) en fonction des déplacements détectés (E10) de la tête dudit utilisateur (USR), l'orientation (ORAVT) de l'avatar (AVT) étant contrôlée en fonction de l'orientation (ORHD) de la tête de l'utilisateur (USR) ; et

- un module (MRC) de restitution d'un contenu sur un écran (SCR) d'un casque (HLM) de réalité virtuelle de l'utilisateur (USR), ledit contenu étant un flux vidéo acquis par ledit système d'acquisition vidéo (ACQ) si la position des yeux de l'avatar (AVT) est dans un objet synthétique (W) dont le volume est apte à être compris dans un volume (VOLCAM) dans lequel ledit système d'acquisition vidéo (CAM) est susceptible de se déplacer.

[Revendication 7] Système (SYS) comportant des capteurs (CAP) pour détecter les déplacements de la tête d'un utilisateur (USR), un système d'acquisition vidéo (CAM), un casque de réalité virtuelle et un dispositif d'immersion (DIMM) selon la revendication 6 configuré pour contrôler les déplacements dudit système d'acquisition vidéo (CAM) et pour restituer un contenu sur un écran (SCR) dudit casque de réalité virtuelle, ledit contenu étant un flux vidéo acquis par ledit système d'acquisition vidéo (ACQ) si la position des yeux d'un avatar (AVT) de l'utilisateur contrôlé par ledit dispositif (DIMM) est dans un objet synthétique (W) dont le volume peut être compris dans un volume (VOLCAM) dans lequel ledit système d'acquisition vidéo (CAM) est susceptible de se déplacer.

[Revendication 8] Système (SYS) selon la revendication 7 dans lequel ledit système d'acquisition vidéo (CAM) comporte deux caméras.

[Revendication 9] Programme d'ordinateur (PG) comportant des instructions configurées pour mettre en œuvre les étapes d'un procédé d'immersion selon l'une quelconque des revendications 1 à 5 lorsqu'elles sont exécutées par un ordinateur (ORD).

Description:
Description

Titre de l'invention : Procédé, dispositif et système d'immersion d'un utilisateur dans une application de réalité virtuelle

Technique antérieure

La présente invention se situe dans le domaine de la réalité virtuelle.

Les technologies de réalité virtuelle permettent à un utilisateur d'interagir avec un environnement simulé par ordinateur (scène synthétique). Elles sont utilisées dans des applications très variées et le marché des casques de réalité virtuelle est en forte croissance.

Malheureusement, certaines personnes peuvent éprouver des malaises lors de l'utilisation de casques de réalité virtuelle. En particulier, certaines personnes peuvent ressentir le symptôme de la cinétose, (ou mal des transports) susceptible de se produire lorsqu'il existe un décalage ou latence entre les mouvements de tête et l'affichage des images sur le casque de réalité virtuelle.

Des solutions ont été envisagées pour détecter et réagir aux déplacements de la tête de l'utilisateur mais elles ne sont pas satisfaisantes.

L'invention vise un procédé d'immersion permettant d'atténuer ce problème.

Exposé de l'invention

Plus précisément, l'invention concerne un procédé d'immersion d'un utilisateur dans une application de réalité virtuelle, ce procédé comportant :

- une étape de contrôle du déplacement d'un avatar d'un utilisateur dans une scène synthétique ;

- une étape de contrôle des déplacements d'un système d'acquisition vidéo en fonction des déplacements détectés de la tête de G utilisateur, l'orientation (ORAVT) de l'avatar (AVT) étant contrôlée en fonction de l'orientation (ORHD) de la tête de l'utilisateur (USR) ; et

- une étape de restitution d'un contenu sur un écran d'un casque de réalité virtuelle de l'utilisateur , ledit contenu étant un flux vidéo acquis par ledit système d'acquisition vidéo si la position des yeux de l'avatar est dans un objet synthétique dont le volume est apte à être compris dans un volume dans lequel le système d'acquisition vidéo est susceptible de se déplacer.

Corrélativement, l'invention concerne un dispositif d'immersion d'un utilisateur dans une application de réalité virtuelle, ce dispositif comportant :

- un module de contrôle du déplacement d'un avatar d'un utilisateur dans une scène synthétique ;

- un module de contrôle des déplacements d'un système d'acquisition vidéo en fonction des déplacements détectés de la tête de l'utilisateur, l'orientation (ORAVT) de l'avatar (AVT) étant contrôlée en fonction de l'orientation (ORHD) de la tête de l'utilisateur (USR) ; et - un module de restitution d'un contenu sur un écran d'un casque de réalité virtuelle de l'utilisateur, ledit contenu étant un flux vidéo acquis par ledit système d'acquisition vidéo si la position des yeux de l'avatar est dans un objet synthétique dont le volume peut être compris dans un volume dans lequel le système d'acquisition vidéo est susceptible de se déplacer.

En particulier, la scène synthétique comporte l'objet synthétique dont le volume est apte à être compris dans un volume dans lequel un système d'acquisition vidéo est susceptible de se déplacer, ledit objet synthétique étant associé préalablement à l'immersion au volume de déplacement du système d'acquisition vidéo.

Ainsi, et de façon remarquable, l'invention propose de non seulement de contrôler les déplacements d'un système d'acquisition vidéo (par exemple) en fonction des déplacements de la tête de l'utilisateur mais aussi de contrôler le positionnement de la caméra lors de la prise en main à distance pour accentuer la limitation des problèmes de cinétose et de parallaxe liés au fait que les mouvements dans le monde captés reproduits sur l'écran ne sont pas cohérents avec les mouvements de l'utilisateur et l'inconfort ressenti par l'utilisateur lorsque la course du système d'acquisition est bloquée (la caméra ne pouvant pas aller plus loin, par exemple bout de bras lorsque la caméra est fixé sur un bras automatisé).

Le système d'acquisition vidéo est par exemple une caméra à 360° positionnée sur un bras articulée et bénéficiant ainsi de 6 degrés de liberté.

Différentes solutions peuvent être utilisées pour détecter en temps réel la position et l'orientation de la tête d'un utilisateur. On connaît en particulier des casques de réalité virtuelle aptes à positionner la tête de l'utilisateur dans l'espace soit avec des capteurs externes au casque soit avec des caméras intégrées au casque et qui filment l'environnement pour déterminer la position du casque.

Le système de détection de la position de la tête de l'utilisateur et le dispositif de déplacement du système d'acquisition vidéo peuvent être interconnectés par un réseau haute performance de type 5G à très faible latence et très haut débit afin de transmettre le flux vidéo et les commandes des déplacements du bras articulé en temps réel.

Le dispositif d'immersion selon l'invention récupère en temps réel la position de la tête de l'utilisateur et envoie les commandes de déplacement de la caméra dont le flux vidéo est renvoyé au casque de réalité virtuelle. Ce mécanisme évite la cinétose.

De façon très avantageuse, le flux vidéo acquis par le dispositif d'acquisition n'est restitué sur un écran d'un casque de réalité virtuelle de l'utilisateur que lorsque les yeux d'un avatar de l'utilisateur se trouvent dans un objet synthétique dont le volume peut être compris dans un volume dans lequel le système d'acquisition vidéo est susceptible de se déplacer.

Cette caractéristique permet d'améliorer grandement l'expérience de l'utilisateur puisque si les déplacements de l'utilisateur ont pour conséquence de commander le déplacement du dispositif d'acquisition dans une position qu'elle ne peut pas occuper dans le monde réel, on cesse de restituer le contenu vidéo à l'utilisateur.

Dans un mode particulier de réalisation, le contenu restitué sur l'écran du casque de réalité virtuelle est la scène synthétique si la position des yeux de l'avatar est en dehors de l'objet synthétique.

L'utilisateur est ainsi immergé dans un monde virtuel qui lui permet de prendre le contrôle du dispositif d'acquisition dès lors que les yeux de son avatar franchissent les limites de l'objet virtuel.

Dans un mode particulier de réalisation, le contenu restitué est un contenu de transition entre le flux vidéo acquis par ledit système et la scène synthétique si la position des yeux de l'avatar est proche de la limite de l'objet synthétique.

Ce contenu de transition est par exemple une image synthétique de la couleur de l'objet synthétique.

En variante, le contenu de transition est un fondu entre le flux vidéo acquis par le système d'acquisition vidéo et la scène synthétique.

L'invention vise aussi un système comportant des capteurs pour détecter les déplacements de la tête d'un utilisateur, un système d'acquisition vidéo, un casque de réalité virtuelle et un dispositif d'immersion tel que décrit ci-dessus, ce dispositif étant configuré pour contrôler les déplacements du système d'acquisition vidéo et pour restituer un contenu sur un écran du casque de réalité virtuelle, ce contenu étant un flux vidéo acquis par ledit système d'acquisition vidéo si la position des yeux d'un avatar de l'utilisateur contrôlé par ledit dispositif est dans un objet synthétique dont le volume peut être compris dans un volume dans lequel le système d'acquisition vidéo est susceptible de se déplacer.

Dans un mode de réalisation, le système d'acquisition vidéo comporte deux caméras. Un moteur peut permettre de gérer l'écartement entre les caméras en fonction de l'écartement entre les pupilles. Si le casque de réalité virtuelle est apte à suivre le regard de l'utilisateur, le point de focus de chaque caméra peut être varié.

L'invention vise également un programme d'ordinateur sur un support d'enregistrement, ce programme étant susceptible d'être mis en œuvre dans un dispositif ou plus généralement dans un ordinateur. Ce programme comporte des instructions permettant la mise en œuvre d'un procédé d'immersion tel que décrit ci-dessus.

Ce programme peut utiliser n'importe quel langage de programmation, et être sous la forme de code source, code objet, ou de code intermédiaire entre code source et code objet, tel que dans une forme partiellement compilée, ou dans n'importe quelle autre forme souhaitable.

L'invention vise aussi un support d'information ou un support d'enregistrement lisibles par un ordinateur, et comportant des instructions d'un programme d'ordinateur tel que mentionné ci-dessus.

Le support d'information ou d'enregistrement peut être n'importe quelle entité ou dispositif capable de stocker les programmes. Par exemple, les supports peuvent comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique, ou encore un moyen d'enregistrement magnétique, par exemple un disque dur, ou une mémoire flash.

D'autre part, le support d'information ou d'enregistrement peut être un support transmissible tel qu'un signal électrique ou optique, qui peut être acheminé via un câble électrique ou optique, par lien radio, par lien optique sans fil ou par d'autres moyens.

Le programme selon l'invention peut être en particulier téléchargé sur un réseau de type Internet.

Alternativement, le support d'informations ou d'enregistrement peut être un circuit intégré dans lequel un programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution de l'un des procédés tels que décrits précédemment.

Brève description des dessins

D'autres caractéristiques et avantages de la présente invention ressortiront de la description faite ci- dessous, en référence aux dessins annexés qui en illustrent un exemple de réalisation dépourvu de tout caractère limitatif. Sur les figures :

[Fig. IA] la figure IA représente un système d'immersion conforme à l'invention dans son environnement ;

[Fig. IB] la figure IB représente un système d'acquisition vidéo pouvant être utilisé dans un mode de réalisation de G l'invention ;

[Fig. 2] la figure 2 représente un exemple de scène synthétique ;

[Fig. 3] la figure 3 représente un utilisateur de l'invention dans son environnement ;

[Fig. 4] la figure 4 représente sous forme d'ordinogramme les principales étapes de gestion d'un procédé d'immersion conforme à un mode de réalisation de l'invention ;

[Fig. 5] la figure 5 représente un contenu projeté sur un écran d'un casque de réalité virtuel de l'utilisateur de la figure 4 ;

[Fig. 6A] la figure 6A représente un avatar de l'utilisateur de la figure 4 lorsqu'il entre dans un volume virtuel de la scène synthétique de la figure 2 ;

[Fig. 6B] la figure 6B représente la position du système d'acquisition de la figure IB dans ces conditions ;

[Fig. 6C] la figure 6C représente le système d'acquisition de la figure 6B en détails;

[Fig. 6D] la figure 6D représente le contenu projeté sur l'écran d'un casque de réalité virtuel de l'utilisateur de la figure 4 dans ces conditions ;

[Fig. 7A] la figure 7A représente l'avatar de l'utilisateur de la figure 4 dans une première position et une première orientation dans le volume virtuel de la scène synthétique de la figure 2 ; [Fig. 7B] la figure 7B représente la position du système d'acquisition de la figure IB dans ces conditions ;

[Fig. 7C] la figure 7C représente le système d'acquisition de la figure 7B en détails;

[Fig. 7D] la figure 7D représente le contenu projeté sur l'écran d'un casque de réalité virtuel de l'utilisateur de la figure 4 dans ces conditions ;

[Fig. 8A] la figure 8A représente l'avatar de l'utilisateur de la figure 4 dans une deuxième orientation dans le volume virtuel de la scène synthétique de la figure 2 ;

[Fig. 8B] la figure 8B représente la position du système d'acquisition de la figure IB dans ces conditions ;

[Fig. 8C] la figure 8C représente le système d'acquisition de la figure 8B en détails;

[Fig. 8D] la figure 8D représente le contenu projeté sur l'écran d'un casque de réalité virtuel de l'utilisateur de la figure 4 dans ces conditions ;

[Fig. 9A] la figure 9A représente l'avatar de l'utilisateur de la figure 4 lorsqu'il sort du volume virtuel de la scène synthétique de la figure 2 ;

[Fig. 9B] la figure 9B représente la position du système d'acquisition de la figure IB dans ces conditions ;

[Fig. 9C] la figure 9C représente le système d'acquisition de la figure 9B en détails;

[Fig. 9D] la figure 9D représente le contenu projeté sur l'écran d'un casque de réalité virtuel de l'utilisateur de la figure 4 dans ces conditions ;

[Fig. 10A] la figure 10A représente l'avatar de l'utilisateur de la figure 4 en dehors du volume virtuel de la scène synthétique de la figure 2 ;

[Fig. 10B] la figure 10 représente la position du système d'acquisition de la figure IB dans ces conditions ;

[Fig. 10C] la figure 10C représente le système d'acquisition de la figure 10B en détails;

[Fig. 10D] la figure 10D représente le contenu projeté sur l'écran d'un casque de réalité virtuel de l'utilisateur de la figure 4 dans ces conditions ;

[Fig. 11] la figure 11 représente l'architecture fonctionnelle d'un dispositif d'immersion conforme à un mode de réalisation de l'invention ; et

[Fig. 12] la figure 12 représente l'architecture matérielle d'un dispositif d'immersion conforme à un mode de réalisation de l'invention.

Description détaillée de modes de réalisation particuliers La figure IA représente un système SYS conforme à un mode particulier de réalisation de l'invention. Ce système SYS comporte un système d'acquisition vidéo CAM pouvant se déplacer grâce à un bras articulé robotisé dans un VOLCAM dans un environnement réel EVR. Ce bras permet par exemple un déplacement et une rotation du système d'acquisition selon six degrés de liberté. Dans l'exemple de la figure IA, l'environnement réel comporte deux objets réels : un arbre ORi et une maison OR2.

On note REPCAM un repère lié à au système d'acquisition vidéo.

Dans un mode de réalisation représenté à la figure IB, le système d'acquisition vidéo CAL comporte deux caméras CAMi et CAM2. Un moteur peut permettre de gérer l'écartement entre les caméras en fonction de l'écartement entre les pupilles.

Ce système CAM peut être piloté à distance via un réseau NET pour suivre les mouvements de la tête d'un utilisateur USR. Ce réseau est par exemple un réseau haute performance de type 5G à très faible latence et très haut débit permettant la transmission des flux vidéo la commande des mouvements du bras articulé en temps réel.

A cet effet, et comme représenté à la figure 3, l'utilisateur USR est équipé d'un casque de réalité virtuelle HLM dont la position POSHD et l'orientation ORHD peuvent être déterminées par un réseau de capteurs CAP, dans un repère REPCAP lié à ce réseau de capteurs.

Si le casque de réalité virtuelle HLM est apte à suivre le regard de l'utilisateur, le point de focus de chaque caméra CAMi, CAM2 peut être varié.

La figure 2 représente une scène synthétique SS comportant des objets synthétiques W et OSi. L'un de ces objets synthétiques, W est un volume fini virtuel. Dans la suite on ne s'intéresse qu'à cet objet synthétique (ou objet virtuel) W.

Un avatar AVT de l'utilisateur USR peut se déplacer dans la scène synthétique SS.

Dans le mode de réalisation décrit ici en référence aux figures 1 et 2, les volumes VOLCAM et W ont une même forme sensiblement cubique.

Ces volumes pourraient avoir une autre même forme par exemple sphérique ou ovoïde.

Ces volumes peuvent aussi être de formes différentes. Par exemple, le volume VOLCAM de déplacement du système d'acquisition vidéo peut être parallélépipédique et le volume virtuel W peut être sphérique.

Le volume de l'objet synthétique W peut être compris dans le volume VOLCAM dans lequel ledit système d'acquisition vidéo CAM est susceptible de se déplacer.

Les dimensions du volume virtuel W sont légèrement inférieures à celles du volume VOLCAM dans lequel le système d'acquisition vidéo CAM peut se déplacer. Le volume virtuel W peut être inscrit dans le volume VOLCAM. Cette caractéristique permet aussi d'éviter que le bras robotisé soit en butée lorsque les yeux de l'avatar AVT arrivent en limite du volume virtuel W.

On note respectivement POSAVT et ORAVT la position et l'orientation des yeux de l'avatar AVT dans un repère REPEW lié au volume virtuel.

Le repère REPCAM lié au système d'acquisition vidéo et le repère REPEW lié au volume virtuel W sont mis en correspondance de sorte à ce que tout point du volume virtuel W correspond à un point du volume VOLCAM de déplacement du système d'acquisition CAM.

Dans cet exemple, on note Fi les faces du volume VOLCAM et fi les faces correspondantes du volume W.

De la même façon, le repère REPEW lié au volume virtuel W et le repère REPCAP lié au réseau de capteurs CAP sont mis en correspondance.

Ainsi, l'objet synthétique W permet de matérialiser le volume couvert par le déplacement de système d'acquisition et d'y associer des étapes de début et fin de transmission rendant la transmission plus naturelle, plus confortable pour l'utilisateur qui sort de l'objet synthétique lorsque le système d'acquisition arrive à la limite de son volume de déplacement mettant ainsi fin à la transmission de la vidéo fournie par le système d'acquisition.

La figure 4 représente les principales étapes d'un procédé d'immersion PIMM conforme à un mode particulier de réalisation de l'invention.

On supposera que l'utilisateur allume son casque de réalité virtuelle au cours d'une étape E05.

La scène synthétique SS de la figure 2 est projetée sur un écran SCR de casque HLM. Le contenu qui apparaît sur cet écran est représenté à la figure 5. On reconnaît le volume virtuel W et des portions des objets synthétiques OSi et OS2.

Le système d'acquisition vidéo CAM est éteint, sa position peut être prédéfinie ou quelconque. Il ne transmet pas de flux vidéo.

Dans le mode de réalisation décrit ici, le procédé d'immersion comporte un processus PCAP pour obtenir (étape E10) la position courante POSHD et l'orientation courante ORHD de la tête de l'utilisateur USR dans le repère REPCAP lié au réseau de capteurs.

Dans le mode de réalisation décrit ici, le procédé d'immersion PIMM comporte un processus PAVT pour contrôler la position POSAVT et l'orientation ORAVT des yeux de l'avatar AVT dans le repère REPEW lié au volume virtuel W. Ce processus PAVT est appelé processus de contrôle de l'avatar AVT.

Dans le mode de réalisation décrit ici, lorsque le casque de réalité virtuelle est allumé (étape E05), le processus PAVT de contrôle de l'avatar positionne et oriente les yeux de l'avatar AVT à une position d'origine POSAVT, ORIG et selon une orientation d'origine ORAVT, ORIG prédéterminées (étape E15), en dehors du volume virtuel W.

Puis, au cours d'une étape générale E20, le processus PAVT de contrôle de l'avatar contrôle la position POSAVT et l'orientation ORAVT des yeux de l'avatar AVT dans le repère REPEW en fonction de la position POSHD et de l'orientation ORHD de la tête de l'utilisateur USR dans le repère REPCAP.

Dans le mode de réalisation décrit ici, le procédé d'immersion PIMM comporte un processus PVID de contrôle du flux vidéo du système d'acquisition vidéo CAM. Ce processus PVID est appelé processus de contrôle vidéo.

Dans le mode de réalisation décrit ici, le processus PVID de contrôle vidéo comporte une étape pour déterminer si la position courante des yeux de l'avatar POSAVT se situe dans le volume virtuel W. Si tel est le cas le processus PVID de contrôle de vidéo envoie (étape E40) un message de contrôle POS au système d'acquisition vidéo CAM pour que celle-ci envoie au casque de réalité virtuelle le flux vidéo acquis par la caméra CAM.

Dans le mode de réalisation décrit ici, le processus PVID de contrôle vidéo envoie (étape E45) un message de contrôle POS au système d'acquisition vidéo CAM pour que celle-ci arrête d'envoyer le flux vidéo acquis par la caméra CAM au casque de réalité virtuelle lorsque les yeux de l'avatar POSAVT sortent et s'éloignent d'une distance déterminée de la limite du volume virtuel W.

Dans le mode de réalisation décrit ici, le procédé d'immersion PIMM comporte un processus PCAM de contrôle de la position du système d'acquisition vidéo CAM. Ce processus PCAM est appelé processus de contrôle de caméra.

Dans le mode de réalisation décrit ici, lorsque le casque de réalité virtuelle est allumé (étape E05), le processus PVID de contrôle vidéo envoie (étape E25) un message de contrôle POS au système d'acquisition vidéo CAM pour que le bras robotisé positionne et oriente ce système CAM selon une position d'origine POSCAM, ORIG et selon une orientation d'origine ORCAM, ORIG déterminées dans un repère REPCAM lié à au système d'acquisition vidéo.

Dans le mode de réalisation décrit ici, le processus PCAM de contrôle de caméra comporte une étape pour déterminer si la position courante des yeux de l'avatar POSAVT est proche et à l'extérieur du volume virtuel W. Si tel est le cas le processus PCAM de contrôle de caméra envoie (étape E30) un message de contrôle POS au système d'acquisition vidéo CAM pour l'allumer et que le bras robotisé le place à la limite du volume VOLCAM selon une position et une orientation correspondantes à celle des yeux de l'avatar AVT. Par exemple si l'avatar AVT se trouve à l'extérieur et à proximité d'une limite Nord du volume virtuel W, orienté selon une direction Sud-Ouest, le système d'acquisition vidéo est positionné à la limite Nord du volume VOLCAM et orienté selon la direction Sud-Ouest.

En variante, le processus PCAM de contrôle de caméra envoie (étape E30) un message de contrôle POS au système d'acquisition vidéo CAM pour qu'il se place à la limite du volume VOLCAM selon une position et une orientation prédéterminées. Dans le mode de réalisation décrit ici, le processus PCAM de contrôle de caméra comporte une étape pour déterminer si la position courante des yeux de l'avatar POSAVT se situe dans le volume virtuel W. Si tel est le cas le processus PCAM de contrôle de caméra envoie (étape E35) un message de contrôle au système d'acquisition vidéo CAM pour que le bras robotisé modifie sa position POSCAM et son orientation ORCAM dans le repère RCAM en fonction de la position POSAVT et de l'orientation ORAVT des yeux de l'avatar dans le repère REPEW.

Tant que les yeux de l'avatar AVT se situent dans le volume virtuel W, le bras robotisé adapte la position et l'orientation du système d'acquisition vidéo CAM en fonction des informations reçues.

Si les yeux de l'avatar AVT sortent et s'éloignent du volume virtuel d'une distance déterminée, le processus PCAM de contrôle caméra éteint le système d'acquisition vidéo CAM et met fin à la communication établie avec ce système CAM.

Dans le mode de réalisation décrit ici, le procédé d'immersion PIMM comporte un processus PAFF de restitution d'un contenu sur l'écran SCR du casque de réalité virtuelle. Ce processus PAFF est appelé processus de restitution.

Dans le mode de réalisation décrit ici, le processus PAFF de restitution comporte une étape pour déterminer si la position courante des yeux de l'avatar POSAVT est éloignée du volume virtuel W. Si tel est le cas le processus PAFF de restitution affiche (étape E50) la scène synthétique SS.

Dans le mode de réalisation décrit ici, le processus PAFF de restitution comporte une étape pour déterminer si la position courante des yeux de l'avatar POSAVT est dans le volume virtuel W et relativement éloignée de la limite de ce volume. Si tel est le cas le processus PAFF de restitution affiche (étape E55) le flux vidéo reçu du système d'acquisition vidéo.

De façon connue, si le système d'acquisition vidéo est constitué de deux caméras, chaque œil reçoit le flux de la caméra correspondante.

Dans le mode de réalisation décrit ici, si la position courante des yeux de l'avatar POSAVT est à l'extérieur ou à l'intérieur du volume virtuel W et proche de la limite de ce volume, cas le processus PAFF de restitution affiche (étape E60) un contenu de transition entre le flux vidéo reçu du système d'acquisition vidéo et la représentation du volume virtuel W, par exemple sur tout l'écran SCR.

Ce contenu de transition peut par exemple être une image synthétique d'attente de la couleur du volume virtuel W ou un fondu de la scène synthétique SS et du flux vidéo reçu du système d'acquisition CAM.

La figure 6A représente l'avatar AVT dans une situation dans laquelle ses yeux se trouvent au niveau de la face fl du volume virtuel EW sensiblement en son milieu. L'avatar AVT est orienté perpendiculairement à cette face, autrement dit il se dirige vers la face f3.

Par conséquent, et comme représenté aux figures 6B et 6C, le système d'acquisition vidéo CAM est positionné au centre de la face Fl du volume VOLCAM, orienté vers la face F3. La figure 6D représente le contenu de transition projeté sur l'écran SCR du casque de réalité virtuel HLM. Dans cet exemple il s'agit d'une image synthétique d'attente de la couleur du volume virtuel W.

La figure 7 A représente l'avatar AVT dans une situation dans laquelle ses yeux se trouvent au centre du volume virtuel EW sensiblement en son milieu. L'avatar AVT est orienté vers la face f3.

Par conséquent, et comme représenté aux figures 7B et 7C, le système d'acquisition vidéo CAM est positionné au centre de la face Fl du volume VOLCAM, orienté vers la face F3.

La figure 7D représente le contenu projeté sur l'écran SCR du casque de réalité virtuel HLM. Il s'agit du flux vidéo acquis par le système d'acquisition vidéo CAM. On reconnaît l'objet réel ORi et une partie de l'objet réel OR2.

La figure 8A représente l'avatar AVT dans une situation dans laquelle il tourne la tête vers l'arête définie par les faces f3 et f4.

Par conséquent, et comme représenté aux figures 8B et 8C, le système d'acquisition vidéo CAM est orienté vers l'arête définie par les faces F3 et F4.

La figure 8D représente le contenu projeté sur l'écran SCR du casque de réalité virtuel HLM. Il s'agit du flux vidéo acquis par le système d'acquisition vidéo CAM. On reconnaît une partie de l'objet réel OR2.

La figure 9A représente l'avatar AVT dans une situation dans laquelle ses yeux se trouvent au niveau de la face f3 du volume virtuel EW sensiblement en son milieu. L'avatar AVT est orienté perpendiculairement à cette face.

Par conséquent, et comme représenté aux figures 9B et 9C, le système d'acquisition vidéo CAM est positionné au centre de la face F3 du volume VOLCAM, orienté perpendiculairement à la face F3 et tourné vers l'extérieur de ce volume.

La figure 9D représente le contenu de transition projeté sur l'écran SCR du casque de réalité virtuel HLM. Dans cet exemple il s'agit d'un fondu entre le flux vidéo du système d'acquisition CAL et une image synthétique d'attente de la couleur du volume virtuel W.

La figure 10A représente l'avatar AVT en dehors du volume virtuel W.

Dans le mode de réalisation décrit ici, et comme représenté aux figures 10B et 10C, le système d'acquisition vidéo CAM est positionné dans une position neutre, sensiblement au centre du volume VOLCAM.

La figure 10D représente le contenu projeté sur l'écran SCR du casque de réalité virtuel HLM. Il s'agit de la scène synthétique SS vue des yeux de l'avatar AVT. On reconnaît une partie des objets synthétiques OSi et OS2.

La figure 11 représente l'architecture fonctionnelle d'un dispositif d'immersion DIMM d'un utilisateur dans une application de réalité virtuelle, conformément à un mode particulier de réalisation. Ce dispositif comporte :

- un module MCA de contrôle du déplacement d'un avatar AVT d'un utilisateur dans une scène synthétique ;

- un module MCV de contrôle des déplacements d'un système d'acquisition vidéo en fonction des déplacements détectés de la tête dudit utilisateur ; et

- un module MRC de restitution d'un contenu sur un écran SCR d'un casque de réalité virtuelle de l'utilisateur USR, ledit contenu étant un flux vidéo acquis par ledit système d'acquisition vidéo si la position des yeux de l'avatar est dans un objet synthétique dont le volume peut être compris dans un volume dans lequel ledit système d'acquisition vidéo est susceptible de se déplacer. Ce dispositif DIMM peut avoir l'architecture matérielle d'un ordinateur tel que représenté à la figure 12.

Cet ordinateur ORD comporte notamment un processeur 10, une mémoire vive de type RAM 11, une mémoire morte de type ROM 12, une mémoire non volatile réinscriptible de type Flash 14 et des moyens de communication 13. La mémoire morte 12 constitue un support conforme à un mode particulier de réalisation de l'invention. Cette mémoire comporte un programme d'ordinateur PG conforme à un mode particulier de réalisation de l'invention, qui lorsqu'il est exécuté par le processeur 10, met en œuvre un procédé d'immersion conforme à l'invention et décrit précédemment en référence à la figure 4.