DESCRIPTION

DOMAINE TECHNIQUE

Le domaine de l'invention est celui de la capture et de la reproduction du mouvement d'un opérateur en déplacement dans son environnement. L'invention concerne plus particulièrement un système et un procédé de numérisation du corps de l'opérateur en mouvement et de son environnement pour permettre une visualisation à 360° et en 3D, en réalité virtuelle, de ce mouvement, synchronisé dans son environnement. ÉTAT DE LA TECHNIQUE ANTÉRIEURE

Les casques de réalité virtuelle permettent aujourd'hui une immersion totale dans un monde différent du monde réel. La réalité virtuelle permet une expérience d'immersion intense et une vision à 360°, sphérique et stéréoscopique. Le contenu peut être interactif, multi joueur et permettre de multiples point de vue d'une scène.

Aujourd'hui les contenus pour les casques de réalité virtuelle sont principalement des films immersifs en 3D réalisés par des studios de cinéma ou des studios spécialisés dans la réalité virtuelle, ou des jeux vidéo immersifs qui, à l'inverse d'un film où le contenu et le point de vue sont figés, permettent une interactivité totale pour plusieurs joueurs et avec des points de vue très différents. Toutefois, dans tous ces cas de figure, l'utilisateur n'est pas associé à la production du contenu.

Une solution pour qu'un utilisateur puisse générer du contenu pour la réalité virtuelle est l'utilisation de caméras sphériques qui offrent la possibilité à un utilisateur de générer un film 360°. Il devient alors possible de s'immerger dans ce film grâce à un casque de réalité virtuelle ou de le visualiser sur PC, tablette ou smartphone grâce à des lecteurs dédiés. EXPOSÉ DE L'INVENTION

L'invention vise à faire converger les deux approches mentionnées ci- dessus, et a plus particulièrement pour objectif de proposer une solution pour, à l'aide d'un système embarqué sur une personne, acquérir une action (environnement et mouvements de la personne) à 360° et en 3D, et permette de revivre cette action en réalité virtuelle.

A cet effet, l'invention propose un système de capture et de reproduction du mouvement d'un opérateur dans son environnement qui comporte un module central, des modules distribués et une unité de traitement informatique. Elle s'étend également au procédé mis en œuvre par un tel système.

Le module central peut être fixé, en utilisation, sur l'opérateur. Il comporte une caméra sphérique permettant d'acquérir une succession de prises de vue à 360° de l'environnement, un capteur de profondeur permettant de numériser l'environnement proche du module central en 3D, et une mémoire de stockage des prises de vue à 360° de l'environnement, et de données de numérisation de l'environnement proche du module central en 3D.

Les modules distribués sont fixés, en utilisation, en différentes localisations sur l'opérateur. Ils comportent des capteurs de mouvement et des moyens de communication avec le module central pour lui transmettre des données représentatives du mouvement de l'opérateur et permettre leur stockage dans la mémoire du module central.

L'unité de traitement informatique est configurée pour synchroniser les données stockées dans la mémoire du module central dans l'espace et le temps, et pour fusionner les données synchronisées afin de générer une représentation numérique incluant, dans la succession de prises de vue à 360° de l'environnement, une reproduction de l'opérateur animée de manière à reproduire les mouvements de l'opérateur lors de son déplacement dans l'environnement et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement.

Certains aspects préférés mais non limitatifs de ce système sont les suivants : il comporte en outre un module logiciel de visualisation configuré pour permettre la visualisation par un utilisateur, avec interaction en réalité virtuelle, de la représentation numérique ;

le module logiciel de visualisation est configuré pour permettre la visualisation de la représentation numérique par une pluralité d'utilisateurs, chacun avec sa propre interaction en réalité virtuelle ;

l'interaction en réalité virtuelle comprend une interaction avec le point de vue de l'utilisateur ;

l'interaction en réalité virtuelle comprend une interaction avec un objet modélisé en 3D dans la représentation numérique ;

l'interaction en réalité virtuelle d'un utilisateur peut être commandée par l'intermédiaire d'au moins un des modules distribués.

BRÈVE DESCRIPTION DES DESSINS

D'autres aspects, buts, avantages et caractéristiques de l'invention apparaîtront mieux à la lecture de la description détaillée suivante de formes de réalisation préférées de celle-ci, donnée à titre d'exemple non limitatif, et faite en référence aux dessins annexés sur lesquels :

- la figure 1 est un schéma d'un module central d'un système selon un mode de réalisation possible de l'invention ;

- la figure 2 est un schéma d'un module distribué d'un système selon un mode de réalisation possible de l'invention ;

- la figure 3 illustre les principales étapes d'une phase d'acquisition d'une action selon un exemple de réalisation de l'invention ;

- la figure 4 est un schéma représentant des modules logiciels mis en œuvre dans le cadre de l'invention ;

- la figure 5 illustre les principales étapes de génération et de visualisation d'une représentation numérique 360° selon un exemple de réalisation de l'invention. EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS

L'invention porte sur un système de capture et de reproduction du mouvement d'un opérateur en déplacement dans son environnement, intérieur ou extérieur. Ce système permet de créer du contenu centré sur l'opérateur en filmant l'environnement en 360° et en 3D, ainsi qu'en enregistrant le mouvement de l'opérateur.

L'invention peut se décrire comme le caméscope de la réalité virtuelle, permettant de filmer, de revivre et de partager des activités en réalité virtuelle. Elle trouve application à la réalisation de films de sports et loisirs, à la réalisation de salles de démonstration virtuelle, à l'enregistrement et l'analyse de gestes pour la formation, l'apprentissage et le suivi de gestes professionnels, à la conservation du savoir-faire, des gestes et du patrimoine culturel, à la rééducation médicale contrôlée, etc.

Le système selon l'invention se compose d'un module central, de modules distribués, et d'une suite logicielle de fusion de données et de génération de monde en réalité virtuelle.

Le module central et les modules distribués ont ainsi pour fonctions essentielles d'enregistrer l'environnement de l'opérateur sous forme de film vidéo sphérique (360°), de capturer le relief des objets dans le champ proche de l'opérateur, et de capturer les mouvements effectués par l'opérateur, le tout lors d'une phase d'acquisition de données correspondant à la réalisation d'une action de l'opérateur dans son environnement.

La suite logicielle permet de fusionner l'ensemble de données récoltées par le module central et les modules distribués lors de la phase d'acquisition afin de générer une représentation numérique qui fusionne le film en sphérique, le monde modélisé en 3D, et l'opérateur (sous la forme d'un avatar) et ces mouvements, l'ensemble étant synchronisé dans l'espace et le temps. Un casque de réalité virtuelle permet de visualiser cette représentation numérique 360° et donc de revivre l'action de l'opérateur. La représentation numérique peut être vue comme un film 360° de l'environnement dans lequel on retrouve des objets 3D, à avoir la reproduction numérique de l'opérateur sous la forme d'un avatar et la reproduction 3D de l'environnement proche de l'opérateur tout au long de son déplacement au cours de l'action. Prenant l'exemple d'une action de type descente de piste de ski, la représentation numérique correspond au film 360° dans lequel sont incrustés l'avatar reproduisant les mouvements du skieur, et la reproduction 3D de l'environnement autour de la trajectoire du skieur lors de la descente.

Le module central et les modules distribués permettent de mesurer une multitude de grandeurs de nature différente dont la connaissance simultanée permet d'accéder à des informations de haut niveau sur l'environnement et le mouvement de l'opérateur. Cette solution permet en outre de compenser les imperfections d'un capteur dans une gamme par les données d'un autre capteur : par exemple la dérive d'une centrale inertielle MEMS peut être corrigée par des calibration vidéo et des mesures de distances ou de profondeurs.

On a représenté sur la figure 1 un schéma d'un module central 10 d'un système selon un mode de réalisation possible de l'invention. Ce module central est lors de la phase d'acquisition un référentiel du système. Il peut alors être fixé sur le corps de l'opérateur, par exemple sur sa tête. En variante, notamment lorsque l'environnement est connu, le module central peut ne pas être embarqué sur l'opérateur mais être déporté de celui-ci et positionné dans l'environnement. A titre d'exemple, il peut être installé sur un poteau de filet de tennis pour permettre de numériser une partie de tennis.

Le module central 10 comprend un ensemble de capteurs 11-14, une mémoire 15, un calculateur 16, une batterie 17, et une interface de communication 18. L'ensemble de capteurs comprend notamment une caméra sphérique 11 permettant d'acquérir une succession de prises de vue à 360° de l'environnement, et un capteur de profondeur 12 permettant de numériser en 3D l'environnement proche du module central (i.e. proche de l'opérateur lorsque celui-ci équipé du module central). La caméra sphérique 11 peut être composée d'au moins deux caméras monoculaires chacune équipée d'un optique grand angle.

Le capteur de profondeur 12 permet de numériser l'environnement proche du module central typiquement sur une distance de 10 mètres, tant en intérieur qu'en extérieur, afin de permettre sa modélisation en 3D. Il s'agit par exemple d'une caméra stéréoscopique, d'un capteur RGB-D, d'un capteur de temps de vol, d'un lidar, etc.

Le module central 10 peut également comprendre un capteur de mouvement 13, par exemple une centrale inertielle, permettant de détecter le mouvement du module central par rapport à l'environnement.

Le module central 10 peut également comprendre un GPS 14, qui permet notamment de géo-référencer les représentations numériques 360° générées par le système conforme à l'invention. Le GPS 14 peut en outre fournir une aide à la localisation à l'opérateur du système selon l'invention.

La mémoire 15 sert au stockage des données des capteurs 11-14, notamment pour le flux vidéo à 360° de l'environnement délivré par la caméra sphérique 11, et les données de numérisation de l'environnement proche du module central en 3D délivrées par le capteur de profondeur 12.

La mémoire 15 est de préférence amovible. Elle est avantageusement constituée d'une ou plusieurs cartes mémoire interchangeables. La batterie 17 est elle aussi de préférence amovible et interchangeable.

L'interface de communication 18 peut comprendre des moyens de communication avec les modules distribués, tels que des moyens de communication sans fil, par exemple selon le protocole Bluetooth ^® Low Energy. Le module central 10 peut alors récupérer les données générées par les modules distribués et les stocker dans sa mémoire 15.

L'interface de communication 18 peut également comprendre des moyens de communication avec un dispositif externe, tel qu'un smartphone ou une tablette, notamment des moyens de communication sans fil, par exemple selon le protocole WiFi. Le dispositif externe peut être utilisé pour la calibration et la gestion du module central, ainsi que pour piloter les phases d'acquisition d'une action et de visualisation de sa représentation numérique.

L'interface de communication 18 peut en outre comprendre des moyens permettant d'établir une liaison filaire, par exemple une liaison USB, avec un ordinateur, notamment afin de lui transmettre, à l'issue d'une phase d'acquisition, les données générées par le module central et les modules distribués.

On a représenté sur la figure 2 un schéma d'un module distribué 20 d'un système selon un mode de réalisation possible de l'invention. Ce module distribué 20 est fixé sur le corps de l'opérateur lors de la phase d'acquisition. Le système selon l'invention exploite une pluralité de modules distribués, fixés en utilisation en différentes localisations sur l'opérateur. Ce système compte par exemple quatre modules distribués : un module distribué sur chaque main et un module distribué sur chaque pied. Les modules distribués sont par exemple clipsés sur des bracelets élastiques.

Chaque module distribué 20 comprend des capteurs 21-23 permettant de reconstruire le mouvement de manière relative au module central, par exemple une centrale inertielle 21, notamment une centrale inertielle 9 axes (accéléromètres, magnétomètres, gyromètres), associée à un capteur de profondeur ou de distance 22. Il peut également comprendre une caméra 23, par exemple faible coût et faible débit de type webcaméra, pour aider à la reconstruction du mouvement de l'opérateur.

Chaque module distribué 20 comprend par ailleurs un calculateur 24, une batterie 25 et une interface de communication 26 avec le module central 10, par exemple via une liaison sans fil, par exemple selon le protocole Bluetooth ^® Low Energy ou UWB (Ultra Large Bande). Cette interface 26 permet de transmettre, notamment en temps réel, au module central des données représentatives du mouvement de l'opérateur issues des capteurs 21, 22, 23 pour stockage dans la mémoire 15 du module central 10. Les données représentatives du mouvement, les trames du flux vidéo 360° et les cartes de profondeurs sont horodatées. Les trames du flux vidéo 360° et les cartes de profondeurs sont notamment synchronisées.

Chaque module distribué 20 peut également comprendre un système 27 de télé-alimentation, par exemple par induction. Il peut en outre disposer d'un système de communication 26, par exemple de type RF ou RFID, permettant d'échanger des données de calibration ou de programmation.

Le module central 10 et les modules distribués 20 permettent ainsi, lors d'une phase d'acquisition d'une action de l'opérateur, de numériser et d'enregistrer le mouvement et l'environnement de l'opérateur.

On peut bien entendu utiliser plusieurs modules centraux connectés entre eux pour améliorer la performance d'acquisition de l'environnement en 3D et 360°. A titre d'exemple, on peut réaliser la capture d'une partie de tennis en installant un module central sur chaque poteau de filet et un module central sur la chaise d'arbitre.

On peut par ailleurs multiplier le nombre de modules distribués de manière à améliorer les performances de suivi et de reproduction de mouvement. Et l'invention ne se cantonne pas à des modules distribués fixés sur le seul opérateur, mais s'étend également à l'utilisation de modules distribués installés sur plusieurs opérateurs (par exemple pour suivre les mouvements de deux joueurs d'une partie de tennis) ou des modules distribués installés sur un ou des objets utilisés lors de l'action (par exemple sur un ballon ou sur un vélo de figures libres).

La phase d'acquisition peut suivre le processus illustré par la figure 3. Au cours d'une étape Al, le module central 20 est allumé, par exemple via une commande issue du smartphone de l'opérateur. Après que l'opérateur ait installé les modules sur son corps, lors d'une étape A2, une calibration et initialisation du système est réalisée par l'opérateur, par exemple avec des gestes et des postures spécifiques afin de reconnaître la position et l'identification des modules distribués utilisés.

Lors d'une étape A3, l'opérateur peut procéder à la création de son avatar, par exemple au moyen de la caméra embarquée dans le module central. Alternativement, l'opérateur peut utiliser un avatar préenregistré.

L'étape A4 correspond au démarrage de l'enregistrement, et l'étape A6 à l'arrêt de l'enregistrement. Sur la figure 3, le démarrage et l'arrêt sont réalisés au moyen du smartphone de l'opérateur. Alternativement, ils peuvent être commandés par une commande gestuelle (utilisation d'un geste particulier comme un claquement de main par exemple) ou une commande sonore (utilisation d'une phrase particulière par exemple).

L'étape A5 correspond à l'enregistrement de l'action, et au stockage au cours du temps des différentes données issues des capteurs du module central 10 et des modules distribués 20 dans la mémoire 15 du module central.

Comme représenté sur la figure 5, une fois la phase d'acquisition terminée, l'opérateur peut connecter (étape Bl) le module central 10 à un ordinateur afin de lui transmettre les données enregistrées lors de la phase d'acquisition (flux vidéo, cartes de profondeur, position GPS, quaternions calculés par les centrales inertielles, etc.). Puis au cours d'une étape B2, l'ordinateur vient générer la représentation numérique de l'action grâce à des algorithmes de fusion de données.

Le système selon l'invention comprend ainsi une unité de traitement informatique configurée pour générer la représentation numérique en exploitant toutes les données stockées dans la mémoire entre un instant de début et un instant de fin d'acquisition. L'unité de traitement informatique est plus particulièrement configurée pour synchroniser lesdites données dans l'espace et le temps et les fusionner afin de générer une représentation numérique.

Cette représentation numérique inclut, dans la succession de prises de vue à 360° de l'environnement acquises lors du déplacement de l'opérateur dans l'environnement, une reproduction de l'opérateur animée de manière à reproduire les mouvements de l'opérateur lors de son déplacement dans l'environnement au cours de la phase d'acquisition et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement au cours de la phase d'acquisition (i.e. proche de l'opérateur quand celui-ci est équipé du module central).

On a représenté sur la figure 4 un schéma d'une suite logicielle 30 composée de plusieurs modules logiciels 31-34 pouvant être exploités dans le cadre de l'invention. On y retrouve un module 31 de récupération et de synchronisation des données enregistrées lors de la phase d'acquisition d'une action, un module 32 de contrôle d'avatar, un module 33 de génération de la représentation numérique de l'action, et un module 34 de visualisation. Le module 32 de contrôle d'avatar assure deux fonctions :

- la création, avant la phase d'acquisition, de la reproduction de l'opérateur dans le monde virtuel (i.e. son avatar), et

- la reproduction sous contraintes biomécaniques du mouvement de l'opérateur lors de son déplacement dans l'environnement au cours de la phase d'acquisition, de manière à permettre l'animation de la reproduction de l'opérateur dans la représentation numérique.

Le module 33 de génération de la représentation numérique permet de reconstruire l'intégralité de la scène numérisée par le module central et les modules distribués. Cette génération de la représentation numérique se fait soit par un calcul sur une machine locale (PC de bureau ou console de salon) si celle-ci est assez puissante, soit par calcul déporté sur des machines accessibles à distance.

Le module 34 de visualisation est dédié à la visualisation en réalité virtuelle des représentations numériques correspondant aux actions numérisées par l'opérateur lui-même ou à celles réalisées par un autre utilisateur lui ayant mis à disposition les représentations numériques de ses propres actions. Ce module de visualisation permet par ailleurs à l'opérateur d'interagir avec le contenu d'une représentation numérique, mais également de partager le contenu de la représentation numérique avec plusieurs autres utilisateurs simultanément.

Des modules complémentaires peuvent être utilisés, comme par exemple un module de gestion de l'opérateur. Ce module logiciel permet à l'opérateur de partager les représentations numériques qu'il a créées. De plus, ce module permet de gérer un compte opérateur, donnant accès à un espace de stockage et de partage de données, pour, par exemple administrer un ou plusieurs avatar(s), les représentations numériques générées, un espace de calcul de ces représentations numériques, etc.

En référence à nouveau à la figure 5, le module de visualisation permet à un utilisateur (étape B3) de visualiser une représentation numérique d'une action générée par le module 33, par exemple au moyen d'un casque de réalité virtuelle. Cette visualisation peut être réalisée simultanément par plusieurs utilisateurs (étape B3'), les casques étant pour cela synchronisés. Le module de visualisation permet par ailleurs à l'utilisateur d'interagir avec le contenu d'une représentation numérique, cette interaction étant représentée par une étape B4 sur la figure 5. Notamment, sans que cela ne soit limitatif (l'utilisateur pouvant interagir avec le contenu en utilisant un ou des outils d'interaction conventionnels), le module central et les modules distribués peuvent être avantageusement également utilisés lors de la visualisation en réalité virtuelle pour jouir de l'intégralité de l'expérience interactive avec le contenu. Le ou les utilisateurs peuvent ainsi porter un module distribué, le module central venant acquérir en temps réel les mouvements et la position du ou des utilisateurs pendant la visualisation et l'interaction avec la scène. De telle manière l'utilisateur peut interagir avec l'environnement et les objets contenus dans la scène, avec une interface intuitive et simple d'utilisation.

L'interaction avec le monde virtuel peut notamment comprendre une interaction avec le point de vue de l'utilisateur, par modification des caractéristiques (position, orientation, facteur d'échelle) de la caméra virtuelle qui permet de voir ce qui se passe dans le monde virtuel. Chaque utilisateur peut ainsi choisir et modifier son point de vue pendant la visualisation de la scène. Il est possible de choisir le point de vue filmé par la caméra sphérique, mais également n'importe quel autre point de vue de la scène : sur le côté, au-dessus, en dessous, quelques mètres derrière l'opérateur, etc.

L'interaction avec le monde virtuel peut également comprendre une interaction avec un objet modélisé en 3D dans la représentation numérique. Ainsi, en plus de la visualisation avec une liberté de point de vue de la représentation numérique, l'invention permet également d'interagir, de modifier et de simuler l'effet des modifications dans cette représentation. Chaque élément proche, ainsi que l'opérateur et les objets qu'il utilise sont en effet modélisés en 3D dans la représentation numérique. Le module de visualisation permet de sélectionner puis de modifier ces objets modélisés en 3D dans la représentation numérique. Prenant l'exemple d'une action de type saut à ski, l'invention permet de sélectionner les skis, puis de modifier leurs positions. Il est également possible de supprimer des éléments de la représentation numérique, ou d'en rajouter pour modifier cette représentation. Comme représenté par l'étape B5 sur la figure 5, une fois ces modifications apportées, il est possible de simuler une fraction temporelle de la représentation numérique modifiée afin de pouvoir visualiser les effets de cette modification. L'invention peut dans ce cadre exploiter un simulateur physique permettant de prendre en compte les contraintes du corps humain et la physique liée à l'environnement.

Dans le système selon l'invention, les modules distribués peuvent chacun comprendre une centrale inertielle et des moyens permettant le calcul d'une distance relative avec le module central. L'unité de traitement informatique peut par ailleurs être déportée du module central.

L'invention n'est pas limitée au système tel que précédemment décrit, et s'étend également au procédé composé des différentes étapes mises en œuvre par un tel système, et en particulier à un procédé de capture et de reproduction du mouvement d'un opérateur en déplacement dans son environnement, comprenant :

l'acquisition et le stockage, par un module central d'une succession de prises de vue à 360° de l'environnement et de cartes de profondeur de l'environnement proche du module central, le module pouvant être fixé sur l'opérateur lors de l'acquisition et du stockage,

l'acquisition par des modules distribués fixés, en utilisation, en différentes localisations sur l'utilisateur de données représentatives du mouvement de l'utilisateur, et la transmission desdites données au module central pour stockage, le traitement des données stockées par le module central de manière à les synchroniser dans l'espace et le temps et à les fusionner afin de générer une représentation numérique incluant, dans la succession de prises de vue à 360° de l'environnement, une animation d'une représentation de l'opérateur reproduisant les mouvements de opérateur lors de son déplacement dans l'environnement et une modélisation en 3D de l'environnement proche du module central lors du déplacement de l'opérateur dans l'environnement.