ENTITÉ MIXTE, SYSTÈME MIXTE, PROCÉDÉ DE GÉNÉRATION D’ENTITE MIXTE, PROCÉDÉ DE GÉNÉRATION DE

SYSTEME MIXTE

Domaine technique

L'invention concerne les domaines des objets électroniques digitaux, notamment des interfaces utilisateurs naturelles, de l’internet des objets... et les domaines de la réalité virtuelle mêlés dans la réalité mixte.

État de la technique

Le développement de technologies offre aux utilisateurs de nouvelles façons d'agir relativement à leurs environnements. La réalité virtuelle permet de s’évader du monde réel. Des technologies anthropomorphiques appelées interfaces utilisateur naturelles proposent des interactions naturelles et intuitives avec les technologies digitales. En outre, ces technologies omniprésentes soutiennent et améliorent les interactions avec les objets du quotidien et d'autres des entités du monde réel. Ainsi, elles permettent aux utilisateurs de modeler leur environnement et la réalité qu'ils vivent à leur propre convenance.

Les entités composant notre environnement réel sont progressivement connectées à l'Internet et multipliées dans l'espace virtuel. Dans cette virtualisation, la réalité augmentée a été utilisée pour rendre des objets connectés dans un voisinage d’un utilisateur naturellement et intuitivement interactifs au moyen de l'Internet des objets. Les deux mondes : virtuel et réel deviennent mixtes au moyen de technologies telles que la réalité mixte et les interfaces utilisateur naturelles. Des objets réels deviennent en partie ou même complètement virtuels et interactifs. La séparation entre réalité et virtuel disparaît lentement.

Un modèle de systèmes mixtes est utilisé par Coutrix et al « Mixed reality : a model of mixed interaction » Proceedings of the working conférence on Advanced Visual interfaces, AVI’06, p. 43 ACM Press, Venezi, Italy, 2006, pour produire une réalité mixte dans lequel un système est composé d’objets mixtes formés de deux parties : une partie physique ou réelle décrite par ses propriétés physiques et une partie digitale constituée de propriétés digitales. Les deux parties étant synchronisées dans une boucle. Les technologies actuelles ont restreint cette synchronisation et limiter la capture de propriétés physiques et la mise à jour des propriétés digitales.

Depuis une décennie sont combinées Réalité Mixte, Interfaces utilisateur Naturelles et l'Internet des Objets dans les interactions hybrides : Certains ont créés des techniques d'interactions de réalité augmentée pour commander des dispositifs intelligents interagissant de manière transparente avec des dispositifs distants isolés ou groupés. D’autres ont développé des techniques pour augmenter de manière transparente le monde réel avec du contenu digital et interagir avec cela par des gestes, rendant l'information plus accessible et intuitive à utiliser. La réduction de la séparation entre réel et virtuel a été permise en mettant à jour les propriétés virtuelles d'un objet selon l'évolution de ses propriétés physiques pour naturellement agir réciproquement avec le jumeau virtuel d'un objet physique. Afin de fournir un support à l’utilisateur de téléphones mobiles pendant leur interaction avec leur environnement réel, les téléphones mobiles dits intelligents ou Smartphone ont été combiné à la réalité augmentée. L’écran du smartphone a été agrandi en utilisant un dispositif d’affichage transparent de vidéo (aussi nommé see-through video device en anglais). Dans ces expériences, mélangeant la réalité augmentée, des interfaces utilisateur naturelles et l'Internet de choses sont utilisés pour simplifier, faciliter et rendre les interactions plus naturelles et intuitives entre des utilisateurs et leur environnement réel augmenté du contenu digital relatif à cet environnement réel. Ces interactions hybrides sont conçues en réunissant à la main au coup par coup ces technologies, ce qui réduit ces expériences à une durée de vie très courte, sans interopérabilité, ni support.

Ainsi, les domaines réels et virtuels ont été progressivement mélangés de façon hétérogène. Sans aucune méthodologie de développement, ces systèmes mixtes manquent de généricité et de portabilité, et sont aussi limités dans leur complexité.

Exposé de l’invention

Un des buts de la présente invention est de remédier à des insuffisances de l'état de la technique. Un objet de l’invention est une entité mixte comportant :

- une entité réelle composée de dispositifs réels, l’entité réelle étant divisée en trois systèmes :

+ un système de capture réel fournissant des données réelles de l’entité réelle ;

+ un contrôleur réel générant une commande réelle en fonction de données de l’entité reçues dont les données réelles;

+ un système actionnable réel de l’entité réelle en fonction de commande réelle générée par le contrôleur réel, une action effectuée par le système actionnable réel étant captée par le système de capture réel;

les trois systèmes regroupant les dispositifs réels composant l’entité réelle en se basant sur la fonction des dispositifs réels; et

- une entité virtuelle implémentée en miroir à l’entité réelle.

Ainsi, les entités mixtes sont élaborées selon un modèle unique permettant une interopérabilité et un support.

Avantageusement, l’entité virtuelle comporte :

- un système de capture virtuel fournissant des données virtuelles de l’entité virtuelle ;

- un contrôleur virtuel générant une commande virtuelle en fonction de données de l’entité reçues dont les données virtuelles;

- un système actionnable virtuel de l’entité virtuelle en fonction de commande virtuelle générée par le contrôleur virtuel, une action effectuée par le système actionnable virtuel étant captée par le système de capture virtuel;

les trois systèmes regroupant les dispositifs virtuels composant l’entité virtuelle en se basant sur la fonction des dispositifs virtuels.

Ainsi, les entités virtuelles de l’entité mixte sont élaborées selon un modèle unique augmentant l’interopérabilité et la capacité de support. Avantageusement, le contrôleur réel et le contrôleur virtuel échangent les données réelles et les données virtuelles utilisables ensemble par le contrôleur réel et le contrôleur virtuel dans la génération, respectivement, de commande réelle et de commande virtuelle.

Ainsi, les entités mixtes permettent des interactions hybrides.

Avantageusement, un système d’entités mixtes est composé de plusieurs entités mixtes selon l’invention, les entités mixtes étant aptes à échanger des données entre elles.

Ainsi, l’interopérabilité permet de combiner plusieurs entités mixtes pour mettre en oeuvre une interaction hybride plus complexe.

Avantageusement, le système mixte comporte :

- d’une entité passive mixte constituée par une entité mixte dans laquelle le contrôleur réel et le contrôleur virtuel ne sont pas apte à échanger des données, et

- d’une entité interface mixte constituée par une entité mixte dans laquelle le contrôleur réel et le contrôleur virtuel sont aptes à échanger des données,

l’entité interface réelle étant apte à recevoir des données relatives à l’entité passive réelle et l’entité interface virtuelle et l’entité interface virtuelle étant apte à recevoir des données relatives à l’entité passive virtuelle et l’entité interface réelle.

Ainsi, le système mixte permet de proposer une interaction hybride aussi avec une entité mixte composée notamment d’une entité naturelle : animal, plante ou d’un espace .

Un autre objet de l’invention est un procédé de génération d’une entité mixte, l’entité mixte comportant une entité réelle composée de dispositifs réels, l’entité réelle étant divisée en trois systèmes :

- un système de capture réel fournissant des données réelles de l’entité réelle ;

- un contrôleur réel générant une commande réelle en fonction de données de l’entité reçues dont les données réelles;

- un système actionnable réel de l’entité réelle en fonction de commande réelle élaborée par le contrôleur réel, une action effectuée par le système actionnable réel étant captée par le système de capture réel;

les trois systèmes regroupant les dispositifs réels composant l’entité réelle en se basant sur la fonction des dispositifs réels, le procédé de génération comporte une génération d’une entité virtuelle en miroir de l’entité réelle.

Avantageusement, la génération de l’entité virtuelle comporte :

- une génération de dispositifs virtuels composant l’entité virtuelle et

- un regroupement des dispositifs virtuels générés en trois systèmes en se basant sur la fonction des dispositifs virtuels:

+ un système de capture virtuel fournissant des données virtuelles de l’entité virtuelle ; + un contrôleur virtuel générant une commande virtuelle en fonction de données de l’entité reçues dont les données virtuelles fournies par le système de capture virtuel;

+ un système actionnable virtuel de l’entité virtuelle en fonction de commande virtuelle générée par le contrôleur virtuel, une action effectuée par le système actionnable virtuel étant captée par le système de capture virtuel.

Avantageusement, lorsque le contrôleur réel comporte une interface avec un processeur mettant en oeuvre l’entité virtuel, la génération du contrôleur virtuel comporte une intégration dans le contrôleur virtuel généré d’une interface avec l’entité réelle apte à échanger, avec le contrôleur réel, des données réelles et des données virtuelles utilisables ensemble par le contrôleur réel et le contrôleur virtuel dans la génération, respectivement, de commande réelle et d’une commande virtuelle.

Avantageusement, un procédé de génération d’un système d’entités mixtes comporte plusieurs générations d’entités mixtes selon l’invention, les entités mixtes étant aptes à échanger des données entre elles.

Avantageusement, lorsque une première génération d’entité mixte est une génération d’une entité mixte passive dans laquelle le contrôleur réel et le contrôleur virtuel ne sont pas apte à échanger des données, une deuxième génération d’une entité mixte est une génération d’une entité mixte interface comportant une intégration, dans le contrôleur virtuel généré, d’une interface avec une entité réelle interface apte à échanger, avec un contrôleur interface réel, des données réelles et des données virtuelles utilisables ensemble par le contrôleur réel et le contrôleur virtuel dans la génération, respectivement, de commande réelle et d’une commande virtuelle.

Avantageusement, selon une implémentation de l'invention, les différentes étapes du procédé selon l'invention sont mises en oeuvre par un logiciel ou programme d'ordinateur, ce logiciel comprenant des instructions logicielles destinées à être exécutées par un processeur de données d'un dispositif de génération d’entité mixte et/ou de système mixte et étant conçus pour commander l'exécution des différentes étapes de ce procédé.

L'invention vise donc aussi un programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de génération d’entité mixte selon l’une quelconque des revendications et/ou du procédé de génération d’un système d’entités mixtes selon l’une quelconque des revendications lorsque ledit programme est exécuté par un processeur.

Ce programme peut utiliser n'importe quel langage de programmation et être sous la forme de code source, code objet ou code intermédiaire entre code source et code objet tel que dans une forme partiellement compilée ou dans n'importe quelle autre forme souhaitable. Brève description des dessins

Les caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description, faite à titre d'exemple, et des figures s’y rapportant qui représentent :

[Fig 1 ] Figure 1 , un schéma simplifié d’une entité mixte selon l’invention,

[Fig 2a] Figure 2a, un schéma simplifié d’un premier mode de réalisation d’un système mixte selon l’invention,

[Fig 2b] Figure 2b, un schéma simplifié d’un deuxième mode de réalisation d’un système mixte selon l’invention,

[Fig 3] Figure 3, un schéma simplifié d’un procédé de génération d’une entité mixte selon l’invention,

[Fig 4] Figure 4, un schéma simplifié d’un procédé de génération d’un système mixte selon l’invention,

[Fig 5a] Figure 5a, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens (marque déposée), dans lequel une interface du smartphone indique à l’utilisateur la connaissance par l’entité mixte HoloLens de la position du smartphone dans une première position du smartphone,

[Fig 5b] Figure 5b, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, dans lequel une interface du smartphone indique à l’utilisateur la connaissance par l’entité mixte HoloLens de la position du smartphone dans une deuxième position du smartphone, [Fig 5c] Figure 5c, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, dans lequel une interface du smartphone indique à l’utilisateur la connaissance par l’entité mixte HoloLens de la position du smartphone dans une troisième position du smartphone, [Fig 6a] Figure 6a, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant une entité virtuelle associée au smartphone,

[Fig 6b] Figure 6b, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant une interaction de l’utilisateur avec l’entité virtuelle associée au smartphone,

[Fig 6c] Figure 6c, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant le guidage de l’interaction de l’utilisateur au moyen de l’entité virtuelle associée au smartphone,

[Fig 6d] Figure 6d, un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant que le guidage de l’interaction de l’utilisateur au moyen de l’entité virtuelle associée au smartphone permet de déclencher une interaction réelle avec le smartphone.

Description des modes de réalisation

La figure 1 illustre un schéma simplifié d’une entité mixte selon l’invention.

L’entité mixte 1 comporte une entité réelle 14 composée de dispositifs réels. L’entité réelle 14 est divisée en trois systèmes :

+ un système de capture réel 141 fournissant des données réelles r _pp de l’entité réelle 14;

+ un contrôleur réel 142 générant une commande réelle r _cm en fonction de données de l’entité reçues dont les données réelles r _pp ;

+ un système actionnable réel 143 de l’entité réelle 14 en fonction de commande réelle r _cmd générée par le contrôleur réel 142, une action r _a effectuée par le système actionnable réel 143 étant captée par le système de capture réel 141 ;

les trois systèmes 141 , 142, 143 regroupant les dispositifs réels composant l’entité réelle 14 en se basant sur la fonction des dispositifs réels; et

- une entité virtuelle 15 implémentée en miroir à l’entité réelle 14.

Ainsi, une entité mixte 1 peut être composée de plusieurs dispositifs réels (non illustrées) regroupés dans l'entité réelle 14. Ces dispositifs réels sont utilisés en fonction des besoins par l'entité réelle 14 et/ou l'entité virtuelle 15 composant l'entité mixte 1. Par exemple, l'entité virtuelle 15 comporte un dispositif d'intelligence artificielle ou IA (constituant un contrôleur virtuel) qui va actionner des objets connectés de l'entité réelle 14 en fonction de ses besoins. Ce contrôleur virtuel est notamment implémenté dans le réseau et se matérialise pour communiquer via les écrans de l'entité réelle pour communiquer avec une personne précise.

En particulier, l’entité virtuelle 15 comporte :

- un système de capture virtuel 151 fournissant des données virtuelles v _pp de l’entité virtuelle 15;

- un contrôleur virtuel 152 générant une commande virtuelle v _cm en fonction de données de l’entité reçues dont les données virtuelles v _pp ;

- un système actionnable virtuel 153 de l’entité virtuelle 15 en fonction de commande virtuelle générée v _cm par le contrôleur virtuel 152, une action v _a effectuée par le système actionnable virtuel 153 étant captée par le système de capture virtuel 151 ;

les trois systèmes 151 , 152, 153 regroupant les dispositifs virtuels composant l’entité virtuelle 15 en se basant sur la fonction des dispositifs virtuels.

Ainsi, une entité mixte 1 peut être composée d'un ou plusieurs dispositifs réels regroupés dans l'entité réelle 14 et de plusieurs dispositifs virtuels (non illustrés) regroupés dans l'entité virtuelle 15. En particulier, l'entité mixte 1 est un dispositif de travail collaboratif, un robot (entité réelle) qui serait piloté par plusieurs utilisateurs simultanément (entité virtuelle comportant plusieurs interfaces utilisateurs).

En particulier, le contrôleur réel 142 et le contrôleur virtuel 152 échangent les données réelles r _pp et les données virtuelles v _pp utilisables ensemble par le contrôleur réel 142 et le contrôleur virtuel 143 dans la génération, respectivement, de commande réelle r _cm et de commande virtuelle v _cm . En particulier, le système de capture réel 141 et le système de capture virtuel 151 constitue un système de capture mixte 1 1 . Les systèmes de capture 141 , 151 ont, notamment, une fonction de perception de son environnement : réelle ou virtuelle permettant d’obtenir une perception mixte au moyen du système de capture mixte 1 1 en combinant les perceptions réelle et virtuelle.

En particulier, le contrôleur réel 142 et le contrôleur virtuel 152 constitue un contrôleur mixte 12. Les contrôleurs 142, 152 ont, notamment, une fonction d’analyse de l’environnement fournissant une connaissance réelle ou virtuelle de cet environnement permettant d’obtenir une connaissance mixte de l’environnement au moyen du contrôleur mixte 1 1 en combinant les connaissances réelle et virtuelle.

En particulier, le système actionnable réel 143 et le système actionnable virtuel 153 constitue un système actionnable mixte 13. Les systèmes actionnable 143, 153 ont, notamment, une action sur l’environnement : réelle ou virtuelle permettant d’obtenir une action mixte au moyen du système actionnable mixte 13 en combinant les actions réelle et virtuelle.

Par entité réelle 14 est notamment entendu un objet réel, un secteur ou une zone, un matériau, un animal, une plante, etc., de manière plus générale, une entité vivante (un utilisateur, une plante...) ou non (un dispositif électronique, informatique, mécanique...).

Ainsi, l’entité mixte 1 peut être composée d’un utilisateur 14 et de son avatar 15 constituant l’entité virtuel de cette entité mixte.

Les dispositifs virtuels de capture et les dispositifs virtuels actionnables peuvent avoir des fonctions virtuelles identiques à certaines fonctions réelles mises en oeuvre par les dispositifs réels de capture et des dispositifs réels actionnables ou d’autres fonctions éventuellement complémentaires à certaines fonctions réelles mises en oeuvre par les dispositifs réels de capture et des dispositifs réels actionnables.

Ainsi, une entité mixte 1 peut être composée d’un système de capture réel 141 comportant un capteur vidéo de l’environnement réel de l’entité mixte et d’un système de capture virtuel 151 comportant un capteur des données d’affichage de l’environnement virtuel de l’entité mixte. Dans ce cas, les fonctions des deux systèmes de capture 141 et 151 sont similaires.

Dans une autre variante de réalisation, l’entité entité mixte 1 peut être composée d’un système de capture réel 141 comportant un capteur vidéo de l’environnement réel de l’entité mixte et d’un système de capture virtuel 151 comportant un capteur de mouvement de l’entité virtuelle dans l’environnement virtuel. Suivant les modes de réalisation, les commandes d’actionnement r _cm et v _cmd générées par l’entité mixte sont indépendantes ou non. Notamment, les commandes d’actionnement réelles sont fonction soit uniquement de données réelles, telles que les données réelles captées r _pp , soit à la fois de données réelles, telles que les données réelles captées r _pp et/ou de données de commandes virtuelles v _cm , et de données virtuelles, telles que les données virtuelles captées v _pp et/ou de données de commandes réelles r _cm .

En particulier, la partie virtuelle 15 d'une entité mixte 1 est synchronisée avec sa partie réelle 14. Cette synchronisation est notamment partielle en fonction des limitations techniques et de l’augmentation de la réalité apportée par la partie virtuelle 15.

L’entité réelle ou partie réelle 14 de l’entité mixte 1 fournit une approche réelle de l’entité mixte. L’entité virtuelle ou partie virtuelle 15 de l’entité mixte peut être reproduite dans le monde réel pour permettre à un utilisateur de la percevoir.

Les entités mixtes 1 peuvent comporter une capacité interne de communication entre l’entité réelle 14 et l’entité virtuelle 15 permettant notamment la mise en oeuvre de la synchronisation. Ces entités mixtes 1 sont aussi appelées entités mixtes actives.

L’environnement virtuel perçu par le système de capture virtuel 151 fournit notamment des propriétés virtuelles v _pp de l’entité mixte 1 . Ces propriétés virtuelles v _pp sont par exemple, synchronisées avec des propriétés réelles r _pp de l’environnement réel perçu par le système de capture réel 141 . Par exemple, un utilisateur (entité réelle 14) peut être augmenté avec une reproduction virtuelle de ses organes réels comme un cœur virtuel (entité virtuelle 15) synchronisé avec la pulsation du cœur réel de l'utilisateur ou un moteur (entité réelle 14) peut être augmenté avec une reproduction virtuelle (entité virtuelle 15) de ces éléments internes : piston, chambre de compression, soupapes, vilebrequin en action synchronisés avec le régime moteur réel.

Les figures 2a et 2b montrent plusieurs modes de réalisation d’un système mixte selon l’invention.

Le système 0 d’entités mixtes est composé de plusieurs entités mixtes 1 , 2, 3. Les entités mixtes 1 , 2, 3, sont aptes à échanger des données entre elles {d} ^r _{1 2} , {d} ^v _{1 2} , {d} ^r i _,3 , {d} ^v _{1 3} , {d} ^r _2,3 , {d} ^v _{2 3} . En particulier, les entités réelles 14, 24, 34 échangent des données {d} ^r _{1 2} , {d} ^r _{1 3} , {d} ^r _{2 3} entre elles et les entités virtuelles 15, 25, 35 échangent des données {d} ^v _{1 2} , {d} ^v _{1 3} , {d} ^v _{2 3} entre elles.

Les figures 2a et 2b illustrent respectivement le cas d’un système mixte à deux entités mixtes et à trois entités mixtes.

La première entité mixte 1 comporte une première entité réelle 14 et une première entité virtuelle 15. La première entité réelle 14 est composée de premiers dispositifs réels. La première entité réelle 14 est divisée en trois premiers systèmes réels:

- un premier système de capture réel 141 fournissant des premières données réelles r ¹ _pp de la première entité réelle 14;

- un premier contrôleur réel 142 générant une première commande réelle r ¹ _cm en fonction de premières données de la première entité mixte reçues dont les premières données réelles r ¹ _pp ;

- un premier système actionnable réel 143 de la première entité réelle 14 en fonction de la première commande réelle r ¹ _cm générée par le premier contrôleur réel 142, une première action r _a effectuée par le premier système actionnable réel 143 étant captée par le premier système de capture réel 141 . Les trois premiers systèmes réels 141 , 142, 143 regroupent les premiers dispositifs réels composant la première entité réelle 14 en se basant sur la fonction des premiers dispositifs réels. La première entité virtuelle 15 est implémentée en miroir à la première entité réelle 14.

Une deuxième entité mixte 2 comporte une deuxième entité réelle 24 et une deuxième entité virtuelle 25. La deuxième entité réelle 24 est composée de deuxièmes dispositifs réels. La deuxième entité réelle 24 est divisée en trois deuxièmes systèmes réels:

- un deuxième système de capture réel 241 fournissant des deuxièmes données réelles r ² _pp de la deuxième entité réelle 24;

- un deuxième contrôleur réel 242 générant une deuxième commande réelle r ² _cm en fonction de deuxièmes données de la deuxième entité mixte reçues dont les deuxièmes données réelles r ² _pp ;

- un deuxième système actionnable réel 243 de la deuxième entité réelle 24 en fonction de la deuxième commande réelle r ² _cmd générée par le deuxième contrôleur réel 242, une deuxième action r _a effectuée par le deuxième système actionnable réel 243 étant captée par le deuxième système de capture réel 241 . Les trois deuxièmes systèmes réels 241 , 242, 243 regroupent les deuxièmes dispositifs réels composant la deuxième entité réelle 24 en se basant sur la fonction des deuxièmes dispositifs réels. La deuxième entité virtuelle 25 est implémentée en miroir à la deuxième entité réelle 24.

La première entité mixte 1 est soit une entité passive dans laquelle le contrôleur réel 142 et le contrôleur virtuel 152 ne sont pas apte à échanger des données, soit une entité active dans laquelle le contrôleur réel 142 et le contrôleur virtuel 152 sont apte à échanger des données.

Une entité mixte passive 1, 2, 3 est un cas particulier comportant une entité réellel4, 24, 34, tel qu'un animal, un rocher, une plante, etc. qui n'a pas la capacité de produire et supporter eux- mêmes la première entité virtuelle 15, 25, 35. Par exemple, une première entité virtuelle 15 d'une première entité mixte passive 1 peut alors être supportée par une deuxième entité mixte 2 qui va capturer des données relatives à la première entité réelle 14 et maintenir la première entité virtuelle 15, typiquement une caméra 241 qui filme une personne 14 et qui est connectée à un réseau dans lequel sera stockée la première entité virtuelle 15 de la première entité mixte 15. Une entité mixte active 1, 2, 3 a la capacité de supporter sa partie virtuelle 15, 25, 35. En particulier, la partie réelle 14, 24, 34 de l'entité mixte active est un smartphone, un HoloLens, un robot évolué, etc. Cette entité réelle 14, 24, 34 n'a pas besoin de son environnement pour supporter son entité virtuelle 15, 25, 35.

Ces entités mixtes 1, 2, 3 peuvent aussi être hybrides: une première entité mixte peut-être semi- active semi-passive si sa première entité réelle 14a la capacité de supporter sa première entité virtuelle 15 de façon autonome et d'utiliser, en plus, des données captées par d'autres entités mixtes 2, 3 de son environnement pour compléter le maintien de sa partie virtuelle 15.

La figure 2a illustre un schéma simplifié d’un premier mode de réalisation d’un système mixte selon l’invention.

En particulier, le système mixte 0 comporte :

- une entité passive mixte constituée par une entité mixte 1 (la première entité mixte citée ci- dessus par exemple) dans laquelle le contrôleur réel 142 et le contrôleur virtuel 152 ne sont pas apte à échanger des données, et

- une entité interface mixte constituée par une entité mixte 2 (la deuxième entité mixte citée ci- dessus par exemple) dans laquelle le contrôleur réel 242 et le contrôleur virtuel 252 sont aptes à échanger des données.

L’entité interface réelle 24 est apte à recevoir des données {d} ^r _{1 2} relatives à l’entité passive réelle 14 et l’entité interface virtuelle 25, et l’entité interface virtuelle 25 est apte à recevoir des données relatives {d} ^v _{1 2} à l’entité passive virtuelle 15 et l’entité interface réelle 24.

Une entité mixte passive 1 comporte notamment une entité réelle 14 notamment une entité tel qu’une personne (un utilisateur U) composée d’un système de capture ou de perception 141 comprenant notamment les yeux OE et d’un système actionnable 142 comprenant notamment les mains MN, un animal ou une plante qui pour interagir avec l’entité virtuelle 15 de son entité mixte 1 échange avec une entité interface mixte 2, aussi nommée entité mixte active, L’entité interface réelle 24 constitue une instrumentalisation de l’environnement réel et en particulier de l’entité réelle passive 14.

L’interface réelle 24 est notamment une interface utilisateur naturelle lorsque l’entité réelle passive 14 est un utilisateur U. Elle est responsable de la synchronisation entre l’entité réelle passive 14, l’utilisateur U, et l’entité virtuelle passive miroir 15, aussi nommé jumeau virtuel dans le cas d’une entité réelle humaine. Une interface utilisateur naturelle 14 peut être un détecteur environnemental, omniprésent comme un système de type Kinect (marque déposée) ou un dispositif de reconnaissance de mouvement des mains tel que le dispositif Leap Motion (marque déposée) statiquement placé dans un environnement, des objets intelligents non-portés ou des caméras de sécurité. Une interface utilisateur naturelle 14 peut aussi être un dispositif porté comme un masque ou des lunettes de réalité mixte, virtuelle ou augmentée, notamment les lunettes HoloLens (marque déposée). Dans ce cas, le dispositif de lunette de réalité mixte est responsable de capturer l’emplacement de la tête de l'utilisateur et l’orientation incluant le dépistage de regard fixe, l'activité des mains de l’utilisateur quand des gestes appropriés permettent leur détection et la reconnaissance d’instructions vocales quand activé par le mot-clé d'assistant vocal associé.

La figure 2b illustre un schéma simplifié d’un deuxième mode de réalisation d’un système mixte selon l’invention.

Une troisième entité mixte 3 comporte une troisième entité réelle 34 et une troisième entité virtuelle 35. La troisième entité réelle 34 est composée de troisièmes dispositifs réels. La troisième entité réelle 34 est divisée en trois troisièmes systèmes réels:

- un troisième système de capture réel 341 fournissant des troisièmes données réelles r ³ _pp de la troisième entité réelle 34;

- un troisième contrôleur réel 342 générant une troisième commande réelle r ³ _cm en fonction de troisièmes données de la troisième entité mixte reçues dont les troisièmes données réelles r ³ _pp ;

- un troisième système actionnable réel 343 de la troisième entité réelle 34 en fonction de la troisième commande réelle r ³ _cmd générée par le troisième contrôleur réel 342, une troisième action r _a effectuée par le troisième système actionnable réel 343 étant captée par le troisième système de capture réel 341 . Les trois troisièmes systèmes réels 341 , 342, 343 regroupent les troisièmes dispositifs réels composant la troisième entité réelle 34 en se basant sur la fonction des troisièmes dispositifs réels. La troisième entité virtuelle 35 est implémentée en miroir à la troisième entité réelle 34.

Un système mixte selon l’invention permet à un utilisateur U, 14 d’interagir dans la réalité mixte avec un objet mixte 3 soit pseudo-naturellement au moyen d’une interface de réalité mixte 2 soit naturellement en interagissant directement avec la partie réelle 34 (notamment un smartphone), tangible, de l'objet mixte 3. L’objet mixte 3 est une entité mixte au sens de l’invention. L'interface mixte 2 est responsable de la prise en charge de la partie virtuelle 15 de l'utilisateur mixte 1 , par exemple en suivant à la trace son corps, ses activités et ses interactions. L’interface mixte 2 comporte dans ce cas :

- un système de capture 241 de l'activité du corps d'utilisateur U, 14 pour synchroniser et prendre en charge la partie virtuelle 15 de l’utilisateur mixte 1 incluant son jumeau virtuel,

- un contrôleur 252 automatisant le comportement virtuel de la partie virtuelle 15 l'utilisateur mixte 1 en exécutant des scénarios prédéterminés, notamment en automatisant le comportement virtuel du système actionnable 153 de la partie virtuelle 15 de l’utilisateur mixte 1 ,

- un contrôleur réel 242 intégrant à l'espace virtuel la partie virtuelle 15 de l'utilisateur mixte 1 et son activité virtuelle,

- un contrôleur virtuel 252 commandant la reproduction de la partie virtuelle 35 de l'objet mixte 3, permettant ainsi à l’utilisateur réel 14 de percevoir la partie virtuelle 35 de l’objet mixte 3,

- le contrôleur virtuel 252 permettant la communication entre la partie virtuelle 34 de l'objet mixte 3 et la partie virtuelle 14 de l'utilisateur mixte 1 .

L'objet mixte 3 est capable de maintenir et contrôler sa partie virtuelle 35, y compris son comportement virtuel en exécutant des scénarios prédéterminés. L'objet mixte 3 comporte une partie tangible 34, capable de communiquer avec d'autres entités mixtes 1 , 2.

Lorsque la partie réelle 14 de l’entité mixte 1 est un utilisateur U, la communication d’une autre entité mixte 2, 3 avec l’utilisateur est réalisée par reproduction vidéo, audio, kinésique... d’informations relatives aux parties virtuelles 15, 25, 35 des différentes entités mixtes 1 , 2, 3.

La figure 3 illustre un schéma simplifié d’un procédé de génération d’une entité mixte EM_GN selon l’invention.

Le procédé de génération d’une entité mixte EM_GN, l’entité mixte comportant une entité réelle composée de dispositifs réels, l’entité réelle ER étant divisée en trois systèmes :

- un système de capture réel SCR fournissant des données réelles de l’entité réelle ;

- un contrôleur réel CR générant une commande réelle en fonction de données de l’entité reçues dont les données réelles;

- un système actionnable réel SAR de l’entité réelle en fonction de commande réelle élaborée par le contrôleur réel, une action effectuée par le système actionnable réel étant captée par le système de capture réel;

les trois systèmes SCR, CR, SAR regroupant les dispositifs réels composant l’entité réelle en se basant sur la fonction des dispositifs réels, le procédé de génération EM_GN comporte une génération d’une entité virtuelle EV_GN en miroir de l’entité réelle ER.

Ainsi, l’entité virtuelle est une fonction miroir de l’entité réelle : EV=f _m (ER).

En particulier, la génération de l’entité virtuelle EV_GN comporte :

- une génération de dispositifs virtuels DV_GN composant l’entité virtuelle et

- un regroupement RGPT des dispositifs virtuels générés en trois systèmes en se basant sur la fonction CPT, C, A des dispositifs virtuels:

+ un système de capture virtuel SCV fournissant des données virtuelles de l’entité virtuelle ;

+ un contrôleur virtuel CV générant une commande virtuelle en fonction de données de l’entité reçues dont les données virtuelles fournies par le système de capture virtuel; + un système actionnable virtuel SAV de l’entité virtuelle en fonction de commande virtuelle générée par le contrôleur virtuel, une action effectuée par le système actionnable virtuel étant captée par le système de capture virtuel.

En particulier, lorsque le contrôleur réel CR comporte une interface IPR avec un processeur mettant en oeuvre l’entité virtuel EV, la génération du contrôleur virtuel EV_GN comporte une intégration IPJNT dans le contrôleur virtuel généré CV d’une interface IPV avec l’entité réelle ER apte à échanger, avec le contrôleur réel CR, des données réelles et des données virtuelles utilisables ensemble par le contrôleur réel CR et le contrôleur virtuel CV dans la génération, respectivement, de commande réelle et d’une commande virtuelle.

La figure 4 illustre un schéma simplifié d’un procédé de génération d’un système mixte selon l’invention.

Le procédé de génération d’un système d’entités mixtes SM_GN comporte plusieurs générations d’entités mixtes EM_GN1 ... EM_GNn selon l’invention, notamment telles qu’illustrées par la figure 3. Les entités mixtes EM_GN1 ... EM_GNn étant aptes à échanger des données entre elles.

En particulier, lorsqu’une première génération d’entité mixte EM_GN1 est une génération d’une entité mixte passive EM1 dans laquelle le contrôleur réel CR1 et le contrôleur virtuel CV1 ne sont pas apte à échanger des données, une deuxième génération d’une entité mixte EM_GN2 est une génération d’une entité mixte interface comportant une intégration IPJNT, dans le contrôleur virtuel généré CV2, d’une interface IPV avec une entité réelle interface ER2 apte à échanger, avec un contrôleur interface réel CR2, des données réelles et des données virtuelles utilisables ensemble par le contrôleur réel CR2 et le contrôleur virtuel CV2 dans la génération, respectivement, de commande réelle et d’une commande virtuelle.

En particulier, selon une implémentation de l'invention, les différentes étapes du procédé selon l'invention sont mises en oeuvre par un logiciel ou programme d'ordinateur, ce logiciel comprenant des instructions logicielles destinées à être exécutées par un processeur de données d'un dispositif de génération d’entité mixte et/ou de système mixte et étant conçus pour commander l'exécution des différentes étapes de ce procédé.

L'invention vise donc aussi un programme comprenant des instructions de code de programme pour l’exécution des étapes du procédé de génération d’entité mixte selon l’une quelconque des revendications et/ou du procédé de génération d’un système d’entités mixtes selon l’une quelconque des revendications lorsque ledit programme est exécuté par un processeur. Ce programme peut utiliser n'importe quel langage de programmation et être sous la forme de code source, code objet ou code intermédiaire entre code source et code objet tel que dans une forme partiellement compilée ou dans n'importe quelle autre forme souhaitable.

Les figures 5a à 5c illustrent un cas d’usage d’un système mixte comprenant un utilisateur 14, un smartphone 34 et des lunettes de réalité mixte 24, dans lequel une interface du smartphone indique à l’utilisateur 14 la connaissance par les lunettes de réalité mixte 24 de la position du smartphone 34. Les références correspondent à un système mixte tel qu’illustré par la figure 2b.

Dans ce premier scénario, la synchronisation des emplacements de l'objet mixte 3 et de l'interface mixte 2 est effectuée de telle sorte que la partie virtuelle 15 de l’utilisateur mixte 1 est consciente tant de son emplacement propre que l'emplacement de l’objet réel 34, et de manière isomorphe, la partie virtuelle 25 de l’objet mixte connaît son emplacement propre et aussi remplacement réel de l'utilisateur 14.

Dans les exemples des figures 5a à 5c, l’utilisateur 14 est informé du fait que les lunettes de réalité mixte 24 connaissent remplacement du smartphone 34 au moyen de données reproduites sur l’écran du smartphone 34. Par exemple, les données reproduites r ² _pp sont des yeux qui se déplacent sur l’écran du smartphone 34 en fonction de la position des lunettes de réalité mixte 24 par rapport au smartphone 34.

Lorsque l’interface réelle 24, dans notre exemple l’HoloLens, détecte remplacement de l’entité réelle 34, dans notre exemple le smartphone ou plus particulièrement l’écran du smartphone, de l’objet mixte 3, l’entité virtuelle 35 de cet objet mixte 3 comportant le smartphone est estimé puis initialisé, dans notre exemple en affichant un visage virtuel.

La figure 5a illustre le cas d’usage dans une première position du smartphone par rapport aux lunettes de réalité mixte. Les yeux montrent que les lunettes sont situées sur l’avant gauche du smartphone.

La figure 5b illustre un cas d’usage dans une deuxième position du smartphone par rapport aux lunettes de réalité mixte. Les yeux montrent que les lunettes sont situées devant le smartphone.

La figure 5c illustre un cas d’usage dans une troisième position du smartphone par rapport aux lunettes de réalité mixte. Les yeux montrent que les lunettes sont situées sur l’avant droite du smartphone.

En particulier, une position relative de l’interface réelle 24 et de l’objet réel 34 est estimée à un instant donné. Par exemple, une matrice de transfert entre un système de coordonnées de suivi de l’interface réelle 24 et un système de coordonnées de suivi de l’objet réel 34, notamment le système ARCore (marque déposée) d’un smartphone, est déterminée.

En particulier, l’interface virtuelle 25 et l’objet virtuel 35 partagent leurs positions et/ou la position relative, notamment la matrice de transfert.

Quand le suivi de l’objet réel 34 est perdu (notamment le suivi fourni par un système de coordonnées de suivi tel que Vuforia - marque déposée), l’interface virtuelle 25 arrête alors de suivre à la trace l’objet réel 34 en temps réel et commence à mettre à jour l’objet virtuel avec les translations et rotations fournies par le système de suivi de l’objet réel 34 et envoyées par le réseau à l’interface réelle 24 puis transposées dans le système de coordonnées de suivi de l’interface réelle 24 par la matrice de transfert précédemment déterminée. Ainsi, remplacement de chaque dispositif réel (interface réelle 24, objet réel 34) sont connu l’un de l'autre puisqu'ils synchronisent en temps réel par le réseau leur position propre comme un paramètre de leur entité virtuelle respective.

La perception par l’interface réelle 24 de la position de l’objet réel 34 est fournie en retour à l’utilisateur 14 en ajoutant à l’objet virtuel 35 un élément directionnel indiquant la position de l’interface réelle 24: par exemple un visage virtuel, un ou des yeux virtuels regardant l’interface réelle 24, et donc l'utilisateur 14 dans le cas d’une interface réelle 24 constituée par des lunettes de réalité mixte tel que des HoloLens.

En particulier, l’objet virtuel 35 reproduit une information de position estimée de l’interface réelle et l’objet réel 34 partage via un réseau cette information de position estimée de l’interface réelle 24 avec l’interface virtuelle 25. Cela permet à l’utilisateur 14 d’interagir pseudo naturellement avec l’interface réelle 24 de l’interface mixte 2 dont l’interface virtuelle 25 synchronise et positionne l’utilisateur virtuel 15 afin que l’utilisateur 14 puisse interagir de manière tangible avec l’objet 34.

En particulier, un contrôleur réel 242, 342 d’une première entité mixte 2, 3 comporte des moyens de détermination en temps réel de la position d’une deuxième entité réelle 3, 2 en fonction de la position en temps réel de la première entité réelle 24, 34 et de la position relative de la première entité réelle 24 par rapport à la deuxième entité réelle 34 déterminée à un instant donné. Notamment la position relative de la première entité réelle 24 par rapport à la deuxième entité réelle 34 déterminée à un instant donné est constituée par une matrice de transposition entre un premier système de coordonnées de suivi correspondant à la première entité réelle 24 et un deuxième système de coordonnées de suivi correspondant à la deuxième entité réelle 34.

Les figures 6a à 6d montrent un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant le guidage de l’interaction de l’utilisateur au moyen d’une entité virtuelle associée au smartphone permettant de déclencher une interaction réelle avec le smartphone.

Le smartphone mixte 3 comporte les fonctionnalités suivantes :

- partager avec l’interface mixte 2 des données en grand nombre, tels que des contacts ;

- fournir une interface utilisateur tangible 351 pour déplacer ses contacts ;

- fournir une interface tactile 341 pour interagir avec des contacts virtuels par contact,

L’interface mixte 2, comportant en l’occurrence l’HoloLens, comporte les fonctionnalités suivantes :

- reproduire le grand nombre de données, notamment des contacts, de l’objet mixte 3 ;

- permettre à l'utilisateur mixte 1 de pseudo-naturellement interagir en utilisant des interactions virtuelles ou gestuelles ou en l’air (ou « in-air » en anglais) avec des contacts pour choisir et centrer sur le smartphone réel 34 un contact pour plus loin interagir avec.

Ces scénarios d’interactions hybrides commençant « in air » entre un utilisateur mixte 1 et quelques paramètres virtuels d'un objet mixte 3 par une interface mixte 2 et finissant tactilement sous la forme d’interactions tangibles et tactiles entre l'utilisateur mixte 1 et quelques paramètres virtuels de l'objet mixte 3 par l'interface mixte 2.

La figure 6a illustre un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant une entité virtuelle associée au smartphone.

Le smartphone 34 montre des données sur l’écran réel et aussi sur sa partie virtuelle 35. En particulier, lorsque les données à reproduire sont en grand nombre, il peut être intéressant pour une meilleure perception et/ou interaction par l’utilisateur 14 qu’elles soient reproduites sur le smartphone virtuel 35, par exemple sous la forme d’une mosaïque comme le montre la figure 6a.

La figure 6b illustre un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant une interaction de l’utilisateur avec l’entité virtuelle associée au smartphone.

L’utilisateur 14 souhaitant sélectionner une des données affichées virtuellement pointe son doigt vers une des données. Le smartphone virtuel reproduit cette sélection en modifiant la reproduction de la donnée par exemple en modifiant la couleur d’affichage de la donnée sélectionnée virtuellement en rouge et/ou en modifiant sa taille d’affichage (en l’agrandissant), etc.

La figure 6c illustre un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant le guidage de l’interaction de l’utilisateur au moyen de l’entité virtuelle associée au smartphone, Le smartphone virtuel 34 guide l’utilisateur 14 vers le smartphone réel 34 en décalant la reproduction de la donnée sélectionnée virtuellement vers l’écran du smartphone réel 34, par exemple en décalant l’ensemble des données (la mosaïque) de tel sorte que la donnée sélectionnée soit placée devant l’écran du smartphone réel 34.

La figure 6d illustre un cas d’usage d’un système mixte comprenant un utilisateur, un smartphone et un HoloLens, montrant que le guidage de l’interaction de l’utilisateur au moyen de l’entité virtuelle associée au smartphone permet de déclencher une interaction réelle avec le smartphone.

Ainsi, le doigt de l’utilisateur 14 guidé par le smartphone virtuel 34 vers le smartphone réel 34 en décalant la reproduction de la donnée sélectionnée virtuellement vers l’écran du smartphone réel 34 sélectionne la donnée tactilement sur l’écran du smartphone 34 dans une zone d’interaction mixte ZIM.

Le contrôleur virtuel d’une entité mixte comporte des moyens de modifications de la position de reproduction virtuelle d’une donnée sélectionnée virtuellement, la position de reproduction virtuelle de la donnée sélectionnée virtuellement étant modifiée progressivement vers une position de l’écran de l’entité réelle.

L'invention vise aussi un support. Le support d'informations peut être n'importe quelle entité ou dispositif capable de stocker le programme. Par exemple, le support peut comporter un moyen de stockage, tel qu'une ROM, par exemple un CD ROM ou une ROM de circuit microélectronique ou encore un moyen d'enregistrement magnétique, par exemple une disquette ou un disque dur.

D'autre part, le support d'informations peut être un support transmissible tel qu'un signal électrique ou optique qui peut être acheminé via un câble électrique ou optique, par radio ou par d'autres moyens. Le programme selon l'invention peut être en particulier téléchargé sur un réseau notamment de type Internet.

Alternativement, le support d'informations peut être un circuit intégré dans lequel le programme est incorporé, le circuit étant adapté pour exécuter ou pour être utilisé dans l'exécution du procédé en question.

Dans une autre implémentation, l'invention est mise en oeuvre au moyen de composants logiciels et/ou matériels. Dans cette optique le terme module peut correspondre aussi bien à un composant logiciel ou à un composant matériel. Un composant logiciel correspond à un ou plusieurs programmes d'ordinateur, un ou plusieurs sous-programmes d'un programme, ou de manière plus générale à tout élément d'un programme ou d'un logiciel apte à mettre en oeuvre une fonction ou un ensemble de fonction selon la description ci-dessus. Un composant matériel correspond à tout élément d'un ensemble matériel (ou hardware) apte à mettre en oeuvre une fonction ou un ensemble de fonctions.