APPLICATIONS GRAPHIQUES EN TROIS DIMENSIONS

La présente invention concerne le domaine des applications graphiques en trois dimensions, et en particulier le domaine des interfaces de commande dites "tangibles", et le domaine de la réalité virtuelle de type "aquarium" FTVR ("Fish Tank Virtual Reality"). La présente invention s'applique notamment à la manipulation et à conception d'objets et de prototypes en trois dimensions, aux jeux vidéo et à la visioconférence.

Les techniques de réalité virtuelle FTVR mettent en œuvre un écran d'affichage couplé à un dispositif de suivi du visage de l'utilisateur, pour afficher une image qui est adaptée à la position du visage de l'utilisateur par rapport à l'écran d'affichage, de manière à donner l'illusion d'une perspective ou d'un défilement parallaxe. Un défilement parallaxe est le déplacement apparent d'un objet observé, dû au déplacement de l'observateur. Les changements de point de vue de l'utilisateur sont ainsi détectés par le dispositif de poursuite et traités pour définir la position et l'angle de vue d'une caméra virtuelle filmant une scène virtuelle, correspondant au nouveau point de vue, l'écran d'affichage présentant les images produites par la caméra virtuelle. Ainsi, si une vue de face d'un objet est présentée sur un écran d'affichage et que l'utilisateur se déplace vers la droite. Ce mouvement est détecté et déclenche une rotation de l'objet affiché vers la gauche, ainsi qu'une déformation de l'objet pour préserver la les dimensions apparentes de l'objet malgré le fait que l'écran est observé de biais. L'image affichée montre ainsi des vues de face et latérale droite de l'objet en perspective. Des tests ont permis de mettre en évidence que cette technique améliore la capacité de l'utilisateur à appréhender des objets en trois dimensions affichés sur un écran en deux dimensions.

De plus en plus, des applications dans de nombreux domaines font intervenir des manipulations d'objets virtuels, telles que des mouvements de rotation ou de translation, ou une sélection d'objet. Classiquement, ces manipulations étaient possibles pour des utilisateurs avancés à partir de stations de travail. Aujourd'hui, il devient possible de réaliser de telles manipulations à partir de simples terminaux mobiles.

L'objectif des interfaces de commande tangibles est de donner une forme physique à des données informatiques, en utilisant des objets du monde réel appelés "objets tangibles" pour représenter ces données. Ainsi, ces interfaces graphiques visent à exploiter les capacités des utilisateurs à interagir avec des objets physiques, pour effectuer des tâches de manipulation d'une manière naturelle et donc plus efficace. Cette solution permet ainsi d'éviter un long apprentissage.

Cependant, ces opérations de manipulation nécessitent un retour visuel. A cet effet, certaines interfaces graphiques tangibles actuelles utilisent donc un écran d'affichage fixe, ce qui les empêche d'être portables. D'autres interfaces utilisent un écran d'affichage portable d'un appareil mobile (tel qu'une tablette numérique ou téléphone de type "smartphone"), mais nécessitent l'utilisation d'autres dispositifs tangibles distincts de l'écran d'affichage lui-même.

Il a également été proposé un dispositif autonome d'interface graphique utilisant un écran d'affichage portable comme une poignée réelle pour attraper et manipuler des objets virtuels situés derrière l'écran. Cette solution est entièrement portable, mais au prix de certains inconvénients résultant d'une séparation entre les objets virtuels derrière l'écran et la poignée réelle formée par l'écran. Si les objets sont fixes par rapport à l'écran, le centre d'un éventuel mouvement de rotation est situé sur l'écran. Il est alors difficile de faire tourner l'objet en faisant tourner l'écran, sans le déplacer en translation (Refs. [5], [8]). Il a également été proposé de dissocier les commandes de mouvement de rotation et de translation (Réf.

[9]). Il est ainsi plus facile de faire tourner un objet virtuel sur lui-même par un mouvement de rotation de T'écran. Cependant, comme l'objet virtuel n'est plus fixe par rapport à l'écran, il peut sortir partiellement ou totalement du champ de vision pendant son mouvement de rotation. Cet inconvénient peut être supprimé en augmentant le facteur de gain ou l'échelle des rotations, afin que l'objet puisse tourner de façon plus ample, sou l'effet d'une même rotation de l'écran. Ainsi, on limite le risque que l'objet sorte du champ de vision, mais cela affecte le retour visuel et donc réduit la sensation d'une manipulation directe de l'objet virtuel. Il peut être envisagé de supprimer cette séparation entre les objets virtuels derrière l'écran et la poignée formée par l'écran en plaçant l'écran "sur" l'objet virtuel à manipuler avant de commencer la manipulation. Cependant, si l'objet est trop volumineux, il ne peut plus être présenté entièrement à l'écran, ce qui complique sa manipulation. Ici encore il n'est pas possible de réduire la taille de l'objet affiché sans affecter le retour visuel.

Il a également été proposé ce qu'on appelle "la réalité virtuelle de type aquarium" FVTR ("Fish-Tank Virtual Reality") prévoyant de gérer un écran d'affichage pour qu'il apparaisse comme une fenêtre sur un monde virtuel (Refs. [3], [12]). Cette solution consiste à faire apparaître des objets virtuels derrière, sur ou devant l'écran d'affichage par un affichage en trois dimensions (3D), stéréo et/ou par un affichage en perspective en fonction de la position de la tête de l'utilisateur.

Un tel affichage 3D a été mis en œuvre dans un objet dont tout ou partie de la surface est recouverte d'un ou plusieurs écrans d'affichage. Cet objet peut être de forme cubique (Refs. [1 ], [6], [7], [10], [1 1 ]), ou polyédrique (Réf. [4]), ou encore sphérique (Réf. [2]). Cependant, ce type d'affichage n'a pas été exploité pour sélectionner et manipuler des objets virtuels, et la sélection d'un objet nécessite de faire appel à un organe de commande externe.

Il est donc souhaitable de proposer une interface graphique permettant à l'utilisateur d'interagir avec des objets d'un monde virtuel, d'une manière naturelle, sans nécessiter d'entraînement préalable. Il peut être également souhaitable d'intégrer une telle interface graphique dans un objet portable et autonome. Il est également souhaitable que cet objet puisse fournir un retour visuel aussi naturel que possible, durant la manipulation d'un objet virtuel, tout en assurant que l'objet virtuel manipulé soit affiché entièrement.

Des modes de réalisation concernent un procédé d'interaction avec des objets virtuels dans un espace virtuel, le procédé comprenant des étapes consistant à : déterminer des positions dans un espace réel d'un visage d'un utilisateur et d'un dispositif d'interaction portable autonome et, comportant des éléments d'affichage situés dans des plans différents, de manière à délimiter un volume intérieur virtuel, déterminer une position et une direction d'un axe de vision passant par un centre des éléments d'affichage et le visage de l'utilisateur, en fonction des positions du visage de l'utilisateur et du dispositif d'interaction, déterminer une orientation du dispositif d'interaction par rapport à l'axe de vision, déterminer des éléments d'affichage du dispositif d'interaction, visibles par l'utilisateur, en fonction de l'axe de vision et de l'orientation du dispositif d'interaction, déterminer une image de l'espace virtuel à afficher sur les éléments d'affichage visibles, et des projections de l'image déterminée d'un plan perpendiculaire à l'axe de vision sur des plans dans lesquels se trouvent les les éléments d'affichage visibles, en fonction de la position du dispositif d'interaction et de la position et de la direction de l'axe de vision, l'espace virtuel étant maintenu fixe par rapport à l'espace réel, et afficher les projections de l'image déterminée sur les éléments d'affichage visibles.

Selon un mode de réalisation, la détermination de la position du visage de l'utilisateur et de la position du dispositif d'interaction est effectuée à partir d'images prises par un capteur d'image fixe par rapport à l'espace réel.

Selon un mode de réalisation, la détermination de la position d'un visage de l'utilisateur et de la position du dispositif d'interaction est effectuée à partir d'images de l'espace réel, prises par un capteur d'image situé sur le dispositif d'interaction.

Selon un mode de réalisation, le procédé comprend des étapes consistant à : déterminer qu'un objet virtuel de l'espace virtuel se trouve dans le volume intérieur virtuel du dispositif d'interaction, mesurer une pression exercée par la main de l'utilisateur sur un élément de surface du dispositif d'interaction, et maintenir l'image de l'objet virtuel dans le volume intérieur virtuel du dispositif d'interaction tant que la pression mesurée excède une valeur de seuil, l'image déterminée de l'espace virtuel étant affichée en arrière-plan derrière l'image de l'objet virtuel, et maintenir fixe l'image de l'objet virtuel par rapport à l'image affichée de l'espace virtuel pendant des déplacements du dispositif d'interaction, lorsque la pression mesurée descend en dessous de la valeur de seuil.

Selon un mode de réalisation, le procédé comprend des étapes consistant à : lorsque la pression mesurée descend en dessous de la valeur de seuil, déterminer si l'objet virtuel se trouve sur une surface de l'espace virtuel susceptible de le supporter, et si l'objet virtuel se trouve sur une surface de l'espace virtuel susceptible de le supporter, maintenir fixe l'image de l'objet par rapport à l'espace virtuel, sinon simuler une chute de l'image de l'objet virtuel jusqu'à une surface de l'espace virtuel susceptible de le supporter.

Selon un mode de réalisation, le procédé comprend des étapes consistant à détecter durant des déplacements de l'objet virtuel maintenu dans le volume intérieur virtuel du dispositif d'interaction, si l'objet virtuel rencontre un autre objet virtuel de l'espace virtuel, et si tel est le cas, simuler un choc entre l'objet virtuel dans le volume intérieur virtuel du dispositif d'interaction et l'autre objet de l'espace virtuel.

Selon un mode de réalisation, le procédé comprend une étape d'émission par le dispositif d'interaction d'une vibration ou d'un son à l'instant du choc simulé.

Selon un mode de réalisation, le procédé comprend des étapes consistant à : détecter un phénomène à proximité du dispositif d'interaction, par des capteurs disposés sur ou dans le dispositif d'interaction, et traiter l'image affichée par le dispositif d'interaction de manière à simuler une propagation du phénomène détecté dans l'espace virtuel.

Selon un mode de réalisation, le phénomène détecté appartient à la liste suivante : un faisceau lumineux incident éclairant une ou plusieurs faces du dispositif d'interaction, un choc sur une face du dispositif d'interaction, et un mouvement d'air.

Selon un mode de réalisation, l'affichage de l'image déterminée sur les éléments d'affichage visibles, comprend une projection en perspective de l'espace virtuel en trois dimensions, en considérant pour chaque élément d'affichage visible une pyramide de projection ayant pour base l'élément d'affichage et pour sommet un point du visage de l'utilisateur sur l'axe de vision

Des modes de réalisation, peuvent également concerner un dispositif

'd'interaction, configuré pour mettre en œuvre le procédé défini précédemment, le dispositif d'interaction comprenant : des éléments d'affichage situés dans des plans différents.

Selon un mode de réalisation, le dispositif d'interaction comprend au moins l'un des éléments suivants : des capteurs de mouvement pour détecter des mouvements de rotation et de translation et une orientation dans l'espace réel du dispositif d'interaction, des capteurs de pression pour détecter une pression exercée sur une face du dispositif d'interaction, des capteurs d'image ou de profondeur, des capteurs de lumière, un microphone, un vibreur, et un haut-parleur.

Selon un mode de réalisation, le dispositif d'interaction présente une forme cubique.

Selon un mode de réalisation, le dispositif d'interaction comprend un circuit de communication sans fil et une alimentation électrique autonome.

Des exemples de réalisation de l'invention et de mise en œuvre du procédé de l'invention seront décrits dans ce qui suit, à titre non limitatif en relation avec les figures jointes parmi lesquelles :

la figure 1 représente schématiquement un dispositif d'interaction graphique, selon un mode de réalisation,

la figure 2 représente schématiquement des circuits du dispositif d'interaction graphique, selon un mode de réalisation,

les figures 3 et 4 représentent schématiquement des circuits du dispositif d'interaction graphique, configurés pour détecter la position de la tête de l'utilisateur, selon deux modes de réalisation distincts,

les figures 5 et 6 représentent le dispositif d'interaction pour illustrer des procédés de projection d'image en perspective.

La figure 1 représente un dispositif d'interaction graphique TUI, selon un mode de réalisation. Le dispositif TUI présente une forme cubique, comprenant des écrans d'affichage DSP, chaque écran d'affichage recouvrant une face respective de la forme cubique. Pour que le dispositif TUI puisse permettre de manipuler un objet virtuel, et en particulier, de le faire tourner dans tous les sens pour pouvoir observer toutes ses faces, le dispositif TUI comporte six écrans d'affichage DSP, respectivement disposés sur toutes ses faces. Comme il n'est possible pour un unique utilisateur de visualiser simultanément que trois faces d'un cube, le dispositif TUI peut ne comporter que trois circuits de contrôle d'écran d'affichage, qui sont aiguillés à chaque instant vers les trois écrans d'affichage DSP visibles par l'utilisateur

Le dispositif d'interaction TUI peut présenter des dimensions telles qu'il puisse être tenu et serré dans la main de l'utilisateur, et une masse compatible avec une manipulation sans fatigue pour l'utilisateur, par exemple inférieure à 400 g.

La figure 2 représente des circuits internes du dispositif d'interaction graphique TUI, ces circuits étant logés à l'intérieur de la forme cubique, entre les écrans d'affichage DSP. Le dispositif TUI comprend une unité de traitement CM, les écrans d'affichage DSP, un ensemble de capteurs SNS, un ensemble d'actionneurs ACT et un circuit de communication WCC, le tout étant alimenté par un circuit d'alimentation ALM. L'unité de traitement CM comprend une unité centrale de traitement CPU et un processeur graphique GPU connecté à l'unité centrale CPU et aux écrans d'affichage DSP. L'unité centrale de traitement CPU connectée aux actionneurs ACT, aux capteurs SNS et au circuit de communication WCC. Le circuit de communication WCC relie le dispositif d'interaction TUI à une unité externe telle qu'un ordinateur personnel PC, par exemple par l'intermédiaire d'une liaison sans fil, qui peut être du type WiFi, ou Bluetooth, ou équivalent. Le circuit d'alimentation ALM peut être autonome et comprendre par exemple une batterie rechargeable par l'intermédiaire d'un connecteur RCX pour relier la batterie à un chargeur. Il peut être également prévu un chargement sans fil, par exemple par induction.

Les écrans d'affichage DSP peuvent être de type à LED présentant un champ de vision suffisamment large sans déformation des couleurs affichées, car ils sont destinés à être observés souvent de biais.

Les capteurs SNS peuvent comprendre des surfaces tactiles disposées sur les écrans d'affichage DSP, des capteurs d'image ou de profondeur ISN, par exemple disposés sur les arêtes de la forme cubique, une ou plusieurs photodiodes pour capter la lumière ambiante ou la lumière appliquée sur les faces du dispositif TUI, des capteurs de pression pour déterminer une pression exercée sur chacune des faces du dispositif TUI, par exemple une pression exercée par la main de l'utilisateur, des capteurs de mouvements et/ou d'accélération (accéléromètres, gyroscopes, compas) pour déterminer les mouvements appliqués au dispositif et/ou l'orientation du dispositif dans l'espace (par rapport à la direction de la gravité). Les capteurs SNS peuvent également comprendre un microphone. Les actionneurs ACT peuvent comprendre un haut-parleur et un ou plusieurs vibreurs permettant de faire vibrer le dispositif TUI et ainsi fournir un retour haptique à l'utilisateur.

Selon un mode de réalisation, les images présentées sur les écrans d'affichage DSP du dispositif d'interaction TUI simulent une fenêtre donnant sur un espace virtuel en trois dimensions, l'espace virtuel étant fixe par rapport à l'espace réel environnant le dispositif d'interaction. Les données permettant de générer les images de l'espace virtuel peuvent être stockées dans le dispositif d'interaction et/ou transmises au dispositif TUI par un dispositif externe tel qu'un ordinateur personnel.

Les images de l'espace virtuel sont affichées en modifiant une matrice de projection de chaque écran d'affichage pour obtenir une projection hors- axe, afin de produire l'illusion pour l'utilisateur qu'une scène virtuelle en trois dimensions est vue au travers de toute les faces visibles du dispositif TUI. A cet effet, le regard de l'utilisateur est localisé à tout instant par l'unité de traitement CPU, par rapport à la position réelle du dispositif TUI pour déterminer les écrans DSP visibles par l'utilisateur, et un angle de vision de chaque écran par rapport à l'utilisateur.

La figure 3 illustre un premier mode de réalisation d'un procédé de poursuite du regard de l'utilisateur. La figure 3 représente le dispositif TUI, l'utilisateur US et un dispositif externe TD de poursuite du regard de l'utilisateur. A cet effet, l'utilisateur US porte par exemple sur le front des marqueurs MKU facilement détectables sur une image prise par un capteur d'image IST du dispositif de poursuite TD. Des marqueurs MKT peuvent être identiques et peuvent être disposés sur le dispositif d'interaction TUI, par exemple sur les arêtes de ce dernier.

Le dispositif de poursuite TD comprend une unité de traitement CPT, le capteur d'image IST et un circuit de communication WCT pour communiquer avec le dispositif d'interaction TUI, par exemple par l'intermédiaire du circuit de communication WCC.

Le capteur IST fournit à l'unité de traitement CPT des images dans lesquelles les marqueurs MKU, MKT sont visibles. Sur la base de chacune de ces images, l'unité de traitement CPT du dispositif de poursuite TD détermine les positions dans l'espace de la tête de l'utilisateur US et du dispositif d'interaction TUI, et éventuellement la position relative de l'utilisateur par rapport au dispositif d'interaction TUI. L'unité de traitement TD transmet en continu au dispositif d'interaction TUI les informations de position ainsi détectées.

Sur la base des positions respectives des marqueurs MKU et MKT reçues du dispositif de poursuite TD, l'unité de traitement CPU du dispositif d'interaction TUI détermine les faces (les écrans d'affichage DSP) où doivent être affichées les images de l'espace virtuel à afficher, et détermine les paramètres de projection des images sur ces écrans d'affichage pour que ces images soient affichées par les écrans DSP visibles de manière à être perçues par l'utilisateur comme une seule image, avec au premier plan, les bordures physiques des écrans d'affichage DSP. Les paramètres de projection des images affichées sont également déterminés de manière à reproduire une illusion de perspective dans les yeux de l'utilisateur. A cet effet, l'unité de traitement CPU utilise les mesures fournies par les capteurs SNS de mouvement et d'inclinaison, et/ou les positions des marqueurs MKU, MKT dans les images fournies par le capteur d'image, pour déterminer l'orientation des écrans par rapport à un axe reliant le centre du dispositif d'interaction TUI et un point entre les yeux de l'utilisateur, ainsi que la position et les dimensions de la fenêtre sur l'espace virtuel à afficher sur les différents écrans d'affichage DSP visibles par l'utilisateur.

Ainsi, l'unité de traitement CPU est configurée pour détecter les mouvements de translation et de rotation du dispositif TUI et pour déterminer la fenêtre à afficher sur l'espace virtuel en appliquant des mouvements inverses aux mouvements détectés et de même amplitude dans l'espace virtuel, de manière à ce que l'espace virtuel apparaisse à l'utilisateur fixe par rapport à l'espace réel environnant le dispositif TUI.

L'unité de traitement CPU est également configurée pour déterminer une valeur de zoom de la fenêtre sur l'espace virtuel à afficher en fonction de la distance détectée entre l'utilisateur US (marqueurs MKU) et le dispositif d'interaction TUI. De cette manière, si l'utilisateur approche le dispositif TUI de ses yeux, il aura l'illusion que son champ de vision sur l'espace virtuel s'élargit, et inversement, s'il s'éloigne du dispositif TUI, il aura l'illusion que son champ de vision sur l'espace virtuel se rétrécit.

Les marqueurs MKT et/ou MKU peuvent être des diodes infrarouges, de manière à émettre un signal facilement reconnaissable dans les images fournies par le capteur IST qui peut alors être du type capteur d'image infrarouge. Les marqueurs MKU et/ou MKT peuvent être texturés ou présenter des motifs caractéristiques facilement repérables dans les images fournies par le capteur d'image IST. Le capteur d'image IST peut être également un capteur de profondeur et ainsi fournir directement des valeurs de distances qui le séparent du dispositif d'interaction TUI et du visage de l'utilisateur US, ainsi que des valeurs d'angle entre ces derniers. Le capteur d'image IST peut être également un capteur d'image stéréoscopique fournissant deux images prises à partir de points différents de manière à permettre par triangulation d'estimer ces valeurs de distance et d'angle. Une combinaison des ces différentes solutions peut également être mise en œuvre.

La figure 4 illustre un second mode de réalisation d'un procédé de poursuite du regard de l'utilisateur. La figure 4 représente le dispositif TUI et l'utilisateur US qui porte les marqueurs MKU facilement détectables sur les images prises par les capteurs d'image ISN du dispositif d'interaction TUI. Ici, le procédé de poursuite utilise un ou plusieurs marqueurs MKF qui sont fixes par rapport à l'utilisateur US et le dispositif TUI et visibles par les capteurs d'image de ce dernier. Le marqueur MKF est par exemple disposé sur une table devant l'utilisateur ou sur un mur toujours visible par les capteurs d'image ISN. Les capteurs d'image ISN sont reliés à l'unité de traitement CPU par exemple par l'intermédiaire d'un multiplexeur vidéo MX. L'unité de traitement CPU est configurée pour déterminer les positions respectives des marqueurs MKU, MKF dans les images fournies par les capteurs ISN, pour en déduire les positions respectives de ces marqueurs par rapport au dispositif TUI, et finalement la position de la tête de l'utilisateur US par rapport au dispositif TUI. Sur la base des positions dans l'espace de la tête de l'utilisateur et du dispositif TUI et de l'inclinaison de ce dernier, l'unité CPU détermine comme précédemment les faces (les écrans d'affichage DSP) où doivent être affichées les images de l'espace virtuel à afficher, et détermine les paramètres de projection des images sur ces écrans d'affichage pour reproduire une illusion de perspective dans les yeux de l'utilisateur. A noter que pour détecter les mouvements du dispositif d'interaction TUI, l'unité de traitement CPU peut utiliser également un capteur de profondeur fournissant des images de profondeur, repérer dans ces images des motifs caractéristiques de l'environnement réel fixe du dispositif d'interaction, et mesurer des mouvements relatifs de ces motifs caractéristiques.

La figure 5 représente un mode de projection des images affichées sur les différents écrans d'affichage DSP. Un axe de vision UD passant entre les yeux de l'utilisateur US et par le centre O du dispositif d'interaction TUI détermine un plan perpendiculaire IMG à partir duquel les images à afficher sont projetées sur les différents plans dans lesquels se trouvent les écrans d'affichage DSP. La direction de l'axe UD détermine également les images de l'espace virtuel à afficher et les écrans d'affichage DSP qui sont visibles par l'utilisateur US. Dans l'exemple de la figure 5, les écrans d'affichage visibles sont référencés DSP1 , DSP2 et DSP3. La direction de l'axe UD détermine également les angles dièdre entre le plan IMG et chacun des plans des écrans d'affichage DSP1 , DSP2 et DSP3. Les angles dièdres permettent de déterminer les formes et dimensions de portions d'image P1 , P2, P3 des images à afficher, à envoyer à chacun des écrans d'affichage DSP1 , DSP2 et DSP3, ainsi qu'un angle de projection pour chacune des portions d'image P1 , P2, P3. La distance le long de l'axe UD entre la tête de l'utilisateur et le dispositif TUI détermine un facteur de grossissement des images affichées. Ainsi, plus cette distance est grande, plus ce facteur de grossissement est élevé. Ainsi, si l'utilisateur souhaite bénéficier d'un large champ de vision sur l'espace virtuel, il doit rapprocher ses yeux du dispositif TUI. Les images affichées sont modifiées à chaque fois, que le dispositif TUI tourne par rapport à l'axe de vision UD et/ou à chaque fois que la distance suivant l'axe UD entre la tête de l'utilisateur et le dispositif TUI change, et/ou à chaque fois que l'axe UD change d'orientation et/ou est déplacé en translation.

Selon un mode de réalisation, l'unité de traitement CPU est configurée pour appliquer une projection en perspective dite "hors-axe" (Off- Axis) d'un espace en trois dimensions, en tenant compte de la position et de l'orientation de l'axe de vision UD, des écrans d'affichage visibles depuis la position de l'utilisateur US, de l'orientation respective de chacun des écrans visibles par rapport à l'axe UD (ou de la position dans l'espace réel des coins de chacun des écrans d'affichage visibles). Selon un mode de réalisation, une telle projection peut consister à considérer pour chaque écran d'affichage visible, une pyramide ayant pour base l'écran d'affichage et pour sommet un point entre les deux yeux de l'utilisateur US. Dans l'exemple de la figure 6, les écrans d'affichage DSP1 , DSP2, DSP3 sont visibles par l'utilisateur US. La pyramide formée par l'écran d'affichage DSP1 comprend des arêtes A124, A146, A123 et A135 joignant un point UE entre les yeux de l'utilisateur US aux quatre coins de l'écran DSP1 . L'écran DSP2 forme une pyramide ayant pour arêtes A123, A124, A246 et A236 joignant le point UE aux quatre coins de l'écran DSP2. De même, l'écran DSP3 forme une pyramide ayant pour arêtes A123, A135, A236 et A356. Dans un affichage classique, la projection est effectuée sur la base d'une pyramide dont le sommet est situé sur axe perpendiculaire à l'écran d'affichage et passant par le centre de ce dernier. Au contraire, dans l'exemple de la figure 6, toutes les pyramides de projection sont hors-axe car leur sommet n'est pas situé sur un axe perpendiculaire à l'écran d'affichage et passant par le centre de ce dernier. Bien entendu, une projection dans l'axe est possible si l'axe UD se trouve perpendiculaire à l'un des écrans d'affichage DSP et passe par le centre de ce dernier. La position dans l'espace des sommets de chacune de ces pyramides permet de construire une matrice 4x4 de projection en perspective pour chacun des écrans visibles par l'utilisateur. Des détails d'un tel procédé de projection en perspective sont présentés par exemple dans le document [13], en appliquant le procédé décrit à un seul œil pour obtenir un affichage en perspective cohérent entre les écrans visibles, mais sans vision stéréoscopique. Bien entendu, une telle vision stéréoscopique peut être obtenue à l'aide d'écrans d'affichage et un processeur graphique permettant une telle vision stéréoscopique, éventuellement combinés avec le port de lunettes spéciales par l'utilisateur. Il suffit de considérer pour chaque écran d'affichage visible deux pyramides de projection à raison d'une pyramide pour chaque œil de l'utilisateur.

Selon un mode de réalisation, l'unité de traitement CPU est configurée pour donner l'illusion à l'utilisateur qu'il peut placer un objet de l'espace virtuel dans le volume intérieur du dispositif d'interaction TUI, en plaçant ce dernier sur l'image de l'objet affichée sur les écrans DSP.

Selon un mode de réalisation, l'unité de traitement CPU est configurée pour détecter une pression sur deux faces opposées du dispositif d'interaction TUI, exercée par la main de l'utilisateur, et pour maintenir l'image d'un objet virtuel affichée dans le volume du dispositif d'interaction TUI, tant qu'est présente la pression exercée sur les faces du dispositif TUI, tandis que l'utilisateur déplace ce dernier. La fenêtre sur l'espace virtuel est alors affichée en arrière-plan, derrière l'objet et toujours déterminée en fonction des mouvements détectés du dispositif d'interaction TUI par rapport à l'espace réel. La détection de la pression peut être effectuée en comparant à une valeur de seuil, des mesures de pression fournies par des capteurs de pression SNS. Lorsque l'unité de traitement CPU détecte cette pression, elle peut déclencher l'affichage d'un signal de retour visuel, marquant la prise en compte du maintien de l'objet virtuel dans le volume intérieur du dispositif TUI. Ce retour visuel peut être présenté par exemple sous la forme d'un changement de couleur de l'objet virtuel ou des contours de ce dernier. Il peut également être souhaitable d'indiquer qu'un objet virtuel se trouve à l'intérieur du volume intérieur virtuel du dispositif TUI, même en l'absence de pression, par exemple en affichant en surbrillance le contour de l'objet. Ainsi, l'utilisateur peut visualiser que l'objet devient "sélectionnable". Si plusieurs objets virtuels se trouvent dans le volume intérieur du dispositif TUI, l'objet le plus proche du centre peut être marqué comme sélectionnable, pour indiquer lequel sera sélectionné en cas de détection de pression.

L'échelle de présentation de l'espace virtuel peut être ajustée afin d'assurer que les objets vrituels de l'espace virtuel puissent rentrer dans le volume intérieur virtuel du dispositif d'interaction TUI.

Selon un mode de réalisation, durant des déplacements d'un objet virtuel maintenu dans le volume intérieur du dispositif TUI, l'unité de traitement CPU détermine si un autre objet virtuel se trouve sur la trajectoire de l'objet virtuel maintenu dans le volume intérieur du dispositif TUI, et simule un choc entre ces deux objets dans les images affichées, lorsque ces derniers entrent en contact. L'unité de traitement CPU peut alors déclencher une vibration d'un actionneur ACT de type vibreur pour donner l'illusion de la sensation de choc avec l'objet virtuel maintenu dans le volume intérieur du dispositif TUI. L'unité de traitement CPU peut également déclencher l'émission par un haut-parleur ACT d'un son reproduisant le bruit d'un choc. Le son émis peut être déterminé en fonction de la nature des matériaux dans lesquels sont formés les deux objets virtuels.

Selon un mode de réalisation, lorsque les mesures de pression deviennent inférieures à la valeur de seuil, l'unité de traitement CPU maintient fixe l'image de l'objet par rapport à l'espace virtuel, la fenêtre affichée sur l'espace virtuel étant toujours déterminée en fonction des mouvements détectés du dispositif d'interaction TUI. Le retour visuel de la détection de pression est alors supprimé des images affichées. Selon un mode de réalisation, lorsque les mesures de pression deviennent inférieures à la valeur de seuil, l'unité de traitement CPU peut déterminer une distance entre l'objet virtuel présent dans le volume intérieur du dispositif d'interaction et une surface solide de l'espace virtuel située en dessous de l'objet virtuel, et affiche l'objet virtuel en simulant une chute de ce dernier jusqu'à la surface solide, avec éventuellement des rebonds de l'objet virtuel. A l'instant de chaque choc, l'unité de traitement CPU peut déclencher l'émission d'un son de choc au moyen d'un actionneur ACT de type haut-parleur, et/ou déclencher l'émission d'une vibration, au moyen d'un vibreur.

Selon un mode de réalisation, l'unité de traitement CPU est configurée pour détecter un mouvement d'air autour du dispositif d'interaction (par exemple lorsque l'utilisateur souffle sur le dispositif d'interaction) et détecter la direction de ce mouvement, au moyen de microphones disposés sur les faces ou les arêtes du dispositif TUI, et déplacer des objets virtuels présents sur le trajet du souffle dans l'espace virtuel, en fonction d'une masse simulée de ces objets. Des capteurs de pression peuvent également être utilisés pour détecter un choc sur le dispositif d'interaction TUI, l'unité de traitement étant configurée pour simuler une transmission de ce choc aux objets présents dans l'espace virtuel.

Selon un mode de réalisation, l'unité de traitement CPU est configurée pour activer les écrans d'affichage DSP lorsque l'utilisateur approche sa main du dispositif TUI, ou lorsqu'il effectue un balayage rapide avec sa main à proximité de ce dernier. Ce mouvement peut être détecté au moyen des surfaces tactiles disposées sur les écrans d'affichage DSP ou au moyen de capteurs de profondeur utilisés pour détecter des mouvements autour du dispositif TUI. L'effet produit par le courant d'air généré par le balayage rapide de la main peut être simulé dans l'espace virtuel.

Selon un mode de réalisation, des capteurs SNS de type photodiode répartis sur la surface du dispositif d'interaction TUI captent la lumière du monde réel autour de ce dernier. L'unité de traitement CPU peut être configurée pour simuler une transmission de la lumière captée par les photodiodes, dans le monde virtuel au travers de la fenêtre affichée sur le monde virtuel, constituée par le dispositif d'interaction TUI.

Il apparaîtra clairement à l'homme de l'art que la présente invention est susceptible de diverses variantes de réalisation et diverses applications. En particulier, l'invention n'est pas limitée à un dispositif d'interaction de forrme cubique, mais couvre également un objet de forme quelconque susceptible d'être tenu et manipulé par la main de l'utilisateur, et dont la surface peut être recouverte d'un ou plusieurs écrans d'affichage, par exemple une forme sphérique. Ainsi, un écran d'affichage de type OLED (Organic Light-Emitting Diode) peut être utilisé pour épouser une forme courbe.

L'invention peut par exemple s'appliquer à un système de visioconférence, dans lequel chacun des participants à la visioconférence, disposant d'un dispositif d'interaction TUI, peut visualiser l'espace environnant de chacun des autres participants sous la forme d'un espace virtuel conformément au procédé précédemment décrit, ou encore visualiser un espace virtuel commun à tous les participants. De cette manière, chacun des participants peut également déplacer des objets virtuels d'une manière visible par les autres participants. Les échanges sonores peuvent être captés par le microphone d'un dispositif d'interaction et être restitués par les haut- parleurs des dispositifs d'interaction des autres participants.

Références Citées

[1 ] L. D. Brown, H. Hua, and C. Gao, "A widget framework for augmented interaction in SCAPE", Proceedings of the 16th Annual ACM Symposium on User Interface Software and Technology, UIST '03, page 1-10, New York, NY, USA, 2003. ACM.

[2] F. Ferreira, M. Cabrai, O. Belloc, G. Miller, C. Kurashima, R. d. D. Lopes, I. Stavness, J. Anacleto, M. Zuffo, and S. Fels, "Spheree: A 3D perspective-corrected interactive spherical scalable display", Proceedings of the 41 st Conférence on Computer Graphics and Interactive Techniques; Posters, SIGGRAPH'14, page 86:1-86:1 , Vancouver, Canada, Aug. 2014. ACM.

[3] J. Francone and L. Nigay, "Using the user's point of view for interaction on mobile devices", 23rd French Speaking Conférence on HumanComputer Interaction, IHM '1 1 , page 4:1-4:8, New York, NY, USA, 201 1 . ACM.

[4] P. Harish and P. Narayanan, "Designing perspectively correct multiplanar displays", IEEE Transactions on Visualization and Computer Graphics,

19(3):407-419, Mar. 2013.

[5] A. Henrysson, M. Billinghurst, and M. Ollila, "Virtual object manipulation using a mobile phone", Proceedings of the 2005 international conférence on Augmented tele-existence, page 164-171 , 2005.

[6] M. Inami, "Media3: The virtual hologram", ACM SIGGRAPH 97 Visual

Proceedings: The Art and Interdisciplinary Programs of SIGGRAPH '97, SIGGRAPH '97, page 107-, New York, NY, USA, 1997. ACM.

[7] R. Lopez-Gulliver, S. Yoshida, S. Yano, and N. Inoue; "gCubik: realtime intégral image rendering for a cubic 3D display", ACM SIGGRAPH 2009

Emerging Technologies, SIGGRAPH '09, page 1 1 :1 , New York, NY,

USA, 2009. ACM.

[8] A. Marzo, B. Bossavit, and M. Hachet, "Combining multi-touch input and device movement for 3D manipulations in mobile augmented reality environments", Proceedings of the 2nd ACM Symposium on Spatial User Interaction, SUI '14, page 13-16, New York, NY, USA, 2014. ACM. [9] A. Mossel, B. Venditti, and H. Kaufmann, "3DTouch and HOMER-S: intuitive manipulation techniques for one-handed handheld augmented reality", Laval Virtual VRIC '13. ACM New York, NY, USA, 2013.

[10] I . Stavness, B. Lam, and S. Fels, "pCubee: A perspective-corrected handheld cubic display", Proceedings of the SIGCHI Conférence on Human Factors in Computing Systems, page 1381-1390, 2010.

[1 1 ] I. Stavness, F. Vogt, and S. Fels, "Cubée: A cubic 3D display for physics based interaction", ACM SIGGRAPH 2006 Sketches, SIGGRAPH '06, New York, NY, USA, 2006. ACM.

[12] C. Ware, K. Arthur, and K. S. Booth, "Fish tank virtual reality", Proceedings of the INTERACT '93 and CHI '93 Conférence on Human Factors in Computing Systems, CHI '93, page 37-42, New York, NY, USA, 1993. ACM.

[13] R. Kooima, "Generalized Perspective Projection", http://csc.lsu.edu/~kooima/pdfs/gen-perspective.pdf, June 2009