INTERACTION ENTRE UNE INTERFACE UTILISATEUR ET UNE INTERFACE EN MODE PARALLELE

La présente invention concerne une interface utilisateur pour la présentation et, éventuellement, la saisie d'informations. On entend par interface utilisateur, les moyens permettant de présenter des informations à un utilisateur et permettant, éventuellement, à cet utilisateur de saisir des informations.

Diverses interfaces utilisateurs sont utilisées, parmi lesquelles on trouve bien sûr les interfaces à caractère visuel. Il en est ainsi des interfaces comprenant un écran graphique, telles qu'elles sont utilisées dans la plupart des équipements informatiques, comme les ordinateurs fixes ou portables, les assistants personnels numériques, certains téléphones portables, etc.

Les interfaces visuelles sont avantageuses car elles fonctionnent en mode parallèle, c'est-à-dire qu'elles délivrent des informations accessibles de façon quasi instantanée par leur utilisateur. En effet, un regard global porté sur l'écran d'un ordinateur permet de disposer immédiatement du contenu informatif affiché.

Cependant, les interfaces visuelles ne sont pas adaptées lorsque les conditions de vision sont insuffisantes. En particulier, elles ne sont pas utilisables par des personnes malvoyantes ou non voyantes.

En outre, si les interfaces visuelles permettent une présentation efficace d'informations, elles sont cependant insuffisantes pour effectuer une saisie d'informations. Un élément supplémentaire, tel qu'un clavier par exemple, doit leur être adjoint pour permettre une telle saisie. D'autres interfaces utilisateur sont également connues. Parmi celles-ci, on peut citer les interfaces à caractère sonore, qui délivrent un contenu informatif sous la forme d'une séquence sonore et peuvent éventuellement permettre la saisie d'informations à l'aide d'une reconnaissance vocale par exemple. Toutefois, les interfaces sonores ont l'inconvénient de ne pas être discrètes, car toute personne située à proximité de l'équipement disposant d'une interface sonore peut avoir accès à l'information échangée avec son

utilisatθur. En outre, la présentation sonore d'une information peut s'avérer parfois difficile, par exemple lorsqu'il s'agit de décrire des formes ou des mouvements.

Par ailleurs, même si une interface utilisateur était bien adaptée à la présentation et, éventuellement, à la saisie d'informations, de façon discrète, sans avoir à faire appel à la vision, son interaction avec d'autres types d'interfaces utilisateur n'est à ce jour pas prévue.

Un but de la présente invention est de limiter certains au moins des inconvénients mentionnés ci-dessus. L'invention propose ainsi un procédé pour présenter des informations, comprenant :

- la transmission d'au moins une gestique représentative d'un symbole d'information, à une partie au moins du corps d'un utilisateur, par l'intermédiaire d'un élément haptique commandé par une première interface utilisateur, en réponse à une saisie ou une présentation dudit symbole d'information sur une deuxième interface utilisateur fonctionnant en mode parallèle ; et

- la présentation d'une information sur la deuxième interface utilisateur, en réponse à une action appliquée à l'élément haptique de la première interface utilisateur ou la transmission d'au moins une gestique représentative d'un symbole d'information correspondant, ladite présentation d'une information étant effectuée avec un retard déterminé par rapport au démarrage de l'action appliquée à l'élément haptique de la première interface utilisateur ou de la transmission d'au moins une gestique représentative d'un symbole d'information.

Un tel procédé permet aux deux interfaces utilisateur d'interagir. Un dialogue entre deux utilisateurs utilisant ces interfaces est ainsi autorisé. Par exemple, les deux interfaces peuvent ainsi présenter à leurs utilisateurs respectifs une même information, selon des formats qui leur sont adaptés. II est en outre possible d'obtenir une présentation d'information synchronisée entre les deux interfaces en question, par exemple de façon à ce

que leurs utilisateurs respectifs prennent connaissance de l'information fournie sensiblement au même moment.

Il peut être tenu compte de la différence de rapidité de présentation de l'information entre les deux interfaces, de façon par exemple à ce que l'utilisateur de la deuxième interface ne puisse saisir une grande quantité d'informations, avant que celle-ci ne soit parvenue à l'utilisateur de la première interface.

L'élément haptique est avantageusement utilisé par un utilisateur malvoyant ou non voyant. L'invention propose aussi un produit programme d'ordinateur comprenant des instructions de code pour mettre en œuvre le procédé susmentionné, lorsqu'il est chargé et exécuté par des moyens informatiques.

L'invention propose en outre un système pour présenter des informations, comprenant : - des moyens pour transmettre au moins une gestique représentative d'un symbole d'information, à une partie au moins du corps d'un utilisateur, par l'intermédiaire d'un élément haptique commandé par une première interface utilisateur, en réponse à une saisie ou une présentation dudit symbole d'information sur une deuxième interface utilisateur fonctionnant en mode parallèle ; et

- des moyens pour présenter une information sur la deuxième interface utilisateur, en réponse à une action appliquée à l'élément haptique de la première interface utilisateur ou la transmission d'au moins une gestique représentative d'un symbole d'information correspondant, lesdits moyens étant agencés pour présenter l'information avec un retard déterminé par rapport au démarrage de l'action appliquée à l'élément haptique de la première interface utilisateur ou de la transmission d'au moins une gestique représentative d'un symbole d'information.

Dans un mode de réalisation de l'invention, lesdites première et deuxième interfaces utilisateur sont reliées par l'intermédiaire d'un système de communication.

D'autres particularités et avantages de la présente invention apparaîtront dans la description ci-après d'exemples de réalisation non limitatifs, en référence aux dessins annexés, dans lesquels :

- la figure 1 est un schéma représentant un bras haptique pouvant appartenir à une interface utilisateur selon l'invention ;

- les figures 2a et 2b sont des schémas représentant des exemples de séquences de mouvements effectuées par un bras haptique ;

- la figure 3 est un schéma représentant un système d'interaction entre une interface haptique et une interface visuelle. L'invention concerne une interface utilisateur pour la présentation et, éventuellement, la saisie d'informations, fonctionnant en mode séquentiel et utilisant des modalités haptiques.

On rappelle que le terme haptique, qui vient du grec "hapesthai" qui signifie toucher et manipuler, désigne toute technologie permettant de toucher et de manipuler des objets virtuels et/ou distants. Une interface haptique est donc une interface procurant des sensations tactilo-kinesthésiques, c'est-à-dire une perception tactile permettant d'appréhender par exemple le poids, la forme, le volume et/ou la force d'un objet. L'interface haptique implique un système capable de restituer la sensation du toucher par des capteurs et des effecteurs qui transforment des informations en phénomènes mécaniques.

La figure 1 montre un exemple d'interface utilisateur selon l'invention fonctionnant en mode haptique. Cette interface commande un bras haptique 1 à retour d'effort et dont une portion 3 peut être en contact avec une partie du corps d'un utilisateur, par exemple avec sa main 2. Le principe de cette interface est le suivant : une gestique représentative d'un symbole d'information peut être transmise à la main 2 de l'utilisateur par l'intermédiaire du bras haptique 1.

On entend par symbole d'information, toute information signifiante, traditionnellement présentée selon un autre mode (par exemple en mode visuel), en cas d'utilisation d'interfaces utilisateur classiques. Un symbole d'information comprend ainsi tout caractère alphanumérique, ainsi que toute forme graphique ou géométrique par exemple. Un tel symbole a une

signification donnée que l'utilisateur peut reconnaître à sa réception.

Par ailleurs, on entend par gestique, tout mouvement pouvant être effectué dans l'espace à trois dimensions (et pas seulement à deux dimensions), comme moyen d'expression, sans être contraint uniquement sur un segment entre deux positions extrêmes. En particulier, la gestique peut suivre une pluralité de directions dans l'espace. Ainsi, la description dans l'espace, par la main d'un utilisateur, de toute forme géométrique, même complexe, constitue une gestique.

La transmission, à la main d'un utilisateur, de gestiques, permet ainsi à l'utilisateur d'avoir accès à une grande richesse d'informations, d'une façon relativement directe et intuitive. Elle peut par exemple permettre la transmission de formes géométriques tridimensionnelles directement compréhensibles par l'utilisateur, sans nécessiter un codage complexe.

Avantageusement, une action appliquée au bras haptique 1 par la main 2 de l'utilisateur peut en outre être convertie en une information correspondante. De façon avantageuse, une action appliquée au bras haptique

1 peut par exemple être convertie en un symbole d'information, au sens défini plus haut.

L'interface autorise ainsi la présentation et, avantageusement, la saisie d'informations vis-à-vis d'un utilisateur, sans nécessiter aucun moyen visuel traditionnel tel qu'un écran graphique par exemple. Elle est ainsi utilisable même en cas de visibilité faible ou nulle. Elle est en particulier utilisable par des utilisateurs à déficience visuelle.

Dans l'exemple illustré sur la figure 1 , la portion terminale 3 du bras haptique 1 est reliée à une portion intermédiaire 4, elle-même reliée à une portion primaire 5, chacune de ses portions étant linéaire. Les liaisons entre ces portions sont articulées, de façon à permettre la transmission d'une gestique à la main 2 de l'utilisateur ou à guider la portion 3 selon un mouvement imprimé par la main 2 de l'utilisateur. Ces liaisons sont par exemple des liaisons pivots ou rotules.

La portion primaire 5 du bras haptique 1 est engagée dans un bloc 6, par exemple à l'aide d'une fente ménagée dans ce bloc et apte à recevoir une

terminaison de la portion 5. La portion 5 peut alors effectuer un mouvement de bas en haut relativement au bloc 6, lequel peut lui-même être mobile par exemple en rotation autour d'un axe vertical.

Le bloc 6 repose sur un socle 9 servant de base au bras haptique 1. Le socle 9 peut en outre comprendre des moyens de raccordement pour permettre la connexion du bras haptique 1 à un système informatique 7 tel qu'un ordinateur par exemple. En variante, le bras haptique peut lui-même incorporer des moyens informatiques tels qu'un processeur et une mémoire.

Dans ce cas, ces moyens sont alors avantageusement disposés dans le socle 9 du bras haptique 1.

Ainsi, un symbole d'information fourni par des moyens informatiques comme le système informatique 7 pourra être transmis à l'utilisateur par l'intermédiaire d'une gestique correspondante décrite par le bras haptique 1 et appliquée à la main 2 de l'utilisateur. En outre, l'utilisateur pourra appliquer une action au bras haptique 1 à l'aide de sa main 2, de façon à ce que cette action soit convertie en une information correspondante et fournie à des moyens informatiques comme le système informatique 7.

A titre d'exemple, lorsque le symbole d'information à présenter à l'utilisateur est un triangle, le bras haptique 1 peut guider la main 2 saisissant sa portion terminale 3, selon une séquence de trois mouvements linéaires successifs 10-12 tels que représentés sur la figure 2a. De même, lorsque le symbole d'information à présenter à l'utilisateur est un cercle, le bras haptique 1 peut guider la main 2 saisissant sa portion terminale 3, selon un mouvement circulaire 13 tel que représenté sur la figure 2b. A l'inverse, lorsque l'utilisateur souhaite saisir, comme symbole d'information, un triangle, sa main 2 peut déplacer la portion terminale 3 du bras haptique 1 selon une séquence de trois mouvements linéaires successifs 10-12 tels que représentés sur la figure 2a. De même, lorsque l'utilisateur souhaite saisir un cercle, sa main 2 peut déplacer la portion terminale 3 du bras haptique 1 selon un mouvement circulaire 13 tel que représenté sur la figure 2b.

On comprend ainsi que des symboles d'information peuvent être

présentés ou saisis à l'aide de l'interface utilisateur comprenant le bras haptique 1 , sans l'aide d'aucun moyen visuel. Une telle utilisation du bras haptique est donc notamment bien adaptée à des personnes malvoyantes ou non voyantes. On note que dans les exemples décrits en référence aux figures 2a et

2b, les symboles d'information à présenter ou à saisir consistent en des formes géométriques. De telles informations sont en effet bien adaptées aux modalités haptiques de l'interface. Cependant, on doit comprendre que tout symbole d'information, tel que défini plus haut, devrait pouvoir être présenté ou saisi à l'aide d'une telle interface utilisateur. A titre d'exemple, à l'information portée par un mot peut correspondre un mouvement du bras haptique 1 qui en permet la présentation ou la saisie. Il peut par exemple être décidé que le bras haptique dessine la forme de chaque lettre composant un mot. Par ailleurs, à un défilement d'une information à une autre peut correspondre un mouvement du bras haptique, par exemple semblable à celui effectué lorsqu'une main tourne les pages d'un livre.

Avantageusement, le bras haptique comprend au moins un moyen de sélection tel qu'un bouton 8, apte à être pressé par un doigt de la main 2, par exemple pour sélectionner une information parmi un ensemble d'informations. D'autres exemples de moyens de sélection sont bien sûr envisageables, comme une molette de défilement par exemple.

Bien entendu, le bras haptique 1 représenté sur la figure 1 est un exemple d'élément haptique utilisé par une interface utilisateur selon l'invention. Toute autre forme d'élément haptique est également envisageable. De préférence, l'élément haptique choisi devrait comporter un nombre de degrés de liberté suffisant pour permettre la présentation et la saisie d'un grand nombre de symboles d'information. De façon avantageuse, la forme choisie permet à l'élément haptique de se déplacer de façon à dessiner un certain nombre de formes géométriques dans l'espace. Par exemple, un élément haptique apte à se déplacer selon au moins un mouvement de translation et/ou un mouvement de rotation peut être choisi.

De façon avantageuse, l'interface utilisateur peut comprendre en outre

d'autres moyens de présentation et/ou de saisie d'informations, en plus des moyens haptiques. Par exemple, des moyens sonores peuvent être utilisés par l'interface. Cela améliore la quantité et la qualité des informations pouvant être présentées ou saisies, puisque certaines informations sont difficilement descriptibles par de simples mouvements, tandis que d'autres peuvent difficilement être représentés seulement à l'aide d'une description sonore.

Comme indiqué plus haut, l'interface utilisateur peut être associée à un système informatique, qui peut être un système externe à l'élément haptique, comme le système 7 de la figure 1 , ou bien incorporé à l'élément haptique. On obtient ainsi un équipement informatique muni d'une interface utilisateur selon l'invention.

L'interface haptique peut avantageusement contrôler l'élément haptique à l'aide d'une carte haptique, de la même façon qu'une carte graphique ou vidéo contrôle l'affichage sur un écran graphique ou vidéo pour une interface visuelle, ou qu'une carte sonore contrôle la diffusion du son pour une interface sonore.

Selon un autre aspect de l'invention, l'interface utilisateur décrite plus haut est capable d'interagir avec une deuxième interface utilisateur, par exemple par l'intermédiaire d'un système de communication. Cet aspect est illustré à l'aide de la figure 3, sur laquelle une interface haptique commandant un élément haptique 14, par exemple similaire au bras haptique 1 décrit en référence à la figure 1 , interagit avec une interface fonctionnant en mode parallèle. Dans l'exemple de la figure 3, l'interface fonctionnant en mode parallèle est une interface à caractère visuel proposé par un ordinateur 15 traditionnel. Chacune des deux interfaces est apte à être utilisée par un utilisateur respectif.

Les deux interfaces peuvent être reliées par une connexion simple, par exemple à l'aide d'un câble série ou parallèle. Elles peuvent également être reliées par un système de communication, comme un réseau de télécommunication fixe ou mobile, à plus ou moins grande portée. Tout système de communication peut être envisagé à cet effet, tel qu'un réseau de type Internet, ou réseau de type GSM ("Global System for Mobile

communications") ou UMTS ("Universal Mobile Télécommunications System"), etc. On s'assurera cependant que les équipements informatiques utilisant les interfaces haptique et visuelle respectivement supporteront la technologie de communication mise en œuvre par un tel système. L'interaction entre l'interface haptique et l'interface visuelle de la figure

3 est telle qu'une action effectuée sur l'ordinateur 15 par son utilisateur, telle que la saisie d'un symbole d'information, provoque la transmission d'au moins une gestique correspondante du bras haptique 14 si bien que l'utilisateur de ce bras haptique perçoit le mouvement du bras et peut en déduire le symbole d'information saisi au niveau de l'ordinateur 15. De la même façon, la présentation d'un symbole d'information sur l'interface visuelle, c'est-à-dire par exemple l'affichage sur l'écran graphique de l'ordinateur 15 d'un symbole d'information, peut provoquer la transmission d'au moins une gestique correspondante du bras haptique 14 si bien que l'utilisateur de ce bras haptique reçoit le même symbole d'information selon les modalités haptiques de son interface.

L'interaction entre l'interface haptique et l'interface visuelle de la figure 3 peut en outre être telle qu'une action appliquée au bras haptique 14 par son utilisateur, telle qu'une pression sur un bouton de sélection du bras ou le déplacement du bras selon une séquence de mouvements déterminée, provoque la présentation d'une information correspondante sur l'interface visuelle de l'ordinateur 15, comme l'affichage de l'objet sélectionné ou de l'information saisie par l'utilisateur du bras haptique 14. De la même façon, la présentation d'un symbole d'information à l'aide du bras haptique 14, tel qu'un déplacement selon une forme géométrique déterminée, peut provoquer la présentation dudit symbole d'information sur l'interface visuelle de l'ordinateur 15, par exemple l'affichage de la forme géométrique sur l'écran de l'ordinateur 15.

Cette conversion entre deux logiques d'interaction homme-machine est avantageusement réalisée par un module de conversion qui peut être réparti entre les équipements utilisant les interfaces haptique et visuelle respectivement ou bien être un serveur à part entière disposé par exemple

dans le système de communication 16. Un programme d'ordinateur peut également permettre le fonctionnement décrit plus haut, grâce à des instructions de code aptes à mettre en œuvre ce fonctionnement, lorsqu'il est chargé ou exécuté par des moyens informatiques d'un module de conversion par exemple.

De cette façon, des actions/présentations haptiques séquentielles peuvent être converties en des retours visuels parallèles et des actions/présentations effectuées à l'aide d'une interface visuelle peuvent être converties en des retours haptiques séquentiels. On prend ci-après un exemple d'application d'un système comprenant une interface haptique et une interface visuelle aptes à interagir entre elles de la façon décrite plus haut. Cet exemple est choisi volontairement dans un domaine ludique pour faire comprendre les principes décrits plus haut. Toutefois, de nombreuses autres applications peuvent également être mises en œuvre selon des principes similaires, par exemple dans le domaine de la communication entre utilisateurs.

Dans cet exemple, chacune des interfaces est utilisée pour permettre à des utilisateurs respectifs de jouer à un jeu interactif de cartes. Dans ce jeu, un ensemble de cartes sont disposées dans un certain ordre et tournées de façon à ce que l'information qu'elles contiennent ne soit pas observable. Le jeu consiste alors, pour l'utilisateur qui a la main, à retourner deux cartes de son choix. Le joueur qui retourne deux cartes identiques gagne la partie.

Sur l'interface visuelle, le jeu de cartes peut être affiché sous forme de ligne, de colonne ou de tableau par exemple, si bien que l'utilisateur de cette interface a, à tout moment, l'ensemble du jeu sous ses yeux. Un simple clic de souris sur l'emplacement, à l'écran, de la carte choisie peut permettre de la retourner. En ce qui concerne l'interface haptique, son utilisateur ne dispose pas d'une présentation globale et instantanée de l'ensemble du jeu, mais il peut faire défiler les cartes une à une à l'aide d'un mouvement du bras haptique et retourner la carte choisie par exemple en appuyant sur un bouton de sélection du bras haptique ou en imprimant au bras haptique un mouvement de retournement.

L'interaction entre les deux interfaces présentée plus haut peut alors être telle que la sélection d'une carte sur l'interface visuelle provoque un mouvement correspondant du bras haptique indiquant par exemple le numéro de la carte sélectionnée. A l'inverse, le défilement des cartes à l'aide du bras haptique peut se traduire par exemple par un indicateur de sélection provisoire dans le jeu de cartes affiché à l'écran de l'interface visuelle, et la sélection d'une carte peut se traduire par son retournement à l'écran de l'interface visuelle.

De plus, la présentation de la valeur d'une carte retournée par un utilisateur de l'une des interfaces, peut s'accompagner de la présentation de la valeur de cette même carte à l'utilisateur de l'autre interface, selon les modalités propres à cette interface.

Etant donné que l'interface haptique fonctionne en mode séquentiel, une opération de saisie ou de présentation d'information à l'aide de cette interface peut prendre un temps supérieur à celui que prendrait la même opération réalisée à l'aide de l'interface visuelle qui fonctionne en mode parallèle. Par exemple, si une carte retournée par l'utilisateur de l'interface visuelle représente un triangle, son affichage pourrait être instantané pour cet utilisateur, tandis que l'utilisateur de l'interface haptique ne découvrirait sa valeur qu'à l'issue de la séquence de mouvements effectuée par le bras haptique pour indiquer la forme triangle (voir la figure 2a par exemple). Lorsque les deux interfaces interagissent, il peut donc être avantageux d'atténuer cette différence, de façon à ce que les utilisateurs respectifs des deux interfaces prennent connaissance des informations échangées à peu près au même moment.

A cet effet, une temporisation peut être mise en œuvre entre les deux interfaces. Cette temporisation peut par exemple être choisie de façon à ce qu'une information ne soit affichée à l'écran de l'interface visuelle qu'un temps T avant que le mouvement correspondant du bras haptique, relatif à la saisie ou à la présentation d'une information, soit achevé, T étant défini comme le temps nécessaire à l'œil pour lire l'information affichée. En d'autres termes, l'affichage de l'information sur l'écran de l'interface visuelle est effectué avec

retard par rapport au démarrage du mouvement correspondant du bras haptique. Un tel retard dépend donc du temps mis par le bras haptique pour former ledit mouvement.

En variante, la temporisation peut être choisie pour que l'information soit affichée à l'écran un temps T+D avant que le mouvement correspondant du bras haptique soit achevé, D étant le temps restant pour achever le mouvement du bras haptique après son identification par l'utilisateur de l'interface haptique, étant entendu que cet utilisateur est capable de lire l'information présentée par le bras haptique avant même que le mouvement correspondant du bras haptique soit achevé.

La synchronisation entre les deux interfaces peut comprendre avantageusement un filtrage des objets manipulés et actions effectuées sur l'interface haptique, de façon à distinguer les objets et actions simples des objets et actions complexes. Tandis que les objets et actions simples peuvent être transférés tels quels et sans délai à l'interface visuelle, les objets et actions complexes peuvent être décomposés en parties ou recomposés en ensembles d'interface homme-machine. Chaque partie ou ensemble ainsi obtenu peut alors faire démarrer une temporisation qui lui est propre avant d'être transmis à l'interface visuelle. La temporisation peut être déterminée pour chaque partie ou ensemble, à partir d'une table de correspondance stockée au niveau du module de conversion par exemple.

Pour éviter que l'utilisateur de l'interface visuelle s'impatiente alors que le bras haptique est en train d'effectuer un mouvement ou une séquence de mouvements, une information d'attente peut être affichée sur l'interface visuelle.

De façon avantageuse, il est possible d'inhiber toute nouvelle action ou présentation d'information sur l'interface visuelle, tant que le bras haptique est en train d'effectuer un mouvement ou une séquence de mouvements. Par exemple, dans l'application présentée plus haut, on évitera que l'utilisateur de l'interface visuelle retourne deux cartes de façon très rapprochée dans le temps, de façon à ce que l'utilisateur de l'interface haptique aie la possibilité d'identifier la valeur de la première carte sélectionnée avant de recevoir la

valeur d'une seconde carte sélectionnée. Le temps d'inhibition peut être déterminé en fonction du temps nécessaire pour effectuer le mouvement correspondant du bras haptique.