Titre : SYSTEME DE CAPTURE ET DU SUIVI DU CHAMP VISUEL ATTENTIONNEE ET/OU DU PILOTAGE DU REGARD D’UN INDIVIDU ET/OU LA DESIGNATION VISUELLE DE CIBLES.

Domaine technique

La présente invention concerne les domaines de la téléassistance et de la formation.

Elle vise principalement à améliorer la capture du champ visuel d’un utilisateur et permettre un pilotage de son regard et/ou la désignation visuelle de cibles.

Bien que décrite en référence à une application médicale, plus particulièrement dans l’assistance à une intervention chirurgicale, l’invention peut être mise en œuvre dans de nombreux domaines, comme la maintenance assistée, ou l'assistance à un conducteur de véhicule.

Technique antérieure

Dans sa plus large définition, la téléassistance désigne une action ou un service qui permet d'aider à distance des utilisateurs, d'un système ou d'un produit, à l'aide d'un moyen de communication.

Des systèmes de téléassistance connus sont configurés pour permettre à un premier utilisateur qui se trouve dans un premier endroit de se sentir comme si il était présent, de donner l'impression d'être présente, ou d'avoir un effet, à un endroit autre que son véritable emplacement physique, c'est-à-dire le premier endroit.

Le premier utilisateur peut avoir la capacité de donner un effet sur un deuxième endroit situé à distance du premier endroit. Dans ce cas, la position, les mouvements, les actions, la voix, etc. du premier utilisateur peuvent être détectés, transmis et dupliqués dans le deuxième endroit pour provoquer l’effet escompté.

Les informations de téléassistance peuvent être communiquées via un réseau de communication entre des systèmes informatiques, dans les deux sens entre le premier utilisateur qui se trouve au premier endroit et un deuxième utilisateur qui se trouve à un deuxième endroit.

La téléassistance peut être un acte médical lorsqu’un médecin, expert clinique, ou un représentant d'une entreprise de dispositifs médicaux (premier utilisateur) assiste à distance un autre médecin (deuxième utilisateur) en train de réaliser un acte médical ou chirurgical. Le médecin peut également assister un autre professionnel de santé qui réalise un acte de soins ou d’imagerie, voire dans le cadre de l’urgence, assister à distance un secouriste ou toute personne portant assistance à personne en danger en attendant l’arrivée d’un médecin. Du fait de l'importance croissante de la téléassistance, divers systèmes de capture d'image, portables et simples d'utilisation ont été proposés. On peut citer ici le brevet US7539504B2 qui mentionne l’intégration au sein d’un système portable d’une caméra, d’un moniteur, d’un haut-parleur et d’un microphone.

Dans certains environnements contraignants, les systèmes actuels ne sont pas bien adaptés. Par exemple, lorsque le champ visuel d’une caméra fixe, qui restitue une scène à un utilisateur distant, peut être cachée par le mouvement d’un ou plusieurs individus, la zone de capture visuelle souhaitée n’est pas réellement restituée à l’utilisateur distant. Cette situation peut se rencontrer dans une salle d’intervention chirurgicale où le champ de la caméra fixe en général agencée dans le plafond est obturé par un soignant qui est en mouvement autour du patient.

Par ailleurs, même si dans les systèmes actuels, les flux des données peuvent circuler dans les deux sens, il est nécessaire de faire cohabiter le canal d’information remontant du premier utilisateur vers le second et les données de téléassistance descendant vers le premier utilisateur.

Il existe par conséquent un besoin de système portable par un utilisateur, qui s’adapte à tous les environnements et qui présente plusieurs modes de pilotage pour une téléassistance.

Un besoin supplémentaire est que le système portable soit facile d’utilisation, qu’il puisse être mis en œuvre dans de nombreux domaines de téléassistance, et qu’il ne vienne pas encombrer ou réduire le champ de vision de l’utilisateur, comme cela arrive par exemple avec les dispositifs actuels de réalité augmentée.

Le but général de l'invention est alors de répondre au moins en partie à ce(s) besoin(s).

Exposé de l’invention

Pour ce faire, l’invention a tout d’abord pour objet un système de capture et du suivi du champ visuel attentionnel et/ou du pilotage du regard d’un individu et/ou la désignation visuelle de cibles, le système comprenant :

- un support, destiné à être positionné de manière fixe par rapport au visage de l’individu;

- au moins une caméra à objectif grand angle, fixée au support;

- un dispositif automatique de détection de la direction du regard de l’individu; - au moins une caméra d’analyse du champ visuel attentionnel, la caméra d’analyse étant fixée au support de sorte qu’elle puisse pivoter horizontalement et/ou verticalement autour de son centre ;

- au moins un actionneur pour piloter le pivotement horizontal et/ou vertical de la caméra d’analyse;

- un dispositif de projection optique d’au moins une mire dans le visible et/ou l’infrarouge, le dispositif de projection étant solidaire ou indépendant des mouvements de pivotement de la caméra d’analyse ;

- une unité électronique de commande adaptée pour asservir le pilotage de F actionneur en fonction de la direction du regard de l’individu détectée par le dispositif automatique de détection ou, en fonction des images captées par la caméra à objectif grand angle et/ou d’un dispositif de pilotage externe qui est à distance de l’individu, de sorte à projeter la mire visible pour afficher ou pour orienter la direction du regard de l’individu vers un point attentionnel périphérique.

Par « champ visuel attentionnel », on entend ici et dans le cadre de l’invention la scène observée par l’utilisateur qui porte le support du système et la position de son regard dans la scène.

La caméra d’analyse et l’actionneur peuvent ne former qu’un seul et même composant : il peut s’agir en effet d’une caméra désignée sous l’expression anglo-saxonne « pan tilt zoom » (d’acronyme PTZ).

La projection optique par voie holographique dans le visible et/ou dans l'infra-rouge peut être détectable par la vision humaine ou seulement par une caméra. Un exemple de dispositif de projection optique qui peut être envisagé dans le cadre de l’invention est un laser fibré couplé à un élément optique diffractif pour projeter un motif (mire) choisi. La mire peut être un symbole ou un pictogramme, par exemple une flèche indiquant dans quel sens l’individu portant le support doit bouger la tête et/ou la direction du regard visible tant que la consigne qui lui a été indiquée n'est pas appliquée. La mire peut être aussi un point, une croix ou un élément structuré. Dans le cadre de l’invention, il est possible de projeter plusieurs mires, identiques ou différentes, simultanément ou successivement. Plusieurs dispositifs optiques de projection de mire (s) peuvent être mis en œuvre, dans le visible ou dans l'infra-rouge, détectable par la vision humaine et/ou par une caméra. Selon une variante avantageuse de réalisation, le support est une coque logeant au moins les caméras et l’actionneur, et de préférence l’unité électronique de commande, la coque étant destinée à être portée et maintenue sur la tête de l’individu.

Avantageusement, la coque est reliée à un bandeau souple de type serre-tête ou à un casque pour maintenir la coque solidaire de la tête de l’individu.

Le dispositif automatique de détection de la direction du regard de l’individu est de préférence un oculomètre ou une lentille de contact intégrant un pointeur laser.

L’oculomètre est fixé au support tandis que la lentille de contact est portée par un œil de l’individu qui porte par ailleurs le support.

Dans le cadre de l’invention, l’oculomètre peut être un oculomètre déjà commercialisé, portable qui comporte un dispositif d’illumination éclairant les yeux, par exemple des sources LEDs émettant dans l’infrarouge portées sur une monture de lunettes et une ou plusieurs caméra(s) enregistrant l’image d’un ou des deux yeux, en général portée(s) sur la même monture que les sources LEDs et intègre une unité électronique avec un logiciel permettant de calculer à partir de ces images la direction du regard, par exemple en analysant la position de la pupille, des reflets.

Une lentille de contact intégrant un pointeur laser, particulièrement avantageuse dans le cadre de l’invention, est décrite dans la demande internationale déposée le 15 avril 2020 sous le n° PCT/EP20/060541, au nom de la déposante.

Selon une autre variante avantageuse, le dispositif de projection optique est un dispositif de projection holographique constitué par au moins un laser et d’un hologramme s’imageant dans le plan d’observation de l’individu.

Avantageusement, le dispositif de pilotage externe peut comprendre au moins un capteur de détection du mouvement et/ou d’orientation et/ou d’accélération, et/ou une interface homme- machine du type manette de commande ou bouton de commande tactile et un assistant de navigation (GPS).

Le support peut intégrer une batterie et/ou comprendre une prise d’alimentation électrique pour alimenter électriquement les composants électroniques du système.

De préférence, l’unité électronique de commande est adaptée pour communiquer par protocole de communication sans fil ou par liaison optique ou filaire avec un ou plusieurs terminaux externes. Il peut s’agir d’un ordinateur, une tablette ou d’un smartphone. Le support peut intégrer un ou plusieurs moyens d’éclairage, de préférence des diodes électroluminescentes fixes ou montées pivotantes à l’horizontal et/ou à la verticale.

Avantageusement, l’unité électronique de commande est adaptée pour asservir le pilotage du pivotement des moyens d’éclairage en fonction de la direction du regard de l’individu détectée par le dispositif automatique de détection.

Ainsi, l’invention consiste en un système portable qui intègre dans un même support des composants optiques et électroniques avec une électronique de commande, qui permettent des captures d’image et/ou des projections optiques asservies à la direction du regard d’un utilisateur portant le support et/ou à un dispositif référentiel de pilotage externe qui est à distance de l’utilisateur.

Le système intègre donc un dispositif motorisé d'asservissement d'une caméra et/ou du dispositif de projection optique. Ce dispositif est par exemple une centrale mécanique assurant les deux rotations de la caméra en panoramique (« pan ») et/ou en orientation (« tilt »). Ce dispositif peut être asservi soit à la direction du regard, soit à une consigne activée à distance ou une commande externe, à distance de l’individu (utilisateur), porteur du support. Un faisceau laser désignant la cible peut-être est par conséquent piloté de manière externe pour indiquer par exemple à l’utilisateur (le porteur du support) une zone d’intérêt. Le dispositif permet donc la projection de la cible visible dans le champ de vue de l’utilisateur.

La(les) caméra(s) enregistre(nt) la scène observée par le porteur du support dont le champ visuel attentionnel de ce dernier ou un champ périphérique où il serait nécessaire de reporter son attention.

De manière générale, le système selon l’invention comprend avantageusement trois composants qui peuvent avoir des mouvements relativement au support: une caméra d’analyse et deux dispositifs de projection optique (pointeurs), un émettant dans l’infrarouge (IR) pour désigner la direction, l’autre dans le visible pour pointer une zone d’intérêt. Les dispositifs de projection optique sont avantageusement des lasers.

Lorsque le système intègre un oculomètre, le pointeur IR qui désigne la direction du regard est motorisé et asservi à celle-ci.

Lorsque le système intègre une lentille de contact avec pointeur IR, ce dernier est automatiquement asservi à l’œil. Le second pointeur émet dans le visible. Il est asservi à la direction du regard ou est piloté de manière externe et est donc motorisé.

La caméra d’analyse est motorisée de sorte qu’elle vienne se focaliser sur une zone d’intérêt dans laquelle émettent les deux pointeurs : le pointeur de direction (IR) et le pointeur de zone d’intérêt (visible).

Dans un mode de réalisation préférentiel, un seul moteur de déplacement peut être mis en œuvre. Dans ce mode, le pointeur IR est porté par la lentille de contact et le second pointeur visible et la caméra sont solidaires et motorisées par le même moteur. Les pointeurs peuvent être activés séparément ou simultanément.

Les avantages de l’invention sont nombreux parmi lesquels on peut citer :

- la possibilité d’avoir plusieurs modes de pilotage pour une parfaite téléassistance même dans des environnements contraignants (salles d’opération, assistance à la conduite) ;

- un système portable, très léger, qui ne gêne absolument pas les mouvements de l’utilisateur ni n’obstrue son champ de vision contrairement à certains casques de réalité augmentée selon l’état de l’art.

L’invention concerne également l’utilisation d’un système qui vient d’être décrit pour la téléassistance à une intervention chirurgicale.

De nombreuses autres applications peuvent être envisagées parmi lesquelles on peut citer la maintenance assistée, l'assistance à un conducteur de véhicule, la formation à distance.

D'autres avantages et caractéristiques ressortiront mieux à la lecture de la description détaillée, faite à titre illustratif et non limitatif, en référence aux figures suivantes.

Brève description des dessins

[Fig 1] la figure 1 est une vue schématique d’un premier mode de mise en œuvre d’un système de capture du champ visuel attentionnel et/ou du pilotage du regard d’un individu.

[Fig 2] la figure 2 est une vue schématique d’un deuxième mode de mise en œuvre d’un système de capture du champ visuel attentionnel et/ou du pilotage du regard d’un individu.

[Fig 3] la figure 3 donne un exemple de support intégrant les composants et l’unité électronique de commande d’un système selon l’invention.

[Fig 4] la figure 4 est une reproduction photographique montrant un chirurgien interventionniste portant sur son visage un système selon l’invention.

[Fig 5] la figure 5 est une vue schématique d’une salle d’intervention chirurgicale montrant l’interaction d’un chirurgien interventionniste portant un système selon la figure 4. [Fig 6] la figure 6 est une vue schématique montrant l’assistance à distance d’un chirurgien expert auprès d’un chirurgien interventionniste portant un système selon la figure 4 dans une salle d’intervention chirurgicale.

Description détaillée

On précise que sur les figures 1 et 2, les flèches en traits continus indiquent les commandes des composants du système, les flèches en pointillés indiquant les flux vidéo qui peuvent être transmis.

Le système selon l’invention 1 comprenant tout d’abord un support 10, destiné à être positionné de manière fixe par rapport au visage d’un individu. Il peut s’agir avantageusement d’une coque destinée à être portée sur le visage de l’individu, par exemple fixée sur une paire de lunettes de vue.

Le système 1 comprend un dispositif automatique 11 de détection de la direction du regard de l’individu, fixé au support. Il peut s’agir d’un oculomètre.

En outre, une caméra d’analyse 12 du champ visuel attentionnelle est fixée sur le support 10 de sorte qu’elle puisse pivoter horizontalement et/ou verticalement autour de son centre.

Un actionneur 13 permet de piloter le pivotement horizontal et/ou vertical de la caméra d’analyse. La caméra d’analyse 12 et l’actionneur 13 peuvent constituer un seul et même composant, à savoir une caméra «pan-tilt- zoom ».

Une caméra à objectif grand angle 14 est fixée au support 10.

Le système comprend un dispositif de projection optique 15 d’au moins une mire dans le visible et/ou l’infrarouge, ce dispositif de projection étant solidaire ou indépendant des mouvements de pivotement de la caméra d’analyse.

Enfin, le système intègre une unité électronique de commande qui va permettre le pilotage des différents composants optiques/électroniques.

Un premier mode de mise en œuvre d’un système 1 selon l’invention est montré en figure 1. Selon ce premier mode, l’unité électronique de commande du système asservit le pilotage de l’actionneur 13 et donc la caméra 12 en fonction de la direction du regard de l’individu qui porte le support, détectée par le dispositif automatique de détection 11 ou, en fonction des images captées par la caméra à objectif grand angle 14.

Ainsi, le dispositif de projection 15 projette une mire pour afficher ou pour orienter la direction du regard de l’individu vers un point attentionnel périphérique. Autrement dit, selon ce premier mode, l’individu qui porte le support du système est son propre pilote de la projection.

Un deuxième mode de mise en œuvre d’un système 1 selon l’invention est montré en figure 2.

Selon ce deuxième mode, l’unité électronique de commande du système asservit le pilotage de l’actionneur 13 et donc la caméra 12 en fonction d’un dispositif de pilotage externe, à distance du porteur du support 10. Cette commande à distance par une consigne externe peut être avantageusement être faite par un autre utilisateur.

Plusieurs configurations de fonctionnement peuvent être envisagées avec un système selon l’invention.

Une première configuration peut consister à afficher dans une scène enregistrée/captée par la caméra 12, le point de fixation du regard du porteur du support 10 en matérialisant ce point par une mire dans le domaine de l’infrarouge ou visible dans le champ de vue d’un observateur externe.

Une deuxième configuration peut être de ramener le centre d'attention du porteur du support 10 sur une partie de la scène en périphérie du centre d'attention en l'indiquant sur la scène, par exemple par un symbole visible dans l’infrarouge ou projeté et visible par le porteur.

Une autre configuration peut consister à ramener l'attention du porteur du support 10 sur une périphérie hors champ de la caméra 12 et/ou du champ visuel, en pilotant par exemple un zoom de la caméra ou en indiquant le sens de mouvement de la tête du porteur pour faire rentrer l'objet à visualiser dans le champ d'attention et le désigner par une mire.

Toute autre configuration consistant à asservir la captation au champ du porteur du support 10, et/ou asservir le champ attentionnel à une zone d'intérêt hors champ de la caméra 12 et/ou du champ visuel peut être envisagée.

La figure 3 montre un exemple de support qui est une coque 10 qui peut venir se placer au- dessus de n'importe quelle monture de lunettes L.

La coque 10 intègre en son sein un oculomètre 11, un actionneur non représenté permettant d'orienter à la fois en inclinaison une caméra grand champ 12 et un système de pointage de mire (pointeur) 15 et l’unité électronique de commande nécessaire à la fois au pilotage des composants et à la communication des flux vidéo.

Comme illustré, T oculomètre 11 est sous la forme de deux branches articulées latéralement sur la coque 10. La caméra 12 est une caméra de type pan-tilt est donc solidaire en déplacement du pointeur 15.

Une caméra à objectif grand angle 14 et une caméra de surveillance 16 sont également intégrées dans la coque 10. Cette caméra de surveillance 16 peut être nécessaire ou pas, en fonction de l’oculomètre mis en œuvre. Elle est nécessaire lorsque l’oculomètre nécessite l’utilisation d’une caméra propre.

La coque 10 intègre en outre une diode électroluminescente 17. Elle peut être fixe ou montée pivotante à l’horizontal et/ou à la verticale dans la coque 10.

Enfin, un câble avec une prise d’interface 18 vers l’extérieur, par exemple de type USB, est reliée directement à l’électronique de commande intégrée dans la coque 10.

Un exemple d’utilisation avantageuse du système selon l’invention est maintenant décrit en référence aux figures 4 à 6. Il s’agit d’assister un chirurgien interventionniste qui est le porteur du support 10 du système et qui doit opérer une zone d’intérêt Z.I. d’un patient P allongé dans une salle d’opération.

La salle d’opération peut disposer d’une caméra 3 grand champ déjà installée et destinée justement à filmer la zone d’intérêt ZI.

Un chirurgien expert peut voir sur un écran dans sa salle d’expertise exactement la scène filmée par le système 1 porté par le chirurgien interventionniste, distant du chirurgien expert et qui peut en outre échanger avec lui simultanément par un dispositif audio (microphone/écouteurs ) .

En outre, une mire par exemple un faisceau 19 matérialise précisément sur cet écran ce que les yeux du chirurgien interventionniste fixent précisément.

Le chirurgien expert peut à tout moment piloter à distance le pointeur pour indiquer au chirurgien interventionniste la zone d’intérêt précise à cibler. Cette cible peut avantageusement matérialiser par une mire émise par le dispositif de projection embarqué 15.

Autrement dit, avec un système 1 selon l’invention, il est possible d’analyser la direction des yeux du chirurgien interventionniste et de cibler les détails anatomiques au moyen d'un faisceau visible.

L’invention n’est pas limitée aux exemples qui viennent d’être décrits; on peut notamment combiner entre elles des caractéristiques des exemples illustrés au sein de variantes non illustrées. D’autres variantes et améliorations peuvent être envisagées sans pour autant sortir du cadre de l’invention.