Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SYSTEM FOR CONNECTING A SURGICAL TRAINING DEVICE TO A VIRTUAL DEVICE
Document Type and Number:
WIPO Patent Application WO/2021/205130
Kind Code:
A1
Abstract:
The surgical training device (10) comprises a surgical training console (12), at least one surgical tool, a calculation unit (14), a motion capture member (16), and a display device (18). The display device (18) is associated with a movable calibration tool. The virtual device comprises a virtual console, at least one virtual tool, each virtual tool having an avatar of the surgical tool, a first virtual reference frame associated with the motion capture member (16), a second virtual reference frame associated with the display device (18). The surgical training device further comprises a calibration plate that has a first reference structure intended to be associated with the first virtual reference frame, and a second reference structure intended to be associated with the second virtual reference frame.

Inventors:
DOURY DAMIEN (FR)
MIGNAN NICOLAS (FR)
REVERSAT DAVID (FR)
Application Number:
PCT/FR2021/050632
Publication Date:
October 14, 2021
Filing Date:
April 09, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
VIRTUALISURG (FR)
International Classes:
G09B23/28
Domestic Patent References:
WO2016040376A12016-03-17
WO2019204615A12019-10-24
WO2017114834A12017-07-06
Foreign References:
US20170221387A12017-08-03
US20160030131A12016-02-04
EP1746558B12013-07-17
EP1746558B12013-07-17
Attorney, Agent or Firm:
ICOSA (FR)
Download PDF:
Claims:
REVENDICATIONS

1. Système de connexion d’un dispositif d’entraînement chirurgical (10) à un dispositif virtuel, le dispositif d’entraînement chirurgical (10) comportant :

- une console d’entrainement chirurgical (12) formant zone de travail,

- au moins un outil chirurgical (13) destiné à être manipulé par un opérateur en interaction avec la console d’entraînement chirurgical (12),

- une unité de calcul (14),

- un organe de capture de mouvement (16) relié à l’organe de calcul (14),

- un dispositif d’affichage (18) relié à l’unité de calcul (14), le dispositif d’affichage (18) étant associé à un outil de calibration mobile (30), l’au moins un outil chirurgical (13) étant muni d’au moins un corps réfléchissant (28) de manière à ce que la position de l’au moins un outil chirurgical (13) soit suivie en temps réel par l’organe de capture de mouvement (16), le dispositif virtuel comportant :

- une console virtuelle présentant une géométrie correspondant à la géométrie de la console d’entraînement chirurgical (12),

- au moins un outil virtuel, chaque outil virtuel présentant un avatar de l’outil chirurgical (13),

- un premier référentiel virtuel (RI) définissant un premier univers virtuel (Ul) associé à l’organe de capture de mouvement (16),

- un deuxième référentiel virtuel (R2) définissant un deuxième univers virtuel (U2) associé au dispositif d’affichage (18), la console virtuelle et l’au moins un outil virtuel étant rendus visibles, pour l’opérateur, par le dispositif d’affichage (18), le dispositif d’entraînement chirurgical (10) comportant en outre une plaque de calibration (19), cette plaque de calibration (19) présentant :

- une première structure de référence (32) destinée à être associée au premier référentiel virtuel (RI), et - une deuxième structure de référence (34) destinée à être associée au deuxième référentiel virtuel (R2), la deuxième structure de référence (34) étant une empreinte présentant une forme complémentaire à celle de l’outil de calibration mobile (30), de manière à obtenir l’alignement des deux référentiels virtuels (RI, R2), cet alignement permettant une superposition stable des deux univers virtuels (Ul, U2).

2. Système de connexion selon la revendication précédente, caractérisé en ce que la première structure de référence (32) de la plaque de calibration (19) comporte trois éléments de référence destinés à former un repère orthogonal.

3. Système de connexion selon la revendication précédente, caractérisé en ce que chaque élément de référence de la plaque de calibration est un élément réfléchissant (26) destiné à interagir avec l’organe de capture de mouvement (16).

4. Système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que l’outil de calibration mobile (30) est un outil chirurgical.

5. Système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que l’au moins un corps réfléchissant (28) de l’outil chirurgical (13) est un support non planaire comportant au moins trois billes réfléchissantes. 6. Système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que la console d’entraînement chirurgical (12) est munie d’au moins un élément réfléchissant (26) de manière à ce que la position de la console d’entraînement chirurgical (12) soit suivi en temps réel par l’organe de capture de mouvement (16). 7. Système de connexion selon la revendication précédente, caractérisé en ce que la console d’entraînement chirurgical (12) comporte deux parties, une première partie formant bâti (12a) et une deuxième partie formant plaque d’entraînement chirurgical (12b), l’au moins un élément réfléchissant (26) étant situé sur la plaque d’entraînement chirurgical (12).

8. Système de connexion selon la revendication précédente, caractérisé en ce que

- la plaque de calibration (19) est une plaque de calibration amovible, - la plaque d’entraînement chirurgical (12) est une plaque d’entraînement chirurgical amovible,

- la plaque de calibration amovible (19) étant apte à être positionnée sur le bâti (12a) de la console d’entraînement chirurgical (12), en complément ou en remplacement de la plaque d’entraînement chirurgical amovible (19). 9. Système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que l’organe de capture de mouvement (16) comporte au moins une caméra infrarouge et au moins un émetteur infrarouge, chaque élément et/ou corps réfléchissant étant un élément e/ou corps réfléchissant aux infrarouges.

10. Procédé de calibration d’un système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que la calibration comporte les étapes suivantes, dans l’ordre d’énonciation : a. positionnement de la console d’entrainement chirurgical (12) dans une zone de détection de l’organe de capture de mouvement (16), b. positionnement de la plaque de calibration (19) dans la zone de détection de l’organe de capture de mouvement (16), c. calibration de l’organe de capture de mouvements (16) sur la première structure de référence (32) de la plaque de calibration (19) de manière à associer le premier référentiel virtuel (RI) à la plaque de calibration (19), d. calibration du dispositif d’affichage (18) sur la deuxième structure de référence (34) de la plaque de calibration (19) de manière à associer le deuxième référentiel (R2) virtuel à la plaque de calibration (19), e. alignement des deux référentiels virtuels (RI, R2).

11. Procédé de calibration d’un système de connexion selon la revendication précédente, caractérisé en ce que l’étape de calibration de l’organe de capture de mouvement (16) et l’étape de calibration du dispositif d’affichage (18) sont réalisées au moyen d’un programme informatique enregistré dans l’unité de calcul (14).

Description:
SYSTÈME DE CONNEXION D’UN DISPOSITIF D’ENTRAÎNEMENT CHIRURGICAL À UN DISPOSITIF VIRTUEL

DOMAINE TECHNIQUE DE L'INVENTION La présente invention concerne le domaine des instruments et matériels médicaux. Plus particulièrement, l’invention concerne un dispositif de simulations chirurgicales.

ARRIÈRE-PLAN TECHNIQUE

Il est connu, dans le domaine de la médecine, de proposer des dispositifs d’entraînement aux apprenants chirurgiens et chirurgiennes. Les apprenants peuvent bien évidemment s’entraîner sur des corps de défunts mais ceux-ci sont en nombre limité. Les apprenants peuvent également s’entraîner sur des patients vivants sous la supervision d’un chirurgien ou d’une chirurgienne confirmé(e), mais cette pratique présente toutefois un risque pour le patient. Il est donc essentiel de proposer des systèmes permettant de libérer l’apprentissage de la chirurgie de la disponibilité de corps de défunts ou de patients.

De nombreux exemples de tels systèmes existent déjà dans l’état de la technique, comme illustrés par exemple, dans les documents EP 1746558 Bl, et WO 2019204615 (Al).

Le document EP1746558 B divulgue un système pour simuler une opération chirurgicale, par un utilisateur, sur un corps, simulé avec au moins deux instruments réels. Le système comprend une piste longitudinale et une pluralité de chariots mobiles le long de ladite piste. Chaque chariot a des moyens de serrage et des moyens pour faire tourner et déplacer longitudinalement lesdits instruments réels. Le système comprend également des moyens de rétroaction pour recevoir et transmettre, à la main de l'utilisateur, une force de rétroaction dudit instrument réel par rapport à la caractéristique de simulation, des moyens pour reconnaître un instrument réel à insérer dans lesdits moyens de serrage, moyennant quoi ledit instrument réel peut être fixé à l’intérieur desdits moyens de serrage pour être déplacé longitudinalement et tourné par l'utilisateur. Le document WO 2019204615 (Al) divulgue un appareil comprenant un dispositif d’endoscopie, et un dispositif de suivi adapté pour fonctionner avec un système de suivi tridimensionnel pour suivre l'emplacement et l'orientation du dispositif d’endoscopie dans trois dimensions dans un environnement simulé de salle d’opération. L’appareil comprend également un modèle physique de tête de patient comprenant des composants durs et mous, et le dispositif d’endoscopie est configuré pour être inséré dans le modèle physique pour fournir une rétroaction haptique de la chirurgie endoscopique.

Les deux documents divulguent des dispositifs d’entraînement à la chirurgie en combinant un système mécanique (instruments chirurgicaux et/ou consoles d’entraînement) avec un système de capteurs et un système d’affichage. Les capteurs permettent de déterminer le positionnement des instruments utilisés par l’opérateur par rapport aux éléments de la console d’entraînement. Des données sont affichées sur un système d’affichage pour aider l’apprenant chirurgien dans ses démarches. Toutefois, aucun de ces dispositifs ne permet une immersion réelle. Les conditions du bloc opératoire ne sont pas reproduites et l’apprenant ne peut pas retrouver toutes les sensations propres à une intervention chirurgicale en bloc. Il manque, aux divulgations de l’état de la technique, une composante virtuelle à la simulation, afin de se rapprocher de manière significative des conditions d’opération en bloc. La seule manière de reproduire ces conditions de manière pertinente est de plonger l’opérateur dans un monde virtuel, tout en lui permettant de manipuler des instruments chirurgicaux réels afin de le préparer au mieux, aux véritables conditions du bloc.

La réalité virtuelle est par ailleurs utilisée pour accompagner un(e) chirurgien(ne) au cours d’une intervention chirurgicale, comme par exemple illustré par le document WO 2017114834 (Al). Le document WO 2017114834 (Al) divulgue une unité de commande prévue pour un système de robot chirurgical, comprenant un robot configuré pour faire fonctionner un outil chirurgical sur un patient. L'unité de commande comprend un processeur configuré pour transmettre des images en direct acquises sur le patient à un dispositif de réalité virtuelle (VR) pour affichage. L’unité traite les données d'entrée reçues du dispositif VR pour déterminer une cible chez le patient et déterminer un chemin pour que l’outil chirurgical atteigne la cible sur la base des images en direct et des données d'entrée traitées ; et pour transmettre des signaux de commande pour amener le robot à guider l’outil chirurgical vers la cible via le chemin déterminé.

Toutefois, dans un cas d’accompagnement d’un chirurgien(ne) au cours d’une opération, il ne s’agit pas de recréer les conditions du bloc opératoire dans le but d’y familiariser un(e) débutant(e).

Les divulgations de l’état de la technique ne permettent pas à l’utilisateur de manipuler de véritables instruments de chirurgie simultanément dans le monde physique et dans un monde virtuel reproduisant les conditions opératoires du bloc, notamment avec une précision suffisante pour vraiment permettre à un utilisateur de ne pas sentir de décalage entre sa manipulation physique dans le monde réel et l’effet ressenti dans le bloc opératoire virtuel.

C’est à ces inconvénients qu’entend plus particulièrement remédier l’invention en proposant un dispositif de simulation chirurgicale alliant un monde virtuel à l’utilisation d’instruments chirurgicaux réels en connectant les deux univers, l’un réel, l’autre virtuel avec une grande précision.

RÉSUMÉ DE L’INVENTION

La présente invention a notamment pour objectif de proposer d’une part, un système de connexion entre un monde virtuel et un monde réel fiable et robuste, permettant de relier un dispositif de simulation chirurgicale mobile avec un univers virtuel recréant, pour l’utilisateur, les conditions du bloc opératoire.

On parvient à réaliser cet objectif, conformément à l’invention grâce à un système de connexion d’un dispositif d’entraînement chirurgical à un dispositif virtuel, le dispositif d’entraînement chirurgical comportant : une console d’entrainement chirurgical formant zone de travail, au moins un outil chirurgical destiné à être manipulé par un opérateur en interaction avec la console d’entraînement chirurgical, - une unité de calcul,

- un organe de capture de mouvement relié à l’organe de calcul,

- un dispositif d’affichage relié à l’unité de calcul, le dispositif d’affichage étant associé à un outil de calibration mobile, - l’au moins un outil chirurgical étant muni d’au moins un corps réfléchissant de manière à ce que la position de l’au moins un outil chirurgical soit suivie en temps réel par l’organe de capture de mouvement, le dispositif virtuel comportant : une console virtuelle présentant une géométrie correspondant à la géométrie de la console d’entraînement chirurgical, au moins un outil virtuel, chaque outil virtuel présentant un avatar de l’outil chirurgical, un premier référentiel virtuel définissant un premier univers virtuel associé à l’organe de capture de mouvement, - un deuxième référentiel virtuel définissant un deuxième univers virtuel associé au dispositif d’affichage, la console virtuelle et l’au moins un outil virtuel étant rendus visibles, pour l’opérateur, par le dispositif d’affichage, le dispositif d’entraînement chirurgical comportant en outre une plaque de calibration, cette plaque de calibration présentant : une première structure de référence destinée à être associée au premier référentiel virtuel, et

- une deuxième structure de référence destinée à être associée au deuxième référentiel virtuel, la deuxième structure de référence étant une empreinte présentant une forme complémentaire à celle de l’outil de calibration mobile, de manière à obtenir l’alignement des deux référentiels virtuels, cet alignement permettant une superposition stable des deux univers virtuels.

Ainsi, cette solution permet d’atteindre l’objectif susmentionné. En particulier, Le système de connexion selon l’invention est peu encombrant, il ne nécessite que peu d’éléments réels et il peut être monté dans n’importe quel environnement. Chaque instrument de chirurgie utilisé dans le cadre des étapes opératoires d’une procédure chirurgicale simulée et la console d’entraînement chirurgical sont connectés en temps réel à la réalité virtuelle et permettent de plonger tout utilisateur dans un environnement virtuel de qualité tout en le laissant manipuler de véritables outils chirurgicaux, dans un environnement réel qui peut être extrêmement éloigné de celui d’un bloc opératoire réel. Il pourrait par exemple s’agir d’une chambre d’étudiant ou d’une salle de classe.

Le système de connexion selon l’invention peut comprendre une ou plusieurs des caractéristiques suivantes, prises isolément les unes des autres ou en combinaison les unes avec les autres : la première structure de référence de la plaque de calibration peut comporter trois éléments de référence destinés à former un repère orthogonal, chaque élément de référence de la plaque de calibration peut être un élément réfléchissant destiné à interagir avec l’organe de capture de mouvement, - l’outil de calibration mobile peut être un outil chirurgical, l’au moins un corps réfléchissant de l’outil chirurgical peut être un support non planaire comportant au moins trois billes réfléchissantes, la console d’entraînement chirurgical peut être munie d’au moins un élément réfléchissant de manière à ce que la position de la console d’entraînement chirurgical soit suivi en temps réel par l’organe de capture de mouvement, la console d’entraînement chirurgical peut comporter deux parties, une première partie formant bâti et une deuxième partie formant plaque d’entraînement chirurgical, l’au moins un élément réfléchissant étant situé sur la plaque d’entraînement chirurgical, - la plaque de calibration peut être une plaque de calibration amovible, la plaque d’entraînement chirurgical peut être une plaque d’entraînement chirurgical amovible, la plaque de calibration amovible étant apte à être positionnée sur le bâti de la console d’entraînement chirurgical, en complément ou en remplacement de la plaque d’entraînement chirurgical amovible, l’organe de capture de mouvement peut comporter au moins une caméra infrarouge et au moins un émetteur infrarouge, chaque élément et/ou corps réfléchissant étant un élément e/ou corps réfléchissant aux infrarouges.

La présente invention a également pour objet, un procédé de calibration d’un système de connexion selon l’une quelconque des revendications précédentes, caractérisé en ce que la calibration comporte les étapes suivantes, dans l’ordre d’énonciation : a. positionnement de la console d’entrainement chirurgical (12) dans une zone de détection de l’organe de capture de mouvement (16), b. positionnement de la plaque de calibration (19) dans la zone de détection de l’organe de capture de mouvement (16), c. calibration de l’organe de capture de mouvements (16) sur la première structure de référence (32) de la plaque de calibration (19) de manière à associer le premier référentiel virtuel (RI) à la plaque de calibration (19), d. calibration du dispositif d’affichage (18) sur la deuxième structure de référence (34) de la plaque de calibration (19) de manière à associer le deuxième référentiel (R2) virtuel à la plaque de calibration (19), e. alignement des deux référentiels virtuels (RI, R2).

L’étape de calibration de l’organe de capture de mouvement et l’étape de calibration du dispositif d’affichage peuvent être réalisées au moyen d’un programme informatique enregistré dans l’unité de calcul.

BRÈVE DESCRIPTION DES FIGURES

D'autres caractéristiques et avantages de l'invention apparaîtront au cours de la lecture de la description détaillée qui va suivre pour la compréhension de laquelle on se reportera aux dessins annexés dans lesquels : la figure IA est un schéma représentant un premier mode de réalisation d’un système de connexion selon l’invention, la figure IB est un schéma représentant un deuxième mode de réalisation d’un système de connexion selon l’invention ; la figure 2 est une vue en perspective d’une console d’entrainement chirurgical selon l’invention ; la figure 3 est une vue de dessus d’une plaque d’entraînement chirurgical selon l’invention ; la figure 4 est une vue en perspective d’un outil chirurgical destiné à servir dans le système de connexion selon l’invention ; la figure 5 est une vue en perspective d’une plaque de calibration selon un premier mode de réalisation ; la figure 6 est une vue en perspective de la plaque de calibration de la figure précédente, montée sur le bâti de console d’entraînement chirurgical de la figure 2 ; la figure 7 est une vue de face d’une opératrice portant un dispositif d’affichage et un organe de calibration mobile selon l’invention ; la figure 8 est un schéma représentant les différents référentiels du système selon l’invention.

DESCRIPTION DÉTAILLÉE DE L'INVENTION

La présente invention porte sur un système de connexion 10 d’un dispositif d’entraînement chirurgical à un dispositif virtuel. Nous allons, dans un premier temps, décrire le dispositif d’entraînement chirurgical 10 puis nous décrirons le dispositif virtuel et finalement, la connexion des deux dispositifs entre eux.

Comme représenté schématiquement sur la figure, 1, on voit que le dispositif d’entraînement chirurgical 10 comporte : une console d'entraînement chirurgical 12 formant zone de travail, - au moins un outil chirurgical 13 destiné à être manipulé par un opérateur en interaction avec la console d’entraînement 12. une unité de calcul 14 comportant un logiciel de tracking,

- un organe de capture de mouvement 16 relié à l’organe de calcul 14,

- un dispositif d’affichage 18 relié à l’unité de calcul 14, - une plaque de calibration 19. La puissance électrique du système est donnée par un bloc d’alimentation 12V/3A (non représenté). Les données sont quant à elles transmises par un moyen de communication fïlaire (USB 2.0, Ethernet) ou par un moyen de communication non fïlaire (Wifï, Bluetooth, ...). La console d’entraînement chirurgical 12 représentée sur la figure 2, comporte deux parties, une première partie 12a formant bâti et une deuxième partie 12b formant plaque d’entraînement chirurgical. Le bâti 12a présente une structure générale de table avec quatre pieds à hauteur réglable et un cadre 20. La plaque d’entraînement chirurgical 12b comporte un plateau 22 aux dimensions ajustées au cadre 20 du bâti 12a. Le plateau 22 de la plaque d’entraînement chirurgical 12b est destiné à être posée sur le cadre 20 du bâti 12a, de manière à ce que le bâti 12a supporte la plaque d’entraînement chirurgical 12b. Sur le plateau 22 de la plaque d’entraînement chirurgical 12b, une imitation 24 de structure anatomique est fixée. Cette imitation 24 présente sensiblement les mêmes dimensions et propriétés mécaniques que la structure anatomique biologique. La plaque d’entraînement chirurgical 12b est une plaque d’entraînement chirurgical amovible, c’est-à-dire qu’elle peut être retirée du bâti 12a. Une console d’entraînement chirurgical 12 peut ainsi comprendre plusieurs plaques d’entraînement chirurgical 12b différentes, chaque plaque d’entraînement chirurgical 12b comportant une imitation 24 différente. La plaque d’entraînement chirurgical 12b est fixée sur le bâti 12a au moyen, par exemple, de vis 25. Dans un mode de réalisation non représenté, une plaque de stabilisation est positionnée entre le bâti 12a et la plaque d’entraînement chirurgical 12b pour augmenter la stabilité de la console d’entraînement chirurgical 12.

La console d’entraînement chirurgical 12 est munie d’au moins un élément réfléchissant 26 (voir figure 3). En particulier, cet élément réfléchissant 26 est un élément réfléchissant aux infrarouges. De cette manière, la position de la console d’entraînement chirurgical 12 peut être suivie en temps réel par l’organe de capture de mouvement 16. Cet élément réfléchissant 25 est une bille de tracking. Cet élément réfléchissant est situé sur le plateau 22 de la plaque d’entraînement chirurgical 12b. Dans le mode de réalisation illustre aux figures 2 et 3, le plateau 22 de la plaque d’entraînement chirurgical 12b présente une forme sensiblement rectangulaire et elle comporte un élément réfléchissant 26 (une bille de tracking) au voisinage de chacun de ses coins. De manière plus précise, les quatre éléments réfléchissants 26 sont fixés (par exemple par vissage) sur les largeurs de la plaque 22, deux de chaque côté. La distance entre deux éléments réfléchissants 26 n’est pas la même d’un côté et de l’autre, 9cm pour l’un et 11cm pour l’autre, de manière à permettre à l’organe de capture de mouvement d’identifier l’orientation de la console d’entraînement chirurgical 12.

La console d'entraînement chirurgical 12 doit être positionnée de telle sorte qu’elle soit vue par l’organe de capture de mouvement 16 même si elle est légèrement déplacée, par exemple si un utilisateur donné, par mégarde, un coup de pied dans les pieds du bâti 12a. en effet, comme explicité plus loin, la console d’entraînement chirurgical 12 est directement connectée, après calibration du système, à la position à laquelle l’opérateur perçoit, dans le monde virtuel, le patient à opérer. Si cette position n’est pas captée dans l’espace, un décalage de la console d’entraînement chirurgical 12 peut engendrer un décalage avec l’image (du patient à opérer) perçue par l’opérateur le monde virtuel. Lorsqu’un opérateur utilise le dispositif d’entraînement chirurgical, il est coupé de toute interaction visuelle avec le monde réel et n’a d’interaction visuelle qu’avec le monde virtuel. Il est donc essentiel d’éviter tout décalage temporel entre les interactions de l’opérateur avec la console d’entraînement chirurgicale 12 et les interactions perçues dans le monde virtuel, pour éviter tout décalage au niveau du cerveau de l’opérateur et tout inconfort induit. Par ailleurs une parfaite coordination entre les interactions de l’opérateur avec la console d’entraînement chirurgicale 12 et les interactions perçues dans le monde virtuel sont indispensables à un bon entraînement de la mémoire visuelle en harmonie avec la mémoire musculaire.

De préférence, le bâti 12a (et donc la zone de travail de la console d’entraînement chirurgical 12) est positionné à une distance idéale de 1,9m de l’organe de capture de mouvement 16. L’organe 16 fait face à la zone de travail de la console 12 et le centre de son champ de vue doit se situer à 0,5m au-dessus du bâti 12a (voir figure 1). Lorsque l’opérateur utilise le dispositif d’entraînement chirurgical, il manipule l’outil chirurgical 13 et interagit avec l’imitation 24 de la plaque d’entraînement chirurgical 12b de la console d’entraînement chirurgical 12.

L’outil représenté en figure 4 est un outil pour la dissection des tissus et l’hémostase. Ceci permet de simuler une intervention chirurgicale. L’au moins un outil chirurgical 13 est par ailleurs muni d’au moins un corps réfléchissant 28. De même que pour la console d’entrainement chirurgical 12, ce corps réfléchissant 28 est un corps réfléchissant aux infrarouges. Ainsi la position de cet outil chirurgical 13 est également suivie en temps réel par l’organe de capture de mouvement 16. Le corps réfléchissant 28 de l’outil chirurgical 13 est un support 29 non planaire comportant au moins trois éléments réfléchissants 26. Ces éléments réfléchissants 26 sont des billes réfléchissantes aux infrarouges. La taille des billes est de 12mm de diamètre. Il a été constaté que des billes présentant un diamètre plus petit, engendrent une perte de tracking. Par ailleurs, des billes plus grosses provoquent une occlusion des billes entres elles. Le corps réfléchissant 28 comportant un support 29 non planaire est classiquement appelé cluster. Le support 29 est conçu afin de garantir la présence minimale de trois billes formant un plan, dans le champ de vision de l’organe de capture de mouvement 16. Cela permet de définir avec précision la position et l’orientation du corps réfléchissant 28 (cluster) et donc de l’outil chirurgical 13. La forme de ce cluster peut être apparentée à une agrégation de triangles non congruents pour éviter une erreur de reconstruction par le logiciel de tracking. La forme non planaire du corps réfléchissant 28 implique que chaque trinôme de billes réfléchissantes forme/est contenu dans un plan différent. Comparativement à un cluster de géométrie plane, cette forme non planaire permet d’obtenir 60° de liberté en plus lors d’une rotation de l’outil chirurgical 13 sur lui-même mais aussi une diminution de la perte de tracking de 50%lors de la phase d’insertion de l’instrument chirurgical dans l’imitation 24 de la console d’entrainement chirurgical 12. Cette forme facilite de plus la manipulation simultanée de deux instruments chirurgicaux 13 sans provoquer de gêne ou de conflit entre eux : en effet, elle minimise le risque de collision et l’occlusion de clusters lorsque deux instruments sont proches l’un de l’autre (lors d’une chirurgie coelioscopique par exemple).

On appelle occlusion la superposition de deux objets 3D dans un plan 2D avec pour conséquence une perte d'information. Dans le cas présent, si on regarde un objet muni de billes réfléchissantes avec l’organe de capture de mouvement 16, on peut faire tourner l'objet jusqu'à ce que deux billes se "superposent" visuellement, la première bille cachant la seconde, et on observe une perte d'information sur la position de la seconde bille. Il devient alors impossible de savoir si elle est située 2 cm ou 1km derrière la première bille. On peut donc voir ça comme un angle mort où on ne voit pas ce qu'il passe à cause du premier objet qui cache le deuxième objet.

Le cluster a été développé pour permettre un montage facile sur tout type d’outils chirurgicaux 13. Il présente ainsi deux trous M4 pour garantir l’orientation du cluster une fois fixé à un outil chirurgical 13. On appelle M4, un trou de diamètre 4mm en norme ISO (M4). La forme du cluster a été conçue pour garantir un maximum de degré de liberté dans les mouvements de l’opérateur et aussi minimiser l’impact de l’ajout du cluster sur l’outil chirurgical 13. En effet, l’ergonomie du cluster est réfléchie pour ne pas gêner l’opérateur dans ses gestes : par exemple tourner une molette avec l’index. De même, toutes les fonctionnalités de l’instrument chirurgical 13 doivent rester inchangées. Ainsi, la zone de travail de la console 12 doit maximiser la liberté des mouvements de l’opérateur et aussi maximiser la visibilité des éléments réfléchissants 26 du corps réfléchissant 28 de chaque outil chirurgical 13. Une position trop proche de l’organe de capture de mouvement 16 ne permet pas de voir tous les mouvements de l’outil chirurgical 13 manipulé par l’opérateur. Une position de l’organe de capture de mouvement 16 trop éloignée pénalise la reconstruction des clusters : en effet, plus l’organe de capture de mouvement 16 est loin, moins les billes vont réfléchir la lumière émise par l’organe 16 et celui-ci les confond ou ne les voit plus.

L’unité de calcul 14 est choisie pour être capable de faire un rendu temps réel de haute résolution en réalité virtuelle. En effet, la présente invention n’est pas un simple dispositif d’analyse de geste, mais un dispositif d’apprentissage visuel, la réalité virtuelle perçue par l’opérateur doit ainsi être de très bonne qualité.

L’organe de capture de mouvement 16 est, dans le mode de réalisation de la figure IA, une barre de tracking. Cette barre de tracking est composée de trois caméras infrarouges espacées chacune de 25cm l’une de l’autre, chaque caméra ayant trois émetteurs infrarouges disposés autour d’elle. Les caméras présentent une résolution de 640x480 pixels avec une fréquence maximum de 120Hz. Chaque lentille de caméra possède un filtre infrarouge de 800nm. Chaque émetteur infrarouge est composé d’un bandeau circulaire de 26 LED infrarouges de puissance variable (portée comprise entre 0.6m et 4.5m) et d’une bande passante de 850nm. L’organe de capture de mouvement 16 est fixé sur un support mobile réglable à 2 mètres de hauteur. Dans un autre mode de réalisation (voir figure IB), l’organe de capture de mouvement 16 peut comporter quatre caméras infrarouges indépendantes, positionnées autour de la console 12 et chacune reliée à l’unité de calcul 14. Le système de connexion selon l’invention est basé sur l’infrarouge. Ceci permet de limiter les risques d’occlusion qui peuvent pénaliser le suivi continu du positionnement de l’instrument chirurgical 13 et de la console d’entraînement chirurgical 12. Ceci permet également de connecter simultanément un grand nombre d’instruments chirurgicaux 13 et de veiller à la parfaite reconnaissance de chacun de ces instruments chirurgicaux 13 par le système de suivi.

Le dispositif d’affichage 18 (voir figure 7) peut par exemple être un casque de réalité virtuelle, ajustable à l'utilisateur et pouvant fournir un retour audio. Plus particulièrement, il peut s’agir d’un casque HP reverb® possédant deux écrans d’une résolution de 2160x2160 pixels. Chaque écran a une fréquence d’affichage de 90 Hz. Le casque est relié à l'unité de calcul 14 par un câble (par exemple un câble displayport.ou hdmi).

De manière connue en soi, le dispositif d’affichage 18 est associé à un outil de calibration mobile 30 (voir figure 6). L’outil de calibration mobile 30 peut prendre la forme d’une manette classique mais il peut aussi, parmi d’autres solutions, être un outil chirurgical 13. Le dispositif d’affichage 18 fait le lien entre le dispositif d’entraînement chirurgical 10 et le dispositif virtuel. En effet, le dispositif d’entraînement chirurgical 10 est le dispositif manipulé par l’opérateur mais le dispositif virtuel est celui qui est perçu par l’opérateur. La console virtuelle et l’au moins un outil virtuel sont rendus visibles, pour l’opérateur, par le dispositif d’affichage 18.

Le dispositif virtuel comporte : une console virtuelle présentant une géométrie correspondant à la géométrie de la console d’entraînement chirurgical 12, au moins un outil virtuel, chaque outil virtuel présentant un avatar de l’outil chirurgical 13, cette avatar pouvant être une copie présentant une géométrie correspondant à celle de l’outil chirurgical 13 ou pouvant prendre une toute autre forme.

La console virtuelle reprend la géométrie de l’imitation 24 de la console d’entrainement chirurgical 12. L’outil virtuel est une image de l’outil chirurgical 13 sans le corps réfléchissant 28.

Le dispositif virtuel comporte par ailleurs : un premier référentiel virtuel RI définissant un premier univers virtuel U 1 associé à l’organe de capture de mouvement 16, un deuxième référentiel virtuel R2 définissant un deuxième univers virtuel U2 associé au dispositif d’affichage 18.

Plus précisément, il s’agit de déterminer la transformée entre RI et R2. Cette transformée s’obtient en déterminant la transformée entre un référentiel Rp de la plaque de calibration 19 et un référentiel Rc de l’outil de calibration mobile 30. Comme illustré sur la figure 8, on voit donc que le système de connexion 10 comporte quatre référentiels différents : RI, R2, Rp, Rc. L'objectif est de calibrer :

RI par rapport à R2 en utilisant les données obtenues par Rp dans le repère RI , et Rc dans le repère R2.

En connaissant la transformée entre Rp et Rc nous pouvons en déduire la transformée entre RI et R2. La position et l'orientation de la plaque de calibration 19 sont connues dans le repère RI de l’organe de capture de mouvement 16, ainsi on peut en déduire la matrice Mlp qui est la transformée entre le repère 0 (RI) de l’organe de capture de mouvement 16 et le repère de la plaque (Rp). D'autre part, la position et l'orientation de l’outil de calibration mobile 30 (Rc) dans le repère R2 du dispositif d’affichage 18. On peut donc créer la matrice M C 2 qui correspond à la transformée entre l’outil de calibration mobile 30 (classiquement une manette) et le dispositif d’affichage 18 (qui peut être un casque). Par ailleurs, les dimensions et le dessin de la plaque de calibration 19 étant connus, la transformée entre la plaque de calibration 19 et l’outil de calibration mobile 30 est connue. Cette matrice est notée M pc . Il s’agit de la matrice de transformation entre le repère de la plaque de calibration 19 (Rp) et le repère de l’outil de calibration mobile 30 (Rc)

Ainsi pour avoir la matrice de transformation (M12) entre les deux univers Ul, U2, celui de l’organe de capture de mouvement 16 (Ul), et celui du dispositif d’affichage 18 (U2), nous avons à calculer M12 :

Afin de faire coïncider le dispositif d’entraînement chirurgical 10 avec le dispositif virtuel, il faut donc faire coïncider les deux référentiels virtuels RI, R2 par une étape de calibration. Cette calibration des deux référentiels virtuels RI, R2 permet donc de calibrer le monde virtuel sur le monde réel. La calibration entre le monde réel et le monde virtuel est cruciale car elle permet d’obtenir une parfaite concordance des mouvements de l’opérateur dans le monde virtuel. Cette étape permet aussi de définir la position d’origine du monde virtuel. Cette étape est réalisée au moyen de la plaque de calibration 19.

La plaque de calibration 30 est une plaque de calibration amovible, c’est-à-dire qu’elle présente des dimensions la rendant apte à être positionnée sur le bâti 12a de la console d’entraînement chirurgical 12. La plaque de calibration 30 peut être positionnée sur le bâti 12a en complément ou en remplacement de la plaque d’entraînement chirurgical amovible 12b. La plaque de calibration 30 présente les mêmes dimensions que la console d’entraînement chirurgical 12.

Comme visible sur les figures 5 et 6, la plaque de calibration 19 présente une première structure de référence 32 destinée à être associée au premier référentiel virtuel RI, et une deuxième structure de référence 34 destinée à être associée au deuxième référentiel virtuel R2. Comme visible sur les figures 5 et 6, la première structure de référence 32 de la plaque de calibration 30 comporte trois éléments de référence destinés à former un repère orthogonal. Chaque élément de référence de la plaque de calibration est un élément réfléchissant 26 destiné à interagir avec l’organe de capture de mouvement 16. Les éléments de référence de la plaque de calibration 30 sont donc des éléments réfléchissants 26 aux infrarouges. En particulier, il s’agit de billes réfléchissantes aux infrarouges de 14mm de diamètre. Les billes sont positionnées de façon à construire un repère orthogonal : axe X - 125mm entre les deux billes, et axe Z - 229mm entre les deux billes. L’axe Z est positionné côté organe de capture de mouvement 16 et perpendiculaire au champ visuel de l’organe 16. L’axe X est dirigé vers l’opérateur. Comme visible sur les figures 5 et 6, la deuxième structure de référence 34 est une empreinte présentant une forme complémentaire à celle de l’outil de calibration mobile 30. Un détrompeur centré au niveau du centre de cette empreinte permet de garantir la position et l'orientation de l’outil de calibration mobile 30 lorsque celui-ci est positionnée sur la plaque de calibration 19, pendant l’étape de calibration.

Pour effectuer la calibration, d’une part la première structure de référence 32 de la plaque de calibration 19 doit être vue par l’organe de capture de mouvement 16 et, d’autre part, l’outil de calibration mobile 30 doit être placé sur la deuxième structure de référence 34. Au cours de cette étape de calibration, la plaque de calibration 19 représente l’origine du monde réel. On obtient de cette façon l’alignement des deux référentiels virtuels RI, R2. Cet alignement permet une superposition stable des deux univers virtuels Ul, U2.

La calibration du système de connexion est réalisée selon les étapes suivantes : a. Positionnement de la console d’entrainement chirurgical 12 dans une zone de détection de l’organe de capture de mouvement 16. On peut aussi simplement positionner le bâti 12a de la console d’entraînement chirurgical 12. b. Positionnement de la plaque de calibration 19 dans la zone de détection de l’organe de capture de mouvement 16. En particulier, la plaque de calibration 19 peut être positionnée sur le bâti 12a de la console chirurgical 12. c. Calibration de l’organe de capture de mouvements 16 sur la première structure de référence 32 de la plaque de calibration 19 de manière à associer le premier référentiel virtuel RI à la plaque de calibration 19. d. Calibration du dispositif d’affichage 18 sur la deuxième structure de référence 34 de la plaque de calibration 19 de manière à associer le deuxième référentiel virtuel R2 à la plaque de calibration 19. e. Alignement des deux référentiels virtuels RI, R2. f. Retrait de la plaque de calibration 19. g. Mise en place de la plaque d’entraînement chirurgical amovible 12b sur le bâti 12a.

Une fois cette calibration effectuée, la plaque de calibration 19 et l’outil de calibration mobile 30 peuvent être retirés de l’environnement car les deux univers virtuels Ul, U2 sont des points de référence stables.

Une fois que la calibration est effectuée, l’instrument de chirurgie 13 physiquement tenu dans la main de l’opérateur se déplace en même temps, dans le monde réel et dans le monde virtuel avec une précision infra-millimétrique dans les trois plans de l’espace. Le présent système de connexion est une méthode de suivi robuste et précise qui permet de capter avec précision les mouvements des instruments. Cette méthode garantit la mobilité et la transportabilité des simulateurs. La console d’entraînement chirurgical 12 est connectée à la position du patient perçu par l’opérateur dans la scène virtuelle. Cette position est donc suivie en temps réel avec une précision infra-millimétrique dans les trois plans de l’espace afin d’éviter tout décalage entre le monde virtuel et le monde réel.

Pour faciliter la mise en place et garantir la répétabilité du positionnement de la zone de travail, un assistant de configuration a été développé : ainsi, l’étape de calibration de l’organe de capture de mouvement 30 et l’étape de calibration du dispositif d’affichage 18 sont réalisées au moyen d’un programme informatique enregistré dans l’unité de calcul 14. Cet assistant s'exécute au démarrage de l’unité de calcul 14. L’assistant calcule la matrice de transformation entre les deux repères virtuels RI , R2 et la stocke dans l’unité de calcul 14. L’assistant communique avec l’opérateur au moyen d’un écran et peut ainsi donner des instructions à l’opérateur. Il est ainsi possible d'exécuter n’importe quelle simulation sans avoir à effectuer une nouvelle calibration. Si l’organe de capture de mouvement 16 est déplacé, il faut toutefois effectuer une nouvelle calibration. Par contre, si la console d’entraînement chirurgical 12 est déplacée pendant une simulation, la scène virtuelle est recalée automatiquement pour correspondre à la réalité. En effet, une fonction s’exécute à intervalle régulier (par exemple toutes les 10 ou 300 millisecondes) pour vérifier si la console d’entraînement chirurgical 12 a bougé. Si la console 12 a bougé, l’unité de calcul 14 recale automatiquement la scène virtuelle en fonction de la position de la console 12. Cette routine s’exécutant pendant toute la simulation permet ainsi de détecter un mouvement de la console 12 et de recalculer la position de la scène virtuelle par rapport à l’organe de capture de mouvement 16.

Le système de connexion selon l’invention, vient prendre à contrepied les techniques actuellement employées. Les techniques existantes emploient un référentiel unique, qui est celui de l’organe de capture de mouvement. Le dispositif d’affichage 18 est positionné dans l’univers virtuel U1 associé à l’organe de capture 16 grâce à des marqueurs passifs (boules réfléchissant les infrarouges émis avec un illuminateur externe) ou actifs (boules générant de la lumière infrarouge). Ces techniques présentes les inconvénients suivants : - coût élevé à cause de la modification physiquement de chaque dispositif d’affichage 18 et, des organes de calibration mobiles 30 associés ; augmentation de l’espace de stockage nécessaire pour le dispositif d’affichage 18 ; qualité de suivi (tracking) limitée par les capacités de suivi de l’organe de capture de mouvement 16 , avec plus ou moins de problèmes d’occlusion selon le nombre et la position des caméras de tracking optique de l’organe de capture de mouvement 16.

La présente invention vient prendre l’état de l’art à contrepied, afin d’atténuer ou supprimer ces inconvénients.

En effet, le tracking natif du dispositif d’affichage 18 est conservé, en l'occurrence un tracking inside-out qui limite les problèmes d’occlusion et dont la latence et le positionnement sont parfaitement optimisés. Le dispositif d’affichage évolue donc dans son propre référentiel virtuel R2, différent de celui des outils chirurgicaux 13 trackés qui évoluent dans le référentiel virtuel RI des caméras de tracking de l’organe de capteur de mouvement 16. Il est donc nécessaire de superposer les deux univers virtuels Ul, U2, en alignant leurs référentiels virtuels RI, R2, afin que les objets trackés apparaissent à leur position réelle dans l’univers virtuel U2 du dispositif d’affichage 18.




 
Previous Patent: IMPROVED FIXING ELEMENT

Next Patent: SURGICAL SIMULATION DEVICE