Le domaine technique de l'invention est celui des procédés permettant d'aider à la localisation d'un objectif pour un utilisateur équipé d'un moyen d'observation.

On entend par moyen d'observation en particulier les dispositifs de visualisation optiques ou numériques permettant à un utilisateur d'observer une scène. Parmi de tels dispositifs on pourra citer les viseurs, les jumelles, les lunettes optiques, les systèmes à réalité augmentée équipant un casque ou des lunettes.

II est déjà classique de superposer à la vision d'un objectif des informations incrustées apportant des informations sur l'objet observé.

Les brevets EP2942717 et EP1451652 montrent ainsi des dispositifs d'observation à réalité augmentée utilisés pour réaliser des tâches de maintenance avec ou sans l'aide d'un opérateur distant.

Généralement la localisation du moyen d'observation (lunettes ou casque) par rapport à la scène observée est réalisée en utilisant des marqueurs disposés sur les objets à analyser. Le brevet EP949513 décrit une telle technique.

Le brevet US2007/0276590 décrit également la mise en place sur le terrain de marqueurs particuliers qui transmettent leurs coordonnées à l'observateur.

Une difficulté se pose alors lorsque l'observateur évolue dans un environnement inconnu dans lequel aucun repère ne peut être positionné.

Il a été également proposé d'équiper l'utilisateur d'un dispositif d'observation formé par un casque portant des moyens d'observation de l'environnement et réalisant une analyse permanente de ce dernier afin d'assurer une évaluation des mouvements du casque par corrélation des images successives capturées. Le brevet US8831277 décrit un tel casque. La difficulté se situe alors au niveau des performances de calcul dans un environnement pouvant varier rapidement. Une autre difficulté se situe au niveau de la précision des localisations dans l'espace du casque qui peuvent être obtenues.

Dans un contexte militaire ou d'opérations de maintien de l'ordre, il est en effet nécessaire de localiser très précisément l'orientation du casque ou des lunettes afin de permettre le positionnement dynamique d'images ou de repères dans le moyen d'observation, par exemple lorsqu'il est nécessaire de positionner une cible à neutraliser.

Les angles de localisation doivent alors avoir une précision de l'ordre de quelques milliradians.

Ceci est difficile à assurer dans tous les cas à partir d'une analyse de l'environnement immédiat et sans repères fixes positionnés sur le terrain. Il devient alors nécessaire d'équiper le casque d'une plateforme inertielle pour pouvoir mesurer en permanence son orientation dans l'espace.

Cependant une telle technique est encombrante et coûteuse et ne peut être retenue.

C'est le but de l'invention que de proposer un procédé d'aide à la localisation d'objectif pour un utilisateur, procédé dans lequel la localisation est assurée d'une façon simple et rapide.

Le procédé selon l'invention trouve application dans un contexte militaire et il aide alors à la communication d'informations opérationnelles sur le champ de bataille entre différents opérateurs et entre les fantassins et l'équipage d'un véhicule. Le procédé selon l'invention trouve également application dans des contextes d'opérations de maintien de l'ordre pour lesquelles il peut être nécessaire de communiquer des informations opérationnelles à des opérateurs situés à distance d'un véhicule sur un terrain d'opérations.

Ainsi l'invention a pour objet un procédé d'aide à la localisation d'un objectif pour un premier utilisateur équipé d'un dispositif d'observation comprenant un moyen d'observation à réalité augmentée solidaire d'une platine support et couplé à un moyen de calcul et associé à des moyens de communication, procédé caractérisé en ce que, une plateforme de référence étant positionnée sur le terrain et ayant un repère d'orientation dans l'espace dit repère maître, et un premier repère d'orientation utilisateur dans l'espace dit premier repère utilisateur étant défini par conception du dispositif d'observation, et associé au dispositif d'observation du premier utilisateur, le procédé comprend les étapes suivantes :

- on transmet au premier utilisateur, à partir de la plateforme ou par un second utilisateur et via les moyens de communication les coordonnées de l'objectif dans le repère maître ;

- le premier utilisateur observe la plateforme de référence à partir d'au moins une caméra qui est solidaire de la platine portée par le premier utilisateur et qui supporte le moyen d'observation à réalité augmentée;

- on compare la géométrie de plateforme ainsi observée à un modèle numérique de la plateforme, qui a été mis dans une mémoire du moyen de calcul, pour en déduire l'orientation et la localisation du premier repère utilisateur par rapport au repère maître ;

- on calcule les coordonnées de l'objectif dans le premier repère utilisateur ;

- on affiche sur le moyen d'observation à réalité augmentée du premier utilisateur au moins un réticule virtuel permettant de localiser l'objectif. Selon un mode particulier de réalisation, les coordonnées de l'objectif dans le repère maître pourront être transmises à partir de la plateforme qui est équipée d'au moins un moyen d'observation maître, couplé à un moyen de désignation d'objectif, moyens permettant de déterminer les coordonnées de l'objectif dans le repère maître.

Selon un autre mode de réalisation, les coordonnées de l'objectif dans le repère maître pourront être transmises par un second utilisateur qui sera équipé d'un dispositif d'observation couplé à un moyen de calcul et associé à des moyens de communication, le second utilisateur ayant des moyens lui permettant de désigner un objectif.

Avantageusement, le second utilisateur est équipé d'un dispositif d'observation comportant un moyen d'observation à réalité augmentée analogue à celui du premier utilisateur, un second repère d'orientation utilisateur dans l'espace dit second repère utilisateur étant défini par conception du dispositif d'observation, et qui est associé au dispositif d'observation du second utilisateur, procédé dans lequel :

- le second utilisateur détermine les coordonnées d'un objectif à désigner dans le second repère utilisateur ;

- le second utilisateur observe la plateforme de référence à partir d'au moins une caméra portée par le second utilisateur, caméra qui est solidaire de la platine portée par le second utilisateur et qui supporte le moyen d'observation à réalité augmentée du second utilisateur ;

- on compare la géométrie de la plateforme ainsi observée à un modèle numérique de la plateforme qui est mis dans une mémoire du moyen de calcul pour en déduire l'orientation et la localisation du second repère utilisateur par rapport au repère maître ;

- on calcule les coordonnées de l'objectif à désigner dans le repère maître ; - le second utilisateur transmet au premier utilisateur les coordonnées de l'objectif dans le repère maître. Selon un mode de réalisation, la plateforme est constituée par un véhicule.

Le modèle numérique de la plateforme pourra être un modèle d'au moins une partie de de la géométrie externe du véhicule .

Le modèle numérique de la plateforme pourra être ou pourra incorporer au moins une partie d'un modèle de la géométrie interne du véhicule.

L'invention a également pour objet un dispositif d'observation pour un premier utilisateur, dispositif comportant un moyen d'observation à réalité augmentée couplé à un moyen de calcul associé à des moyens de communication, dispositif permettant la mise en œuvre du procédé selon l'invention. Ce dispositif est caractérisé en ce qu'il comprend une platine qui porte, fixée d'une façon rigide, au moins une caméra permettant d'observer l'espace autour du premier utilisateur et d'acquérir des images de la plateforme, le moyen de calcul incorporant une mémoire dans laquelle est mis en place un modèle numérique de la plateforme et des algorithmes permettant de déterminer l'orientation et la localisation, par rapport à un repère maître associé à ladite plateforme, d'un premier repère d'orientation du dispositif d'observation de l'utilisateur dans l'espace, dit premier repère utilisateur, et de convertir les coordonnées d'une image ou d'un objectif à partir du repère maître dans le premier repère et inversement, le moyen d'observation à réalité augmentée comportant au moins un collimateur de projection et au moins une lame semi transparente qui sont solidaires de la platine, chaque collimateur pouvant afficher l'image sur une lame semi transparente, la platine constituant un support mécanique rigide permettant de fixer les positions et orientations angulaires relatives de la ou des caméras, du ou des collimateurs et de la ou des lames semi transparentes.

Avantageusement, le dispositif d'observation pourra comprendre deux lames semi transparentes associées chacune à un collimateur.

L'invention sera mieux comprise à la lecture de la description qui va suivre d'un mode particulier de réalisation, description faite en référence aux dessins annexés et dans lesquels :

- La figure 1 schématise la mise en œuvre de l'invention sur le terrain ;

- La figure 2 montre de façon plus précise un dispositif d'observation selon l'invention ;

- La figure 3 est une vue de dessus schématique du dispositif d'observation selon la figure 2.

On a représenté à la figure 1 un théâtre d'opérations militaires (ou de maintien de l'ordre) dans lequel évolue un véhicule 1, qui est ici un véhicule blindé à roues équipé d'une tourelle 2 portant un système d'arme 3.

On a représenté sur la figure 1 le pilote 4 du véhicule qui a la tête sortie hors de l'habitacle ainsi qu'un autre occupant 5 du véhicule, tel que le chef de véhicule ou le tireur, qui a lui aussi la tête sortie hors de la tourelle 2.

Deux fantassins armés 6 et 7 évoluent sur le terrain.

Chaque fantassin est équipé d'une arme individuelle 8 et il porte un boîtier 9 qui renferme un moyen de calcul portatif associé à des moyens de communication dont on a représenté schématiquement une antenne 10. Les moyens de communication permettent à chaque fantassin 6,7 d'échanger avec les autres fantassins ainsi qu'avec les occupants du véhicule 1. De tels moyens de communication sont bien connus. Ils utilisent généralement les ondes hertziennes et associent les échanges de voix et de données.

Chaque fantassin est également équipé d'un dispositif d'observation 26 comportant un moyen d'observation à réalité augmentée 11 qui est schématisé ici sous la forme de lunettes à vision augmentée.

Ces moyens d'observation à réalité augmentée sont couplés aux moyens de calcul placés dans le boîtier 9 et ils permettent en particulier de faire apparaître, en superposition à la vision du terrain, des images ou des informations relatives à la mission en cours, informations qui sont envoyées par les autres fantassins ou par les occupants du véhicule.

Conformément à l'invention, le dispositif d'observation

26 comporte un moyen d'observation à réalité augmentée 11 qui est solidaire d'une platine support 12, platine qui porte également, fixée d'une façon rigide, au moins une caméra 13 permettant d'observer l'espace autour de l'utilisateur considéré.

Sur la figure 1 on a schématisé la platine support 12 par un casque porté par chaque utilisateur. La ou les caméras 13 sont fixées au sommet du casque.

La caméra ou le groupe de caméras est défini de façon à assurer un champ d'observation 14 de cette ou ces caméras 13 qui a une couverture angulaire qui est sensiblement de 360° autour de l'utilisateur. On pourra choisir des caméras grand champ (donc à objectif grand angle) mais on pourra aussi choisir des caméras ayant un angle d'objectif plus réduit, il faut alors augmenter le nombre de caméras pour assurer la couverture angulaire souhaitée (360°) .

Pour des raisons technologiques, cette couverture de 360° pourra n'être effective qu'à une distance donnée de l'utilisateur (par exemple d'au moins un mètre) . En particulier, lorsque l'utilisateur porte plusieurs caméras 13 réparties autour du casque, il y aura des zones aveugles mais uniquement à proximité de l'utilisateur, les champs des caméras se recoupant à distance pour assurer la couverture de 360°. Concrètement les champs sont choisis suffisamment larges pour qu'une caméra 13 assure toujours l'observation d'au moins une partie d'une plateforme de référence constituée ici par le véhicule 1 comme cela sera décrit par la suite.

Sur la figure 1, les secteurs angulaires 14 représentés sont une coupe de la couverture spatiale réelle qui a une forme sensiblement sphérique et couvre donc bien 360° autour de l'utilisateur. Les zones aveugles orientées vers le haut et vers le bas ne sont pas gênantes opérâtionnellement . On remarque sur la figure 1 que le pilote 4 et le chef 5 du véhicule sont eux aussi équipés de dispositif d'observation 26 qui comportent des moyens d'observation à réalité augmentée 11, dispositifs identiques à ceux des fantassins 6 et 7.

Les figures 2 et 3 montrent de façon plus détaillées la structure du dispositif d'observation 26 selon l'invention qui est solidaire du casque.

Sur ces figures, le casque n'est pas représenté mais on a repéré la platine 12 qui assure le support des moyens d'observation 11 et des caméras 13. Suivant l'exemple représenté, la platine 12 porte quatre caméras 13, régulièrement réparties angulairement autour d'un axe vertical 15, de façon à assurer un recouvrement sur 360° de leurs champs d'observation.

On a aussi schématisé sur la figure 2 le boîtier 9 renfermant le moyen de calcul 16 incorporant une mémoire 17, et le moyen de communication 18.

Pour simplifier l'exposé on a représenté sur les figures des moyens de calcul 16 logés dans un boîtier 9 porté par le fantassin. Il est bien entendu que les moyens de calculs pourraient être structurellement disposés ailleurs que dans un boîtier dédié 9, par exemple ils pourraient être portés par la platine 12 solidaire du casque (ainsi d'ailleurs que le moyen de communication 18) . Ils pourraient même être incorporés aux circuits électroniques associés aux caméras 13. Ces moyens de calcul restent « portatifs » car ils sont dans tous les cas portés par l'utilisateur considéré.

Le moyen d'observation à réalité augmentée 11 comporte au moins un collimateur 19 de projection et au moins une lame semi transparente 20 qui sont solidaires de la platine 12.

D'une façon classique le collimateur 19 permet d'afficher une image sur la lame semi transparente 20 qui lui est associée .

Le dispositif d'observation 26 représenté ici comporte deux lames semi transparentes 20, une positionnée devant chaque œil 21 de l'utilisateur. Il comporte aussi deux collimateurs de projection 19, un devant chaque lame 20. Les lames 20 sont fixées de façon rigide par rapport à la platine 12 et il en est de même des collimateurs 19. Le recours à deux lames semi-transparentes permet d'assurer une vision stéréoscopique de l'espace et les images projetées par les deux collimateurs seront adaptées de façon à donner à l'utilisateur une image en relief.

D'une façon classique, chaque collimateur 19 permet donc d'afficher sur la lame semi transparente 20 qui lui est associée des informations qui sont fournies par le moyen de calcul 16 et qui viennent compléter la vision que l'utilisateur a de son espace ambiant.

En particulier, et conformément au procédé selon l'invention, les collimateurs 19 permettront de projeter sur les lames 20 une image qui est ici un réticule virtuel 22 qui permettra de localiser un objectif. La platine 12 constitue un support mécanique rigide qui permet de fixer les positions et orientations angulaires relatives des caméras 13, des collimateurs 19 et des lames semi transparentes 20.

Cette platine 12 matérialise donc un repère d'orientation des moyens d'observation 11 de l'utilisateur dans l'espace, ou repère utilisateur (RU) .

Il est bien entendu possible d'afficher sur les lames semi transparentes 20 d'autres images que celles d'un réticule virtuel, par exemple des images en relief et agrandies d'un objectif et qui sont envoyées par la plateforme, cela par exemple pour faciliter des opérations de reconnaissance du terrain, ou des informations associées à un élément ou objet présent sur le terrain.

Le but du procédé selon l'invention est de permettre de transmettre à un utilisateur, de façon dynamique et via les moyens de communication 18, une information de localisation d'un objectif (par exemple une cible) sans qu'il soit nécessaire de connaître précisément les coordonnées de la direction d'observation de l'utilisateur.

Pour cela et conformément à l'invention on va considérer une plateforme de référence, ici le véhicule 1, qui est positionnée sur le terrain et qui possède donc un repère d'orientation dans l'espace RM dénommé par la suite repère maître (voir la figure 1) .

Par ailleurs, par conception du dispositif d'observation 26, et comme suite à la rigidité des liaisons entre les caméras 13 et les moyens d'observation 11 qui est assurée par la platine 12, on pourra définir pour un premier utilisateur (par exemple le fantassin 6) un premier repère d'orientation utilisateur dans l'espace ou premier repère utilisateur RU1. Ce premier repère utilisateur est associé au dispositif d'observation 26 du premier utilisateur 6 (voir la figure 1), donc aussi à son moyen d'observation 11. La plateforme ou véhicule 1 est équipée d'au moins un moyen d'observation maître 23 qui est couplé à un moyen de désignation d'objectif (ici incorporé au moyen d'observation maître 23 ) .

Les moyens de désignation d'objectifs sont bien connus de l'Homme du Métier. Ils comprennent généralement un télémètre, par exemple laser et des moyens de calcul de l'orientation d'une ligne de visée LV par rapport au repère maître RM. Ces moyens permettent de déterminer les coordonnées d'un objectif 24 dans le repère maître RM.

Ces coordonnées sont alors exploitables par tous les écrans de visualisation présents dans le véhicule 1 et il est possible de positionner un objectif visé sur ces écrans dont l'orientation est connue par rapport au véhicule 1.

Conformément à l'invention on transmet tout d'abord

(étape A) au premier utilisateur 6, via les moyens de communication 18, les coordonnées de l'objectif 24 dans le repère maître RM. Bien entendu le véhicule est lui-même équipé de moyens de communication (par exemple utilisant les ondes hertziennes) qui lui permettent de transmettre ces coordonnées au premier utilisateur. On a schématisé figure 1 par le bloc 18a les moyens de communication du véhicule associés à une antenne 10a.

Parallèlement, et de façon permanente, la ou les caméras 13 portées par le premier utilisateur 6 permettent d'observer la plateforme 1 de référence.

Des algorithmes appropriés permettent de transformer les images de la plateforme de référence 1 en un modèle numérique instantané de cette plateforme (étape B) .

On a mis par ailleurs dans la mémoire 17 du moyen de calcul 16 porté par le premier utilisateur un modèle numérique réel de la plateforme. Ce modèle numérique est issu de la conception assistée par ordinateur de la plateforme. C'est un modèle en trois dimensions qui n'est expurgé que des données de la plateforme qui ne sont pas visibles de l'utilisateur (formes cachées).

Ce modèle numérique incorpore bien sûr les éléments dimensionnels du véhicule réel, ce qui permettra de déterminer une distance entre l'utilisateur et le véhicule à partir de l'image d'un véhicule d'une taille donnée.

On procède donc (étape C) à une comparaison de la géométrie de la plateforme 1 ainsi observée (modèle numérique instantané) avec le modèle de référence qui a été mis dans une mémoire 17 du moyen de calcul portatif 16.

Cette comparaison permet, à l'aide d'algorithmes de comparaison, d'en déduire tout à la fois l'orientation des axes du premier repère utilisateur RU1 par rapport au repère maître RM (angles des axes) et la localisation du premier repère RU1 par rapport au repère maître RM (position du centre du premier repère RU1 dans le repère maître RM) . Cette comparaison met en œuvre des algorithmes de comparaison d'image connus sous le nom d'algorithmes SLAM, acronyme de la dénomination anglo saxone : Simultaneous Localization And Mapping (localisation et cartographie automatique). Ces algorithmes sont bien connus de l'Homme du Métier et il n'est pas nécessaire de les décrire en détails. On notera qu'ils procèdent à des comparaisons d'images en mettant en œuvre de techniques de filtrage (filtrage de Kalman, filtrage probalistique) afin de déterminer les modifications d'orientation des axes nécessaires pour obtenir la meilleure correllation . Il est ainsi possible à tout moment de déterminer les coordonnées du premier repère utilisateur RU1 dans le repère maître RM et il est aussi possible de connaître les orientations des axes du première repère utilisateur RU1 par rapport aux axes du repère maître RM.

Il est ensuite aisé (étape D) de calculer les coordonnées de l'objectif 24 dans le premier repère utilisateur RU1. Ce qui permet d'afficher sur le moyen d'observation à réalité augmentée 11 du premier utilisateur un réticule virtuel 22 permettant de localiser l'objectif 24.

Bien entendu, il sera nécessaire dans un premier temps de calibrer le moyen d'observation 11 du dispositif d'observation 26 aux caractéristiques morphologiques d'un utilisateur (écartement des yeux, distance des yeux aux lames semi réfléchissantes, distances entre les lames et les caméras) . Le modèle numérique issu de la CAO est suffisamment précis pour assurer une robustesse de la localisation, même à partir d'une vision partielle de la plateforme 1 par l'utilisateur. Ce modèle permet par ailleurs de ne pas être perturbé par la présence d'obstacles entre l'utilisateur et la plateforme, obstacles masquant partiellement et temporairement la plateforme (par exemple d'autres utilisateurs interposés dans le champ de vision) .

L'invention permet ainsi de s'affranchir complètement du recours à une plateforme inertielle solidaire de la platine 12. La précision de localisation est excellente puisque la précision des modèles numériques issus de la CAO permet de déterminer les coordonnées de la ligne de visée maître LV avec un écart angulaire inférieur à quelques milliradians.

L'invention permettant la localisation de tout utilisateur par rapport au véhicule 1, il est également possible de réaliser une désignation d'une cible 25 non plus à partir du véhicule 1 lui-même mais à partir d'un autre utilisateur, par exemple le fantassin 7 qui est lui aussi équipé d'un dispositif d'observation 26 selon l'invention, donc comportant un moyen d'observation 11 couplé à un moyen de calcul portatif 16 et associé à des moyens de communication 18. Ce second utilisateur 7 est équipé par ailleurs de moyens lui permettant de désigner un objectif par exemple un désignateur laser ou un moyen passif mettant en œuvre les procédés de triangulation.

Le second utilisateur 7 déterminera ainsi les coordonnées de sa propre ligne de visée LV2 d'un objectif 25 dans son propre repère utilisateur RU2.

Ce second utilisateur 7 connaît l'orientation et la localisation de son repère RU2 dans le repère maître RM car il observe en permanence le véhicule 1 à l'aide de ses caméras 13 et les algorithmes assurent, comme décrit précédemment par corrélation d'images, la localisation et l'orientation du repère RU2 par rapport au repère RM.

Le second utilisateur 7 va donc pouvoir transmettre au premier utilisateur 6 les coordonnées du nouvel objectif 25 dans le repère maître RM.

Le premier utilisateur 6 va ensuite mettre en œuvre le procédé selon l'invention pour calculer, comme décrit précédemment, les coordonnées du nouvel objectif 25 dans son propre repère RU1.

Dans tous les cas ce qui est essentiel c'est la possibilité pour chaque utilisateur d'observer le véhicule 1 à l'aide de ses caméras 13. Il peut ensuite se localiser dans l'espace et le repère maître RM sert de référence à tous les utilisateurs débarqués et répartis autour du véhicule. Les performances des systèmes optiques actuels permettent ainsi une localisation jusqu'à des distances de l'ordre de quelques dizaines de mètres du véhicule avec la précision de localisation souhaitée.

Selon une caractéristique de l'invention, il n'est pas nécessaire que l'utilisateur voie tout le véhicule. Il suffit qu'il ait dans son champ de vision une partie significative de celui ci pour que les algorithmes de SLAM puissent se mettre en œuvre. Comme on l'a représenté à la figure 1, aussi bien le pilote 4 que le chef (ou le tireur) 5 sont également équipés de dispositifs d'observation 26 comportant des moyens d'observation à réalité augmentée 11 identiques à ceux des fantassins 6 et 7. Une telle disposition permet à un membre d'équipage de visualiser lui aussi sur ses moyens d'observation 11 la ou les cibles qui sont désignées par un utilisateur, et cela que le membre d'équipage soit dans l'habitacle (et observe le terrain au travers de ses voies optiques) ou bien la tête sortie.

Afin d'assurer une continuité des fonctions de désignation quelle que soit la position entrée ou sortie d'un utilisateur occupant le véhicule, on incorporera donc en mémoire non seulement un modèle numérique de la géométrie externe de la plateforme mais également un modèle numérique au moins partiel de la géométrie interne du véhicule. Le modèle de la géométrie interne se limitera pour l'essentiel à la géométrie interne de l'habitacle vue par l'opérateur, en exluant les parties du véhicule non accessibles à la vision, cela afin d'alléger le modèle numérique mis en mémoire.