Titre de l’invention : PROCEDE ET DISPOSITIF DE GENERATION DE DONNEES D’APPRENTISSAGE POUR MACHINE D’INTELLIGENCE ARTIFICIELLE POUR L’AIDE A G ATTERRISSAGE D’AERONEF

[0001] L’invention concerne le domaine général des systèmes d’aide à l’atterrissage pour aéronefs, et en particulier elle propose un procédé et un dispositif pour générer des données d’apprentissage pouvant être utilisées par une machine d’intelligence artificielle à apprentissage profond pour la reconnaissance d’une piste d’atterrissage.

[0002] En particulier, l’invention adresse le problème de la reconnaissance d’une piste d’atterrissage par conditions météorologiques difficiles, tel que du brouillard par exemple, amenant une visibilité réduite ou dégradée.

[0003] Les normes aériennes imposent des règles d’obtention de visibilité pendant la phase d’atterrissage. Ces règles se traduisent par des seuils de décision qui se réfèrent à l’altitude de l’avion lors de sa phase de descente. A chacun de ces seuils, des repères visuels identifiés doivent être obtenus pour poursuivre la manoeuvre d’atterrissage, sans quoi elle doit être abandonnée. Les manoeuvres d’atterrissage abandonnées représentent un réel problème pour la gestion du trafic aérien et pour la planification des vols. Il faut estimer avant le décollage la capacité à pouvoir atterrir à destination sur la base de prévisions météorologiques, plus ou moins fiables, et le cas échéant prévoir des solutions de repli.

[0004] Aussi le problème de l’atterrissage des aéronefs par conditions de visibilité réduite, outre l’identification visuelle faite par le pilote dans des données capteur, a fait l’objet du développement de plusieurs approches, comme le système d’atterrissage aux instruments ILS (« Instrument Landing System » en anglais), le système SVS (« Synthetic Vision System » en anglais), la technique de vision augmentée dite EVS ou EFVS (« Enhanced (Flight) Vision System » en anglais) ou encore les systèmes de visualisation CVS (« Combined Vision Systems » en anglais).

[0005] Les systèmes EVS, EFVS et CVS reposent sur la présentation d’une image capteur au pilote et l’identification par celui-ci de la piste d’atterrissage et sont basés sur des capteurs regardant vers l’avant de l’aéronef apportant une capacité de détection accrue par rapport à l’œil du pilote, en particulier par conditions de visibilité dégradée. Cependant ce type de capteur ne permet pas de détecter systématiquement par visibilité dégradée la piste d’atterrissage avant les minima réglementaires, typiquement avant que l’aéronef soit sous une hauteur de 200ft au- dessus du seuil de piste pour une approche ILS de catégorie I.

[0006] Des capteurs dits passifs, comme les capteurs IR dans le domaine infrarouge reposent sur le rayonnement infrarouge parasite de lampes présentes au voisinage de la piste. Pour des soucis de durabilité des lampes et donc de coûts, la tendance actuelle est au remplacement des lampes à incandescence par les lampes à LED.

Ces dernières ont un spectre moins étendu dans le domaine infrarouge. Un effet collatéral est donc de provoquer une obsolescence technique des systèmes EVS à base de capteurs infrarouge.

[0007] Une alternative aux senseurs infrarouges est l’obtention d’images par un capteur dit actif comme un senseur radar, en bande centimétrique ou millimétrique. Certaines bandes de fréquence choisies en dehors des pics d’absorption de la vapeur d’eau présentent une sensibilité très faible aux conditions météorologiques difficiles. De tels senseurs permettent donc de produire une image au travers de brouillard par exemple. Cependant, même si ces capteurs ont une résolution en distance fine, ils présentent une résolution angulaire bien plus grossière que les solutions optiques. La résolution est directement liée à la taille des antennes utilisées, et elle est souvent trop grossière pour obtenir une image facilement interprétable par le pilote pour servir de guidage.

[0008] L’émergence de l’usage de capteurs actifs, comme par exemple les LIDAR (« Light Détection and Ranging » en anglais) ou les radars millimétriques, qui sont capables de détecter la piste d’atterrissage de plus loin et par quasiment n’importe quelles conditions de visibilité, amène de bien meilleurs résultats que les capteurs passifs comme les caméras IR. Cependant, les données issues de tels capteurs actifs ne permettent pas de générer une image nette et facilement interprétable comme l’est une image IR. Il se pose alors le problème de l’identification de la piste par le pilote, dans des données capteurs notamment issues de capteurs actifs regardant vers l’avant de l’aéronef. [0009] Des solutions de traitement d’images dédient la tâche d’identification de la piste à un algorithme plutôt qu’au pilote.

[0010] Les traitements d’images actuels utilisent des algorithmes conventionnels (détection de droites, de coins, ...) pour identifier la piste. Or la reconnaissance d’une piste d’atterrissage dans une image capteur par mauvaise visibilité peut manquer de fiabilité avec les algorithmes conventionnels. En effet, chaque météo dégradée est particulière et certaines conditions peuvent rendre inefficace les algorithmes de détection de piste. Il en résulte alors une performance réduite des calculateurs de pilotage ou d’affichage qui utilisent de l’imagerie pour les opérations aériennes.

[0011] Des approches récentes pour améliorer les algorithmes de traitement d’images pour les opérations aériennes liées à l’atterrissage lors de conditions météorologiques mauvaises amenant une visibilité réduite ou dégradée, mettent en oeuvre des algorithmes à base de réseau de neurones artificiels.

[0012] Un réseau de neurones artificiels ou réseau neuronal artificiel, est un système dont la conception est à l'origine schématiquement inspirée du fonctionnement des neurones biologiques, et qui par la suite s'est rapproché des méthodes statistiques. Les réseaux de neurones sont généralement optimisés par des méthodes d’apprentissage automatique.

[0013] Ainsi, la large majorité des réseaux de neurones artificiels possède un algorithme d’apprentissage ou d’entrainement, qui consiste à modifier des poids synaptiques en fonction d’un jeu de données présentées en entrée du réseau. Le but de cet entraînement est de permettre au réseau de neurones d'apprendre à partir des exemples et de produire des modèles d’intelligence artificielle entraînés.

[0014] L’apprentissage profond (« Deep Learning » en anglais) fait partie de la famille des méthodes d'apprentissage automatique. L’apprentissage profond automatique doit être effectué sur des bases de données suffisamment grandes, capables d'entraîner des systèmes de grandes tailles. De nouvelles données peuvent être ajoutées à la base d’apprentissage en permanence pour affiner l’apprentissage.

[0015] La méthode classique de génération de bases de données d’apprentissage pour les algorithmes basés sur une intelligence artificielle de type apprentissage profond consiste à utiliser des données réelles, qui sont labélisées manuellement ou avec des outils peu automatisés, afin de générer une vérité-terrain VT (« ground truth » en anglais).

[0016] Un des fondements de réussite de l’apprentissage profond est la constitution d’une large base de données d’apprentissage. Or, dans le contexte de l’invention où les données d’apprentissage proviennent d’images capteurs réelles, la problématique est la variabilité des conditions, et réside dans la difficulté à obtenir un grand nombre d’images capteur pour différentes approches sur différentes pistes, avec différentes rampes lumineuses d’approches, par différentes conditions météorologiques et pour différents aéronefs.

[0017] Par ailleurs, un autre frein à l’enrichissement des bases de données d’apprentissage dans le contexte de l’invention, est le coût des vols pour collecter des images, faisant que le nombre de vols reste très limité.

[0018] Par conséquent la banque d’images qui regroupe l’ensemble des images capteur collectées reste actuellement de taille trop réduite.

[0019] Or, le volume d’une telle banque d’images doit atteindre un seuil suffisant pour que le contenu (les données d’apprentissage) soit fiable tant en termes de précision qu’en termes de couverture géographique.

[0020] Un objet de l’invention est alors de répondre aux besoins précités et de pallier les inconvénients des techniques connues.

[0021] Aussi, l’invention propose une solution pour générer des données d’apprentissage labélisées, qui peuvent être utilisées par un algorithme de traitement d’images par apprentissage profond afin de générer des modèles d’intelligence artificielle entraînés, qui sont embarqués dans des systèmes d’aide à l’atterrissage d’aéronef.

[0022] A cet effet, l’invention a pour objet une solution de génération automatique de données d’apprentissage ayant pour but d’entraîner une intelligence artificielle à reconnaître une piste d’atterrissage pour aéronef par conditions de visibilité dégradées.

[0023] Ainsi avantageusement, des images obtenues par un générateur d’images synthétiques selon le procédé de l’invention, peuvent être utilisées seules ou ajoutées à une banque d’images réelles comme données d’apprentissage additionnelles.

[0024] Le principe général de l’invention repose sur l’utilisation d’un simulateur de vol associé à un simulateur de capteur configuré pour fournir des données capteur simulées, ainsi que sur l’utilisation d’un générateur automatique de données labélisées configuré pour masquer dans les données labélisées, les parties qui sont sans information dans les données capteur simulées correspondantes.

[0025] Avantageusement, les données simulées provenant d’images capteurs simulées et mises à disposition dans une base de données d’apprentissage sont utilisées pour entraîner différents algorithmes d’intelligence artificielle de classification et de détection, notamment des algorithmes à base de réseaux de neurones profonds.

[0026] Dans un mode de réalisation, l’algorithme d’intelligence artificielle pour l’apprentissage profond est basé sur un réseau de neurones convolutionnels CNN (« Convolutional Neural Network » en anglais).

[0027] Avantageusement, une base de données d’apprentissage constituée avec des images capteurs simulés et/ou réelles peut être utilisée pour valider la robustesse ou la faiblesse de différents algorithmes d’apprentissages vis-à-vis de différents scénarios (« use cases » en anglais) considérés comme problématiques, en permettant de faire tourner en parallèle différents algorithmes sur le jeu de données et de détecter sur les résultats fournis des écarts trop importants entre les différents algorithmes.

[0028] Ainsi, le dispositif (et le procédé) de l’invention en simulant plus de conditions différentes qu’il n’est possible avec uniquement des données réelles, permet de générer une base de données d’apprentissage bien plus volumineuse, et ainsi augmenter considérablement la capacité de détection d’un système de reconnaissance de piste d’atterrissage utilisant des modèles entraînés qui sont obtenus à partir de la base de données d’apprentissage constituée selon l’invention.

[0029] La présente invention trouvera de nombreux domaines d’application et notamment des applications pour la détection de piste, de contour de piste, de rampe lumineuse, de rampes d’approche. [0030] Pour obtenir les résultats recherchés, il est proposé un procédé mis en oeuvre par ordinateur pour générer des données d’apprentissage labélisées pour une machine d’intelligence artificielle, le procédé comprenant au moins les étapes de : définir des paramètres pour un scénario d’approche d’un aéronef vers une piste d’atterrissage ; utiliser les paramètres du scénario dans un simulateur de vol pour générer des données de vol simulées, ledit simulateur de vol étant configuré pour simuler ledit aéronef en phase d’approche et un pilote automatique associé; utiliser les données de vol simulées dans un simulateur de capteur pour générer des données capteur simulé, ledit simulateur de capteur étant configuré pour simuler un capteur regardant vers l’avant embarqué dans un aéronef et apte à fournir des données capteur représentatives d’informations d’intérêt d’une piste d’atterrissage, lesdites données capteur simulé qui sont générées étant représentatives d’informations d’intérêt de ladite piste d’atterrissage ; et utiliser les données de vol simulées et les données capteur simulé pour générer une vérité-terrain, ladite vérité-terrain associée aux données capteur simulé formant un couple de données d’apprentissage labélisées simulées.

[0031] Selon des modes de réalisation alternatifs ou combinés :

-l’étape de définition de paramètres de scénario consiste à définir des paramètres relatifs à au moins une piste d’atterrissage donnée, des conditions météorologiques, des conditions d’environnement.

-l’étape de générer des données de vol simulées consiste à simuler différentes trajectoires d’approche de l’aéronef simulé et du pilote automatique avec les paramètres de scénario, et à générer des données de vol simulées pour les différentes trajectoires comprenant la position (latitude, longitude, altitude) et l’attitude (lacet, tangage, roulis) de l’aéronef simulé.

-l’étape de générer des données capteur simulé consiste à générer des images infra rouge ou des données radar simulées.

-l’étape de générer une vérité-terrain consiste à :

- générer une vérité-terrain de premier niveau comprenant des données de labélisation représentatives de caractéristiques de la piste d’atterrissage simulée, sans restriction de visibilité ;

-détecter la limite de visibilité par l’identification de zones sans visibilité dans les données capteur simulé ; et

-corriger la vérité-terrain de premier niveau avec les zones sans visibilité identifiées pour générer ladite vérité-terrain.

-l’étape de détection de limite de visibilité consiste à mettre en oeuvre un algorithme de détection de limite de visibilité sur chaque ensemble de données capteur simulé -le procédé comprend de plus une étape consistant à générer une image de contrôle de la vérité-terrain corrigée par fusion de chaque ensemble de données vérité-terrain avec les données capteur simulé correspondantes.

-les données de vol et les données capteur sont des données réelles et l’étape de génération de vérité-terrain comprend avant l’étape de génération de la vérité-terrain de premier niveau, des étapes consistant à calculer les erreurs de positionnement lors de l’atterrissage dans les données de vol réel et à les prendre en compte pour générer la vérité-terrain de premier niveau.

-le procédé comprend de plus une étape consistant à stocker les données d’apprentissage labélisées simulées dans une base de données d’apprentissage.

[0032] L’invention couvre aussi un produit programme d’ordinateur comprenant des instructions de code permettant d’effectuer les étapes du procédé revendiqué, lorsque le programme est exécuté sur un ordinateur.

[0033] L’invention couvre de plus un dispositif pour générer des données d’apprentissage labélisées pour une machine d’intelligence artificielle, le dispositif comprenant des moyens pour mettre en oeuvre les étapes du procédé revendiqué selon l’une quelconque des revendications.

[0034] D’autres caractéristiques, détails et avantages de l’invention ressortiront à la lecture de la description faite en référence aux dessins annexés donnés à titre d’exemple et qui représentent, respectivement :

[0035] [Fig.1 ] une architecture générale d’un système de génération de modèle d’intelligence artificielle entraîné pour la reconnaissance de piste et de rampe d’approche, utilisant une base de données d’apprentissage constituée selon un mode de réalisation de l’invention ;

[0036] [Fig.2] un schéma d’un dispositif de génération d’images synthétiques selon un mode de réalisation de l’invention ; [0037] [Fig.3] un procédé pour générer une vérité-terrain selon un mode de réalisation de l’invention ; et

[0038] [Fig.4a]

[0039] [Fig.4b]

[0040] [Fig.4c]

[0041] [Fig.4d]

[0042] [Fig. 4e] un exemple de génération d’une image de contrôle de la vérité-terrain selon un mode de réalisation de l’invention.

[0043] La figure 1 illustre une architecture générale d’un système 100 de génération de modèle d’intelligence artificielle entraîné pour la reconnaissance de piste d’atterrissage, utilisant une base de données d’apprentissage constituée selon un mode de réalisation de l’invention.

[0044] Le système 100 comprend généralement une base de données d’apprentissage 102 couplée à un module d’analyse d’images 104 configuré pour mettre en oeuvre un algorithme d’intelligence artificielle d’apprentissage profond et générer des modèles d’intelligence artificielle (modèles d’IA) entraînés.

[0045] La base de données d’apprentissage 102 doit contenir un très grand nombre de données représentant un maximum de situations possibles, englobant différentes approches sur différentes pistes avec différentes rampes lumineuses d’approches pour différentes conditions météorologiques. Afin de mettre en oeuvre un procédé d’apprentissage profond et apprendre à reconnaître la piste d’atterrissage dans les données, la base de données d’apprentissage constituée selon les principes de l’invention comprend des données d’apprentissage simulées comme étant une pluralité de jeux de données labélisées, où chaque jeu de données labélisées correspond à un couple (données capteur simulé, vérité-terrain VT).

[0046] Les données capteur simulé correspondent à une pluralité d’images issues de différents capteurs simulés (IR, Radar) associées respectivement à une vérité-terrain.

[0047] Pour des données capteur simulé issues d’images IR synthétiques, la vérité- terrain est une image de référence, contenant des informations d’intérêt comme la piste d’atterrissage et la rampe d’approche. [0048] Pour des données capteur simulé issues d’un radar, la vérité-terrain est un ensemble de données radar de référence contenant des informations d’intérêt comme une piste d’atterrissage et une rampe d’approche.

[0049] Afin d'évaluer la performance d’un algorithme de classification, le résultat d’une opération de segmentation d’une image en entrée d’un classificateur est comparé avec la vérité-terrain.

[0050] Les données d’apprentissage simulées de la base d’apprentissage 102 sont fournies par un dispositif 112 apte à générer des données simulées (images IR synthétiques et/ou données radar) et leur vérité-terrain associée.

[0051] Dans un mode de réalisation, des données d’apprentissage réelles peuvent être ajoutées à la base de données d’apprentissage simulées pour augmenter le jeu de données d’apprentissage. Les données d’apprentissage réelles sont issues de capteurs équipant des aéronefs, qu’il s’agisse d’images dans le visible, dans l’infra rouge ou de données radar.

[0052] Dans un mode de réalisation, les images réelles sont fournies par une multitude de capteurs différents équipant une pluralité d’aéronefs effectuant soit des vols réels, soit des vols dédiés à la prise d’images, chaque image étant associée à des paramètres du vol correspondant, et notamment les paramètres de position 3D et d’orientation 3D de l’appareil au moment de la prise de vue.

[0053] Les données d’apprentissage réelles peuvent provenir d’une communauté de fournisseurs d’images 110, qui au sens de la présente invention s’entend comme un ensemble de dispositifs où chaque dispositif est apte à fournir une/des images capteurs réelles. La communauté de fournisseurs d’images peut être une flotte d’aéronefs, un aéronef au sens de la présente invention prenant une définition générique couvrant tout engin volant, que ce soit un avion, un hélicoptère, un drone, un ballon, qu’il soit piloté ou non.

[0054] Revenant à la figure 1 , le module d’analyse d’images 104 est configuré pour mettre en oeuvre un algorithme d’apprentissage profond sur des jeux de données d’apprentissage récupérés de la base de données d’apprentissage 102, et générer des modèles d’intelligence artificielle (modèles IA) entraînés qui peuvent être embarqués à bord d’aéronefs. [0055] Dans un mode de réalisation, le module d’analyse d’images de l’invention 104 met en oeuvre un algorithme d’apprentissage profond pour la détection de piste et de rampe. Dans un mode de réalisation avantageux, l’algorithme est basé sur un réseau de neurones convolutionnels CNN.

[0056] Dans le domaine de la vision par ordinateur, l’objectif de l’apprentissage profond est de modéliser avec un haut niveau d’abstraction les données. De manière synthétique, il y a deux phases : une phase d’apprentissage et une phase d’inférence. La phase d’apprentissage permet de définir un modèle d’IA entraîné qui répond au besoin opérationnel. Ce modèle est ensuite utilisé dans le contexte opérationnel lors de la phase d’inférence. La phase d’apprentissage est donc primordiale. Afin d’obtenir le meilleur modèle, la phase d’apprentissage nécessite d’avoir constitué une large base de données d’apprentissage qui soit la plus représentative du contexte opérationnel.

[0057] Un bon apprentissage définit un modèle prédictif qui s’adapte bien aux données d’apprentissage mais qui est aussi capable de bien prédire sur des données non vues lors de l’apprentissage. Si le modèle ne s’adapte pas aux données d’apprentissage, le modèle souffre de sous-apprentissage. Si le modèle s’adapte trop bien aux données d’apprentissage et n’est pas capable de généraliser, le modèle souffre de sur-apprentissage. Ainsi à partir des nombreuses images labélisées de la base d’apprentissage 102, la phase d’apprentissage permet de chercher les meilleurs hyper-paramètres de l’architecture qui modélisent le mieux les différents labels (piste/rampe). A chaque itération, le réseau neuronal propage (i.e. extraction/ abstraction des caractéristiques propres aux objets d’intérêts) et estime la présence et la position des objets. A partir de cette estimation et de la vérité-terrain, l’algorithme d’apprentissage calcule une erreur de prédiction et rétropropage l’erreur dans le réseau afin de mettre à jour les hyper-paramètres du modèle. Une phase d’apprentissage comporte de nombreuses itérations sur les différentes données d’apprentissage afin de converger vers une erreur faible et une précision forte du modèle IA.

[0058] La figure 2 montre un schéma d’un dispositif 200 de génération de données d’apprentissage labélisées selon un mode de réalisation de l’invention, qui comprend plusieurs modules dont un générateur de scénario 202, un simulateur de vol 204, un simulateur de capteur 206 et un générateur de vérité-terrain 208. [0059] Dans un mode de réalisation, le dispositif de génération de données d’apprentissage labélisées 200 est implémenté dans un ordinateur 112 qui comprend au moins un processeur, une mémoire configurée pour stocker des instructions de code de différents programmes dont des instructions de code pour permettre l’exécution des fonctions logiques des différents modules du dispositif 200 exécutables par le processeur selon un système d’exploitation, un module de stockage, des interfaces I/O d’entrée/sortie vers des périphériques, des bus d’interconnexion, tels que connu.

[0060] Le dispositif de l’invention 200 peut ainsi s’implémenter à partir d’éléments matériels et/ou logiciels. Il peut être disponible sur un support lisible par ordinateur en tant que produit programme d’ordinateur, exécutable par un processeur qui comprend des instructions pour exécuter les étapes des procédés dans leurs différents modes de réalisation.

[0061] Le dispositif de l’invention 200 est configuré pour générer des images synthétiques avec une vérité-terrain associée, qui peuvent être ajoutées comme données d’apprentissage à une base de données d’apprentissage 102.

[0062] Le simulateur de vol 204 est configuré pour simuler un type d’aéronef avec un pilote automatique (PA) associé, le tout formant un module Vol/PA logiciel configuré pour simuler des trajectoires réalistes d’approches sur différentes pistes d’atterrissage et par différentes conditions météorologiques. Les facteurs météorologiques dimensionnant sont les conditions de visibilité qui vont conditionner le rendu graphique de la rampe et de la piste ainsi que le vent et les turbulences qui vont influencer l’orientation et la stabilité du capteur simulé par rapport à la piste d’atterrissage.

[0063] Avantageusement, le module Vol/PA 204 peut être configuré pour réaliser successivement un nombre déterminé d’approches en faisant varier différents paramètres, comme par exemple la piste sur laquelle l’aéronef va se poser, la direction et la force du vent, le niveau de turbulence.

[0064] Pour cela, le module de génération de scénario 202 permet d’initialiser automatiquement le module Vol/PA 204 en début d’approche avec des paramètres d’initialisation 203 pour une piste d’atterrissage donnée, une météo donnée et des paramètres initiaux de l’aéronef. Le module de vol associé au pilote automatique réalise l’approche complète jusqu’à l’atterrissage avec les paramètres initiaux puis le module de génération de scénario réinitialise le module de vol avec de nouvelles conditions 203. Ainsi avantageusement, le module Vol/PA 204 peut être configuré pour réaliser automatiquement un très grand nombre d’approches avec de multiples conditions initiales.

[0065] Dans un mode de réalisation, le générateur de scénario 202 est configuré pour paramétrer des conditions de l’environnement, comme par exemple l’heure et la date qui permettent de positionner le soleil ou de simuler des conditions de nuit, ainsi que la visibilité, le brouillard, la pluie, ...

[0066] Dans un mode de réalisation, des paramètres quant à la position du seuil de piste sont des données d’entrée du module Vol/PA afin de simuler des approches légèrement décalées latéralement et/ou longitudinalement à la piste telle que cela pourrait se produire en pilotage manuel ou avec un faisceau ILS légèrement décalé biaisé ou avec une approche LPV avec une petite erreur de localisation GPS. La position du seuil de piste est paramétrée dans le module Vol/PA via le module de génération de scénario 202 (et pas dans le simulateur de capteur), le pilote automatique guidant ainsi l’aéronef vers la piste décalée fournissant une vue sous un angle légèrement différent de la piste que par les données capteur.

[0067] Le simulateur de vol 204 génère des données de vol simulées 205 pour un type d’aéronef simulé. Les données de vol qui sont la position (latitude, longitude, altitude) et l’attitude (lacet, tangage, roulis) de l’aéronef, deviennent les paramètres d’entrée du simulateur de capteur 206 et du générateur de vérité-terrain 208.

[0068] Le simulateur de capteur 206 est configuré pour simuler un capteur embarqué regardant vers l’avant de l’aéronef et capable de fournir des données caractéristiques d’une piste d’atterrissage (informations d’intérêt) et de son environnement même par conditions de visibilité dégradée. Le simulateur de capteur 206 reçoit les paramètres 205 de position et d’attitude de l’aéronef fournis par le module Vol/PA 204 et génère des images capteur simulé.

[0069] Les données capteur simulé peuvent être des images dans le visible, dans l’infra-rouge ou des données radar. Le capteur simulé peut être une caméra IR fixe et positionnée dans le nez de l’aéronef et orientée vers l’avant selon l’axe longitudinal de l’aéronef et usuellement légèrement vers le bas, fournissant un flux continu d’images en noir et blanc.

[0070] Le capteur simulé peut être une combinaison de plusieurs caméras spécifiques pour différentes plages de longueur d’onde dans l’infra-rouge et le visible afin de maximiser la capacité du capteur à détecter des éléments d’intérêt par visibilité dégradée.

[0071] Le capteur simulé peut être un capteur actif LIDAR ou radar millimétrique. Ce type de capteur fournit un flux de données 3D (site, azimut, réflectivité, distance).

[0072] Le simulateur de capteur 206 est de préférence configuré en fonction du type de capteur qui sera utilisé à bord de l’aéronef réel qui embarquera le système final, que ce soit par exemple une caméra IR ou bien un radar millimétrique.

[0073] Le simulateur de capteur 206 fournit en sortie des données capteur simulé 207, par exemple sous la forme d’une image IR simulée telle que montrée sur la figure 4a.

[0074] Les données capteur du capteur simulé 207 sont des entrées du générateur de vérité-terrain 208, qui reçoit aussi les paramètres de vol 205 de l’aéronef simulé.

[0075] Le générateur de vérité-terrain 208 est configuré pour générer automatiquement à partir des données capteur 207 et des données de vol 205, une vérité-terrain 209. Le générateur de vérité-terrain 208 reçoit de manière synchronisée, les données de vol 205 du simulateur d’aéronef 204 et les données capteur 207 du simulateur de capteur 206.

[0076] Les données d’entrée (205, 207) du générateur de vérité-terrain 208 sont synchrones et concordantes, en ce que les données de vol 205 générées par le module de Vol/PA et traitées directement par le générateur de vérité-terrain 208, correspondent aux mêmes données de vol 205 qui ont servi à générer les données capteur 207.

[0077] Dans un mode de réalisation, les paramètres de vol 205 sont envoyés uniquement au simulateur de capteur 206, qui envoie de manière synchronisée les données capteur 207 et les données de vol 205. Dans une implémentation particulière, le simulateur de capteur 206 envoie une image associée aux paramètres aéronefs correspondants toutes les 3 secondes. [0078] Dans certaines réalisations simulant des capteurs complexes, tel que par exemple des radars, un générateur d’images de synthèse opère difficilement en temps réel à cause du temps de calcul nécessaire à la génération de chaque image. Avantageusement, le dispositif de l’invention peut comprendre un mécanisme de synchronisation garantissant l’adéquation des paramètres de vol 205 avec les données capteur 207.

[0079] Dans un mode de réalisation, le dispositif est couplé à un système de buffer avec un échantillonnage donné des données de vol 205 en amont du simulateur du capteur, puis une transmission synchrone des données de vol 205 et des données capteur 207 depuis le simulateur du capteur vers le générateur de vérité-terrain.

[0080] Le générateur de vérité-terrain 208 est configuré pour générer automatiquement une vérité-terrain 209 pour le scénario simulé.

[0081] Dans un mode de réalisation, la génération automatique de vérité-terrain s’opère en trois étapes 302, 304, 306 illustrées sur la figure 3.

[0082] Une étape 302 consiste de manière automatique à partir des données de vol 205 fournis par le module de Vol/PA 204, à générer des données de labélisation représentatives de caractéristiques de la piste d’atterrissage simulée, sans restriction de visibilité.

[0083] Les données générées sont des données théoriques uniquement, telles qu’elles devraient sortir du capteur réel, par bonne visibilité pour la piste d’atterrissage et la rampe lumineuse d’approche définies pour le scénario (à la représentativité du modèle de capteur près).

[0084] Par conditions de visibilité dégradée, généralement la rampe lumineuse d’approche est détectable avant la piste d’atterrissage. Aussi afin d’obtenir une détection au plus tôt, il est important d’entraîner l’algorithme d’IA à reconnaître les différents types de rampes lumineuses qui sont normalisées. Cependant, ce n’est pas toujours le cas et parfois, la piste d’atterrissage peut être directement détectable en premier, par exemple si la rampe lumineuse est constituée de LEDs au lieu de lampes à incandescence, un capteur IR peut détecter la piste avant la rampe lumineuse. Cela peut être également le cas d’un radar qui de loin, peut détecter le contraste entre le sol et l’asphalte de la piste bien avant le contraste entre le sol et le métal de la rampe dont les surfaces de réflexions sont trop petites de loin. Il est donc important d’entraîner l’algorithme d’IA à reconnaître également la piste d’atterrissage. Aussi, le générateur de vérité-terrain de l’invention est paramétrable pour définir la piste d’atterrissage, c’est-à-dire la position des deux seuils de piste, le type de rampe d’approche utilisé par le simulateur de capteur ainsi que les caractéristiques du capteur simulé, c’est-à-dire l’orientation du capteur dans le repère de l’aéronef, les champs - horizontal et vertical - du capteur et le type de données en sortie, par exemple pour une image, les résolutions - horizontales et verticales - en pixels, les éventuelles déformations, ...

[0085] Ainsi, à partir de ces données, le procédé permet à l’étape 302 de générer des pseudos données capteur très simplifiées où ne figurent que la piste dans un premier type d’information uniforme (402), la rampe lumineuse d’approche dans un second type d’information uniforme (404) et le reste des données dans un troisième type d’information uniforme (406). La figure 4b illustre une vérité-terrain de premier niveau obtenue à l’issue de la première étape 302 dans le cas d’un capteur générant des images 2D. Il s’agit d’une image uniforme (noire sur la figure 4b mais qui pourrait être rouge par exemple), avec la piste et la rampe apparaissant dans deux autres couleurs différentes (vert pour la piste et jaune pour la rampe par exemple).

[0086] Cependant, le capteur simulé reproduit les conséquences de l’environnement extérieur simulé et, même si une piste d’atterrissage se trouve dans le champ du capteur, en fonction de la distance, de la visibilité, des conditions météorologiques, de la date et de l’heure et du type de capteur, la piste et sa rampe d’approche peuvent ne pas être visibles ou seulement être partiellement visibles.

[0087] Aussi, une autre étape 304 opérée par le générateur de vérité-terrain consiste en la détection de la limite de visibilité par l’identification de zones sans visibilité dans les données capteur du capteur simulé, puis dans une étape suivante 306, le procédé permet que les zones sans visibilité qui ont été identifiées soient utilisées afin de corriger la vérité-terrain de premier niveau générée à la première étape 302, en fonction de la distance de visibilité dans les données capteur du capteur simulé, et générer une vérité-terrain corrigée 209.

[0088] La distance de visibilité n’étant pas une information évidente à connaître a priori, même avec des données capteur d’un capteur simulé, le procédé de l’invention dans un mode de réalisation met en oeuvre à l’étape 304, un algorithme de détection de limite de visibilité sur chaque ensemble de données capteur 207. Dans le cas d’une image IR, un tel algorithme peut, par exemple, calculer une carte des contrastes de l’image puis sa variance et en fonction du résultat, ensuite binariser l’image par différents seuillages pour obtenir une unique frontière dans l’image 408 entre la partie avec de la visibilité, caractérisée par la présence d’éléments contrastés, et la partie sans visibilité, plus uniforme, tel qu’illustré sur la figure 4c.

[0089] Un exemple d’algorithme de détection de limite de visibilité pouvant être mis en oeuvre est décrit dans la demande de brevet FR3058233 de la Demanderesse. L’homme du métier pourra cependant appliquer d’autres algorithmes connus de détection de visibilité.

[0090] L’étape de détection de limite de visibilité 304 permet de fournir une frontière 408 entre une partie haute des données capteur, correspondant aux données plus lointaines et sans visibilité, et une partie basse des données capteur, correspondant aux données plus proches et avec visibilité.

[0091] La frontière est utilisée pour effectuer un masquage des zones des données labélisées correspondant aux zones sans visibilité dans les données capteur dudit capteur simulé dans la troisième étape 306. Un masque ayant un quatrième type d’information uniforme et couvrant la partie correspondant aux données sans visibilité est superposé sur les pseudos données capteur issues de la première étape 302 afin de générer une vérité-terrain corrigée, tel qu’illustré sur la figure 4d. Sur l’exemple de l’image IR, la partie haute de l’image de la vérité-terrain de premier niveau issue de la première étape et correspondant à la partie sans visibilité dans l’image IR simulée, peut être masquée avec une information uniforme qui peut être une couleur bleue par exemple.

[0092] Dans une variante de réalisation, le générateur de vérité-terrain permet de plus de générer 308 une image de contrôle de la vérité-terrain corrigée tel qu’illustré sur la figure 4e, par fusion de chaque ensemble de données vérité-terrain avec les données capteur simulé correspondantes.

[0093] Ainsi, dans le cas d’une image IR par exemple, un niveau de transparence prédéfini est appliqué sur les données vérité-terrain issues de la deuxième étape 304 avant de les superposer à l’image capteur simulé correspondante pour obtenir une image de contrôle de la vérité-terrain. En effet, la transparence permet de vérifier dans une étape de contrôle que la piste d’atterrissage et la rampe lumineuse d’approche de la vérité-terrain se superposent parfaitement à celles des données capteur du capteur simulé, et seulement là où elles sont visibles dans les données capteur.

[0094] Dans un mode de réalisation, le contrôle repose sur un contrôle visuel par un opérateur, qui peut alors activer une suppression automatique des différents fichiers de la base de données correspondants à l’élément qui est contrôlé négativement.

[0095] Le dispositif de l’invention permet ainsi par mise en oeuvre successives de différents scenarii, types d’aéronef, capteurs embarqués, de générer une base de données simulées constituée d’une pluralité de données capteur de capteurs simulés avec une pluralité de vérité-terrain associées.

[0096] Avantageusement un ensemble de données dérivées des paramètres de l’aéronef peut également être associé dans la base de données aux autres données simulées. En complément, des paramètres aéronef peuvent être ajoutés aux données d’apprentissage, comme par exemple l’écart de cap, la hauteur, ou encore la distance DME par rapport à la piste. Dans le cas d’une image infra-rouge (IR), la vérité-terrain associée est une image de même taille avec une couleur spécifique pour chaque élément de l’image que l’on souhaite que l’algorithme apprenne à reconnaître.

[0097] La base de données simulées peut être utilisée comme base de données d’apprentissage pour mettre en oeuvre un algorithme d’apprentissage profond pour la reconnaissance de piste, à base de réseau de neurones artificiels, sans les données de contrôle qui ne font pas partie des données d’apprentissage.

[0098] Cependant, un apprentissage basé seulement sur des données simulées, quel que soit le niveau de réalisme de la simulation de capteur, n’est généralement pas suffisant et il est important de pouvoir compléter la base de données d’apprentissage de données simulées avec des données d’apprentissage issues de données réelles.

[0099] Ainsi, dans un mode de réalisation, des données issues de vrais capteurs lors de vols réels sont enregistrées avec des paramètres avion (a minima ceux de position et d’attitude), et une information quant à la synchronisation des données capteurs avec les paramètres de l’aéronef. La difficulté de mettre en oeuvre le procédé de l’invention sur ce type de donnés est à l’étape de génération de la vérité- terrain de premier niveau (étape 302) car les paramètres réels de l’aéronef sont généralement légèrement erronés. Ainsi, une position GPS est précise à quelques mètres avec un maximum de l’ordre de 30 mètres, une altitude GPS est encore un peu moins précise, et un cap de l’aéronef est connu avec une précision de quelques dixièmes de degré à 2 ou 3 degrés selon le type d’instrument qui fournit le paramètre. Si ces paramètres étaient utilisés directement dans le procédé de l’invention pour positionner la piste d’atterrissage et la rampe lumineuse d’approche, il ne serait pas possible d’obtenir une superposition de la vérité-terrain aux données correspondantes dans les données capteur réel. Aussi, la vérité-terrain est créée manuellement. Cependant, une telle opération étant fastidieuse sur un grand volume de données, avantageusement dans un mode de réalisation, une analyse des paramètres de l’aéronef est faite au moment du touché des roues sur la piste et pendant la phase de décélération sur la piste. En effet, puisque la position et l’altitude des deux seuils de piste sont connues précisément, il est possible de calculer facilement le cap de piste, et comme l’aéronef roule assez précisément sur l’axe central de la piste pendant la décélération, il est facile de calculer l’erreur de cap fournit par les paramètres de l’aéronef, l’erreur d’altitude GPS en comparant l’altitude de l’aéronef au touché avec l’altitude du seuil de piste en tenant compte de la hauteur de l’antenne GPS par rapport au sol et en prenant plusieurs points pendant le roulage, et retrouver une approximation des erreurs de latitude et longitude permettant de corriger l’écart latéral à la piste. Néanmoins, il reste une incertitude sur l’écart longitudinale à la piste, puisqu’on ne sait jamais précisément où l’aéronef se situe longitudinalement sur la piste, mais cette erreur est la moins impactante pour la position de la piste dans la vérité-terrain. Une fois ces erreurs identifiées, elles sont considérées constantes sur les quelques secondes précédant l’atterrissage et elles sont rétro-propagées sur les paramètres de l’aéronef pendant la phase finale de l’approche pour générer la vérité-terrain de premier niveau (étape 302). Les étapes suivantes (304, 306) sont identiques à celles décrites en référence à la figure 3 pour les données simulées, les parties sans visibilité sont masquées grâce à un algorithme de détection de limite de visibilité, et des données de contrôle peuvent être générées. Les données trop erronées peuvent être supprimées. Ce mode de réalisation permet d’obtenir des données complémentaires pour la base d’apprentissage de données simulées, permettant ainsi d’améliorer la phase d’apprentissage d’un algorithme d’IA.

[0100] Dans un mode de réalisation, des méthodes usuelles de multiplication des données par des opérateurs de rotation, de translation, ..., sont appliquées pour étendre la base d’apprentissage.

[0101] Dans un mode de réalisation, la base de données d’apprentissage simulées est associée à une base de données réelles d’apprentissage afin d’augmenter considérablement la quantité de données d’apprentissage.

[0102] Ainsi, la présente invention décrit différents contextes de génération de nouvelles données :

-contexte pour générer de nouvelles données simulées d’apprentissage, par la simulation de scénario, puis la génération de la vérité-terrain associée à cette simulation en prenant entre autre les paramètres de vols ainsi qu’un algorithme de détection de limite entre zones visible et invisible ;

-utilisation de données réelles puis calcul de l’erreur de positionnement lors d’un atterrissage pour rétro-propager cette erreur et reconstruire une vérité-terrain associé à ces données réelles.

[0103] La présente description illustre une implémentation préférentielle de l’invention, mais qui n’est pas limitative. Des exemples sont choisis pour permettre une bonne compréhension des principes de l’invention et une application concrète, mais ne sont en rien exhaustifs et doivent permettre à l’homme du métier d’apporter des modifications et des variantes d’implémentation en conservant les mêmes principes.