Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR DETECTING AN OBJECT IN THE SURROUNDINGS OF AN AIRCRAFT, ASSOCIATED SYSTEM AND COMPUTER PROGRAM
Document Type and Number:
WIPO Patent Application WO/2023/111189
Kind Code:
A1
Abstract:
The invention relates to a method for detecting an object (14) in the surroundings of an aircraft (10), the method comprising the following steps: - acquiring an image from an image sensor (16); - identifying the horizon in the image and partitioning the image into: a region above the horizon, a region below the horizon and a region around the horizon; - determining at least one area of interest by applying a method specific to each region; - detecting the object by implementing an image-processing algorithm on the areas of interest and determining at least one associated characteristic; - when the detected object is not known, adding the at least one characteristic to a database (18); and - when the detected object is known, updating the at least one characteristic in the database.

Inventors:
LISSAJOUX SYLVAIN (FR)
GOUHIER PATRICK (FR)
BONNET ANTOINE (FR)
Application Number:
PCT/EP2022/086176
Publication Date:
June 22, 2023
Filing Date:
December 15, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
THALES SA (FR)
International Classes:
G06V20/17; G06V10/22; G08G5/00; G08G5/04
Foreign References:
PL431687A12021-05-04
US20170109891A12017-04-20
Other References:
OPROMOLLA ROBERTO ET AL: "Experimental assessment of vision-based sensing for small UAS sense and avoid", 2019 IEEE/AIAA 38TH DIGITAL AVIONICS SYSTEMS CONFERENCE (DASC), IEEE, 8 September 2019 (2019-09-08), pages 1 - 9, XP033765417, DOI: 10.1109/DASC43569.2019.9081725
EASY ACCESS RULES FOR STANDARDISED EUROPEAN RULES OF THE AIR
Attorney, Agent or Firm:
HABASQUE, Etienne et al. (FR)
Download PDF:
Claims:
REVENDICATIONS

1. Procédé de détection d’un objet (14), notamment un objet volant, dans l’environnement d’un aéronef (10), l’aéronef (10) comprenant au moins un capteur d’images (16) et une base de données (18) comprenant, pour un ensemble d’objets (14) connus, au moins une caractéristique associée à chaque objet (14) connu ; le procédé de détection comprenant au moins les étapes suivantes : acquisition d’au moins une image issue de l’au moins un capteur d’images (16) ; identification de l’horizon (H) sur ladite image et partition de l’image en au moins trois régions : une première région (R1 ) au-dessus de l’horizon (H), une deuxième région (R2) en-dessous de l’horizon (H) et une troisième région (R3) autour de l’horizon (H) ; détermination d’au moins une zone d’intérêt pour la détection de l’objet volant (14) constituée d’une sous-partie de ladite image, la détermination étant réalisée par l’application d’une méthode propre à chaque région (R1 , R2, R3) ; détection de l’objet (14) par la mise en œuvre d’un algorithme de traitement d’images sur la ou les zones d’intérêts et détermination de l’au moins une caractéristique associée ; lorsque l’objet (14) détecté n’est pas l’un des objets (14) connus de la base de données (18), ajout dans la base de données (18) de l’au moins une caractéristique associée à l’objet (14) détecté ; lorsque l’objet (14) détecté est l’un des objets (14) connus de la base de données (18), mise à jour dans la base de données (18) de l’au moins une caractéristique associée à l’objet (14) détecté.

2. Procédé de détection selon la revendication 1 , dans lequel la détermination est réalisée par l’application : d’une méthode de détection de contraste dans la première région (R1) ; d’une méthode de détection de mouvement relatif dans la deuxième région (R2) ; d’une méthode de fenêtre glissante dans la troisième région (R3).

3. Procédé de détection selon la revendication 1 ou 2, dans lequel chaque caractéristique est choisie parmi le groupe constitué de : position de l’objet (14); distance entre l’objet (14) et l’aéronef (10) ; vitesse de l’objet (14); orientation de l’objet (14); et classe de l’objet (14).

4. Procédé de détection selon l’une quelconque des revendications précédentes, dans lequel l’aéronef (10) se déplace le long d’une trajectoire (T) planifiée, l’étape de détermination d’au moins une zone d’intérêt étant en outre réalisée au moyen d’une méthode de projection de la trajectoire (T) planifiée de l’aéronef (10) sur ladite image, la trajectoire (T) planifiée étant avantageusement déterminée au moyen d’un plan de vol de l’aéronef (10) et/ou d’un vecteur vitesse (V) instantanée de l’aéronef (10).

5. Procédé de détection selon l’une quelconque des revendications précédentes, dans lequel le procédé de détection comprend en outre, suite à l’étape de détermination d’au moins une zone d’intérêt, une étape de filtrage des zones d’intérêt en fonction des éventuels recouvrements entre zones d’intérêts et/ou de la méthode de détermination utilisée.

6. Procédé de détection selon l’une quelconque des revendications précédentes, dans lequel le procédé de détection comprend en outre, suite à l’étape de détection de l’objet (14), une étape d’évaluation d’un risque de collision entre l’objet (14) et l’aéronef (10).

7. Procédé de détection selon la revendication 6, dans lequel le procédé de détection comprend en outre une étape de mise en œuvre d’au moins une mesure de protection de l’aéronef (10) en fonction du risque de collision évalué, la mesure de protection de l’aéronef étant : la transmission de l’alerte à un opérateur de l’aéronef (10) ; et/ou la détermination d’une consigne d’évitement de l’objet (14) par l’aéronef (10) et transmission de la consigne d’évitement à un système avionique de l’aéronef (10) ou à un opérateur de l’aéronef (10) pour la mise en œuvre de la consigne.

8. Procédé de détection selon la revendication 7, dans lequel l’étape de détermination d’une consigne d’évitement comprend une sous-étape de validation de la consigne déterminée par évaluation d’un risque de collision entre chaque objet connu de la base de données (18) et l’aéronef (10) suivant la consigne d’évitement. 18

9. Système électronique (20) propre à être embarqué dans un aéronef (10) et configuré pour détecter un objet (14) dans l’environnement dudit aéronef (10), l’aéronef (10) comprenant au moins un capteur d’images (16) et une base de données (18) comprenant, pour un ensemble d’objets (14) connus, au moins une caractéristique associée à chaque objet (14) connu, le système électronique (20) comprenant: un module d’acquisition (22) configuré pour acquérir au moins une image issue de l’au moins un capteur d’images (16) ;

- un module de traitement (24) configuré pour : o identifier l’horizon (H) sur ladite image ; o partitionner l’image en trois régions : une première région (R1 ) au-dessus de l’horizon (H), une deuxième région (R2) en-dessous de l’horizon (H) et une troisième région (R3) autour de l’horizon (H) ; o déterminer au moins une zone d’intérêt pour la détection de l’objet volant (14) constituée d’une sous-partie de ladite image, la détermination étant réalisée par l’application d’une méthode propre à chaque région (R1 , R2, R3) ; détecter l’objet (14) par la mise en œuvre d’un algorithme de traitement d’images sur la ou les zones d’intérêts et détermination de l’au moins une caractéristique associée ;

- un module de gestion (26) de la base de données (18) configuré pour : o lorsque l’objet (14) détecté n’est pas l’un des objets (14) connus de la base de données (18), ajouter dans la base de données (18) de l’au moins une caractéristique associée à l’objet (14) détecté ; o lorsque l’objet (14) détecté est l’un des objets (14) connus de la base de données (18), mettre à jour dans la base de données (18) de l’au moins une caractéristique associée à l’objet (14) détecté.

10. Programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé de détection selon l’une quelconque des revendications 1 à 8.

Description:
DESCRIPTION

TITRE : Procédé de détection d’un objet dans l’environnement d’un aéronef, système et programme d’ordinateur associés

La présente invention concerne un procédé de détection d’un objet dans l’environnement d’un aéronef.

L’invention concerne également un système électronique propre à être embarqué dans un aéronef et configuré pour détecter un objet dans l’environnement de l’aéronef.

L’invention concerne également un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un tel procédé.

L’invention concerne plus particulièrement un drone, tout en étant applicable à tout type d’aéronef, tel qu’un avion ou un hélicoptère.

L’introduction d’aéronefs non-habités tels que des drones dans des espaces aériens non-contrôlés pose de nombreuses questions. La capacité à détecter et éviter les autres aéronefs est l’une d’entre-elles. En effet, dans les espaces aériens non-contrôlés, la prévention de collision en vol entre deux aéronefs habités repose sur la capacité des pilotes à identifier visuellement une situation de conflit et à adapter sa trajectoire en suivant des règles établies.

Un aéronef non habité doit donc embarquer à son bord une capacité de détection équivalente à celle d’un pilote, notamment s’il est autonome. Par autonome on entend qu’il n’y a pas d’intervention ou de décision humaine (opérateur, télé pilote, pilote, etc...) dans la boucle de pilotage à court terme de l’aéronef. En effet, dans le cas d’un aéronef non- habité télépiloté (i.e. non autonome), le délai de réaction total du système (incluant le temps nécessaire à la prise de décision par l’opérateur et la latence des communications avec l’aéronef) a une forte probabilité d’être trop long pour éviter une collision.

Un aéronef peut embarquer des radars permettant de détecter d’autres aéronefs environnants. Toutefois leur masse importante (typiquement une trentaine de kilogrammes) est incompatible avec un drone pesant moins d’une centaine de kilogrammes.

Pour des drones évoluant à basse hauteur (typiquement quelques dizaines de mètres), il est également courant de détecter les obstacles à proximité (typiquement jusqu’à quelques dizaines de mètres) par un traitement d’images captés par l’aéronef. Pour un drone évoluant dans la CAG (Circulation Aérienne Générale), le risque le plus redouté est la collision avec un aéronef habité. Dans ce cas précis, les aéronefs pouvant évoluer à des vitesses élevées, par exemple à 250 kts, il serait alors nécessaire de disposer de capteurs hyper résolus (typiquement d’une définition 4K) et de moyens de calcul très performants afin de traiter les images et d’identifier un intrus de quelques mètres à une distance suffisamment grande (typiquement, au moins un kilomètre de distance) pour anticiper une manœuvre de mise en sécurité.

Or de tels capteurs et moyens de calculs performants représentent un encombrement en taille et en poids, ainsi qu’un coût financier et en temps de calcul, trop importants pour être embarqués à bord d’un drone pesant typiquement une centaine de kilogrammes.

En particulier, la détection de petits objets (typiquement une vingtaine de pixels) dans des images monoculaires très résolues (typiquement de résolution 4K), en temps réel sur un calculateur embarqué dans un drone est problématique.

Le but de l’invention est ainsi de proposer un procédé de détection d’un objet dans l’environnement d’un aéronef nécessitant des ressources matérielles plus limitées en terme d’encombrement dans l’aéronef tout en assurant une détection suffisamment réactive pour la sécurité de l’aéronef.

A cet effet, l’invention a pour objet un procédé de détection d’un objet, notamment un objet volant, dans l’environnement d’un aéronef, l’aéronef comprenant au moins un capteur d’images et une base de données comprenant, pour un ensemble d’objets connus, au moins une caractéristique associée à chaque objet connu ; le procédé de détection comprenant au moins les étapes suivantes : acquisition d’au moins une image issue de l’au moins un capteur d’images ; identification de l’horizon sur ladite image et partition de l’image en au moins trois régions : une première région au-dessus de l’horizon, une deuxième région en-dessous de l’horizon et une troisième région autour de l’horizon ; détermination d’au moins une zone d’intérêt pour la détection de l’objet volant constituée d’une sous-partie de ladite image, la détermination étant réalisée par l’application d’une méthode propre à chaque région ; détection de l’objet par la mise en œuvre d’un algorithme de traitement d’images sur la ou les zones d’intérêts et détermination de l’au moins une caractéristique associée ; lorsque l’objet détecté n’est pas l’un des objets connus de la base de données, ajout dans la base de données de l’au moins une caractéristique associée à l’objet détecté ; lorsque l’objet détecté est l’un des objets connus de la base de données, mise à jour dans la base de données de l’au moins une caractéristique associée à l’objet détecté.

Suivant d’autres aspects avantageux de l’invention, le procédé de détection comprend une ou plusieurs des caractéristiques suivantes, prises isolément ou suivant toutes les combinaisons techniquement possibles : la détermination est réalisée par l’application : d’une méthode de détection de contraste dans la première région ; d’une méthode de détection de mouvement relatif dans la deuxième région ; et d’une méthode de fenêtre glissante dans la troisième région ;

- chaque caractéristique est choisie parmi le groupe constitué de : position de l’objet; distance entre l’objet et l’aéronef ; vitesse de l’objet; orientation de l’objet; et classe de l’objet ; l’aéronef se déplace le long d’une trajectoire planifiée, l’étape de détermination d’au moins une zone d’intérêt étant en outre réalisée au moyen d’une méthode de projection de la trajectoire planifiée de l’aéronef sur ladite image ; la trajectoire planifiée est déterminée au moyen d’un plan de vol de l’aéronef et/ou d’un vecteur vitesse instantanée de l’aéronef ; le procédé de détection comprend en outre, suite à l’étape de détermination d’au moins une zone d’intérêt, une étape de filtrage des zones d’intérêt en fonction des éventuels recouvrements entre zones d’intérêts et/ou de la méthode de détermination utilisée ; le procédé de détection comprend en outre, suite à l’étape de détection de l’objet, une étape d’évaluation d’un risque de collision entre l’objet et l’aéronef.= ; le procédé de détection comprend en outre une étape de mise en œuvre d’au moins une mesure de protection de l’aéronef en fonction du risque de collision évalué, la mesure de protection de l’aéronef étant : la transmission de l’alerte à un opérateur de l’aéronef ; et/ou la détermination d’une consigne d’évitement de l’objet par l’aéronef et transmission de la consigne d’évitement à un système avionique de l’aéronef ou à un opérateur de l’aéronef pour la mise en œuvre de la consigne ; l’étape de détermination d’une consigne d’évitement comprend une sous-étape de validation de la consigne déterminée par évaluation d’un risque de collision entre chaque objet connu de la base de données et l’aéronef suivant la consigne d’évitement.

L’invention a également pour objet un système électronique propre à être embarqué dans un aéronef et configuré pour détecter un objet dans l’environnement dudit aéronef, l’aéronef comprenant au moins un capteur d’images et une base de données comprenant, pour un ensemble d’objets connus, au moins une caractéristique associée à chaque objet connu, le système électronique comprenant: un module d’acquisition configuré pour acquérir au moins une image issue de l’au moins un capteur d’images ; un module de traitement configuré pour :

+ identifier l’horizon sur ladite image ;

+ partitionner l’image en trois régions : une première région au-dessus de l’horizon, une deuxième région en-dessous de l’horizon et une troisième région autour de l’horizon ;

+ déterminer au moins une zone d’intérêt pour la détection de l’objet volant constituée d’une sous-partie de ladite image, la détermination étant réalisée par l’application d’une méthode propre à chaque région ; détecter l’objet par la mise en œuvre d’un algorithme de traitement d’images sur la ou les zones d’intérêts et détermination de l’au moins une caractéristique associée ; un module de gestion de la base de données configuré pour :

+ lorsque l’objet détecté n’est pas l’un des objets connus de la base de données, ajouter dans la base de données de l’au moins une caractéristique associée à l’objet détecté ;

+ lorsque l’objet détecté est l’un des objets connus de la base de données, mettre à jour dans la base de données de l’au moins une caractéristique associée à l’objet détecté.

L’invention a également pour objet un programme d’ordinateur comportant des instructions logicielles qui, lorsqu’elles sont exécutées par un ordinateur, mettent en œuvre un procédé de détection tel que défini ci-dessus. Ces caractéristiques et avantages de l’invention apparaîtront plus clairement à la lecture de la description qui va suivre, donnée uniquement à titre d’exemple non limitatif, et faite en référence aux dessins annexés, sur lesquels :

[Fig 1] la figure 1 est une représentation schématique vue de haut d’un environnement d’un aéronef comprenant un système électronique selon l’invention ;

[Fig 2] la figure 2 est une représentation schématique d’une image prise par un capteur d’images embarqué dans l’aéronef de la figure 1 ;

[Fig 3] la figure 3 est une représentation schématique de l’étape de projection de la trajectoire planifiée de l’aéronef afin de déterminer des zones d’intérêts ;

[Fig 4] la figure 4 est une représentation schématique de la trajectoire projetée et des zones d’intérêts suite à l’étape de projection de la figure 3, et

[Fig 5] la figure 5 est un organigramme d’un procédé, selon l’invention, de détection d’un objet 14 dans l’environnement de l’aéronef de la figure 1.

Un aéronef 10 survolant un terrain 12 est représenté sur la figure 1 .

L’aéronef 10 est avantageusement un drone, comme illustré ici.

Le drone est par exemple un drone dit « professionnel » propre à réaliser des prestations audiovisuelles ou peut être également utilisé dans d’autres secteurs tels que l’agriculture, la sécurité, la surveillance, l’inspection thermique, la photogrammétrie, etc. Un tel drone pèse typiquement une centaine de kilogrammes et présente une autonomie de vol de plusieurs heures.

En variante, l’aéronef est par exemple un avion ou un hélicoptère.

Autrement dit, l’aéronef 10 est un engin volant pilotable par un pilote via un poste de commande, le poste de commande étant disposé à l’intérieur de l’aéronef 10 ou bien à distance de l’aéronef 10, notamment dans le cas d’un drone.

L’aéronef 10 se déplace selon un vecteur état V définit à partir de la position de l’aéronef 10 et sa vitesse dans le référentiel terrestre, défini ici par les axes X, Y, Z.

Comme illustré sur la figure 1 , au moins un objet 14 est situé dans l’environnement de l’aéronef 10. Par environnement de l’aéronef, on entend situé à une distance inférieure à une distance seuil de l’aéronef 10, par exemple égale à 5 km.

Chaque objet 14 est notamment un objet volant.

Ici, deux objets 14 sont situés dans l’environnement de l’aéronef 10. Les objets 14 sont ici des avions.

En référence à la figure 1 , l’aéronef 10 comprend au moins un capteur d’images 16, une base de données 18 et un système électronique 20 de détection d’un objet14 dans l’environnement de l’aéronef 10. L’aéronef 10 comprend avantageusement une pluralité de capteurs d’images 16.

Chaque capteur d’images 16 est notamment une caméra, les procédés décrits par la suite étant éventuellement transposables à un radar ou un lidar.

Chaque capteur d’images 16 est configuré pour capturer et transmettre au moins une image de l’environnement de l’aéronef 10.

L’image présente par exemple une résolution 4K, c’est-à-dire 3840 pixels x 2160 pixels.

Dans le cas d’une pluralité de capteurs d’images 16, chaque image peut présenter une résolution importante, notamment 4K, et ainsi présenter une taille globale de pixels très importante. Avantageusement, les capteurs d’images 16 sont configurés pour capturer des images de l’environnement situé à l’avant de l’aéronef 10, dans la direction de son déplacement, avec une ouverture angulaire de 180° ou 210°.

La base de données 18 comprend, pour un ensemble d’objetsl 4 connus, au moins une caractéristique associée à chaque objet14 connu.

Par objet 14 connu, on entend que l’objetl 4 a déjà été détecté précédemment dans l’environnement de l’aéronef 10.

Chaque caractéristique est choisie parmi le groupe constitué de : position de l’objet 14; distance entre l’objet 14 et l’aéronef 10; vitesse de l’objet 14; orientation de l’objet 14; et classe de l’objet 14.

La position de l’objet 14 est par exemple définie dans le référentiel image par définition de la position dans l’image capturée (par exemple en coordonnées de pixels).

La position de l’objet 14 dans l’image est par exemple calculée à travers une liste de points définissant son contour dans le repère image. Puis la position moyenne de l’objet 14 est obtenue en calculant le barycentre de la position de ces dit points détectés.

La position de l’objet 14 est en variante définie dans le référentiel de l’aéronef 10. Cette position est notamment obtenue par conversion de la position dans l’image en utilisant les caractéristiques du capteur 16 pour convertir un pixel en degré d’azimut ou d’élévation, comme illustré sur la figure 2. L’azimut et l’élévation sont représentés sur la figure 3 par les références Az et El.

En variante encore, la position de l’objet 14 est définie dans le référentiel terrestre.

La distance entre l’objet 14 et l’aéronef 10 est notamment calculée en se basant sur le calcul de la dimension perçue de l’objet 14 lorsque sa classe est connue et des caractéristiques du capteur 16 (par exemple de la taille de la puce, du nombre de pixels, de la focale de l’objectif, etc).

La vitesse de l’objet 14 est par exemple sa vitesse angulaire sur l’image. Cette vitesse est notamment calculée en utilisant un filtre de Kalman et une utilisant l’intervalle de temps entre chaque mis à jour de l’image, la position de l’objet 14 et la dernière vitesse angulaire estimée dans l’image de l’objet 14.

En variante encore, la vitesse de l’objet 14 est définie dans le référentiel terrestre.

La vitesse de l’objet 14 est en variante la vitesse de l’objet 14 dans le référentiel de l’aéronef 10. Cette vitesse est calculée notamment en fonction de la vitesse angulaire dans l’image et de la distance relative entre l’objet 14 et l’aéronef 10.

L’orientation de l’objet 14 est notamment déterminée en fonction de la classe détectée pour l’objet 14 et/ou à partir de ses angles d’Euler. L’orientation définie si l’objet 14 arrive de face, s’éloigne de l’aéronef 10, arrive de côté, etc.

La classe de l’objetl 4 est notamment choisie parmi le groupe constitué de : un avion de tourisme,

- un planeur, un drone à voilure fixe,

- un drone multicoptère, une montgolfière

- un ballon sonde, un oiseau, une grue, un objet non identifié.

Le système électronique 20 comprend un module d’acquisition 22, un module de traitement 24 et un module de gestion 26 de la base de données 18.

Le système électronique 20 comprend en outre avantageusement un module d’évitement 28.

Le module d’acquisition 22 est configuré pour acquérir au moins une image issue de l’au moins un capteur d’images 16.

Le module d’acquisition 22 est configuré pour transmettre l’au moins une image au module de traitement 24.

Le module de traitement 24 est configuré pour identifier l’horizon H sur ladite image.

L’horizon H est la ligne où la terre et le ciel se rejoignent sur une image prise depuis l’aéronef 10.

L’homme du métier comprendra que l’horizon se présente sous une forme de ligne droite ou d’une ligne courbe. En particulier, sur la base du vecteur état de l’aéronef 10 (notamment son orientation et sa position), de la position et l’orientation du capteur d’images 16 dans le référentiel de l’aéronef 10, le module de traitement 24 est configuré pour convertir la position de l’horizon H dans le référentiel de l’aéronef 10 (azimut, élévation) en coordonnées images (en pixels) afin d’obtenir la position de l’horizon H dans le référentiel image.

A partir de cette identification de l’horizon H, le module de traitement 24 est configuré pour partitionner l’image en trois régions : une première région R1 au-dessus de l’horizon H, une deuxième région R2 en-dessous de l’horizon H, et une troisième région R3 autour de l’horizon H.

Les termes « au-dessus » et « en-dessous » sont définis par rapport à la direction verticale dans le référentiel terrestre.

Ainsi, comme représenté sur la figure 2, l’horizon H sépare l’image en trois régions de pixels correspondant « au ciel » pour la première région R1 , à « la terre » pour la deuxième région R2 et aux « alentours de l’horizon » pour la troisième région R3.

L’homme du métier comprendra que lorsque l’horizon H est situé hors de l’image, la troisième région R3 est vide de pixels et l’une ou l’autre de la première ou de la deuxième région R1 , R2 est également vide de pixels. L’image ne comprend alors que les pixels de l’autre région R1 , R2.

Le module de traitement 24 est configuré pour déterminer des zones d’intérêt pour la détection d’objets 14 non encore connus de la base de données 18.

Ainsi, le module de traitement 24 ne cherche pas à identifier un objet 14 sur l’ensemble de l’image, ce qui demanderait des ressources en temps et en puissance de calculs trop importantes. Les algorithmes d’identification se limiteront donc aux zones d’intérêt, le reste de l’image étant traité sur opportunité en utilisant le temps de calcul restant.

Une zone d’intérêt est constituée d’une sous-partie de l’image.

Chaque zone d’intérêt se présente avantageusement sous un format standardisé, par exemple sous la forme d’un carré de 300 pixels x 300 pixels.

La détermination des zones d’intérêt est réalisée séparément pour chaque régions R1 , R2 et R3.

Dans la première région R1 , la détermination est réalisée par l’application d’une méthode de détection de contraste.

La méthode de détection de contraste permet de détecter un objet 14 dans le ciel qui présente une couleur et un contraste majoritairement uni. Comme visible sur la figure 2, la méthode de détection de contraste permet ici de détecter un avion dans le ciel sur la base de différences de contraste et/ou de couleur.

Dans la deuxième région R2, la détermination est réalisée par l’application d’une méthode de détection de mouvement relatif.

En effet, les différences de contrastes sont moins importantes sur le sol mais le défilement du sol est aisément modélisable et permet la détection d’un mouvement relatif d’un objet 14 par rapport au sol. Un algorithme de soustraction du mouvement du fond est ainsi appliqué à la deuxième région R2 pour détecter un objet 14.

Dans la troisième région R3, la détermination est réalisée par l’application d’une méthode de fenêtre glissante.

De manière connue, la méthode de fenêtre glissante découpe l’image d’entrée en une multitude d’images afin de réduire la résolution de chaque image.

Avantageusement, le découpage est effectué avec un recouvrement de quelques pixels (par exemple d’une dizaine de pixels) est appliqué.

Dans un mode de réalisation avantageux, le module de traitement 24 est en outre configuré pour déterminer au moins une zone d’intérêt au moyen d’une méthode de projection de la trajectoire planifiée de l’aéronef 10 sur l’image.

L’objectif de la méthode de projection de la trajectoire est d’identifier une zone d’intérêt correspondante à la trajectoire de l’aéronef 10.

La trajectoire planifiée est notamment déterminée au moyen d’un plan de vol de l’aéronef 10.

En référence à la figure 3, la trajectoire court terme, c’est à dire les premiers morceaux de la trajectoire, correspondant à l’environnement surveillé par le ou les capteur d’images 16. La trajectoire est représentée en trait plein sur la figure 3 avec la référence T.

En utilisant le vecteur état de l’aéronef 10, le module de traitement 24 est configuré pour projeter chaque point P de la trajectoire T court terme sur l’image en utilisant les coordonnées polaires de la trajectoire, le champ de vision et la résolution du capteur 16 afin d’obtenir un schéma tel que représenté sur la figure 4.

Pour chaque point P projeté, le module de traitement 24 prend une marge en pixel (par exemple 150 pixels suivant X et 150 pixels suivant Z), et définit ainsi une zone d’intérêt globale autour de la trajectoire projetée. La zone d’intérêt globale est représentée en pointillées sur la figure 4 et avec la référence G.

Cette zone d’intérêt globale est avantageusement découpée en zone d’intérêt élémentaires sous le format standardisé. Les différentes zones d’intérêt élémentaires sont représentées en traits pleins sur la figure 4 et avec la référence E. Avantageusement, le découpage est effectué avec un recouvrement de quelques pixels (par exemple d’une dizaine de pixels) est appliqué.

Avantageusement, le nombre de zones d’intérêts élémentaires E issue de la trajectoire T est limité à un nombre prédéterminé limite pour des raisons d’optimisation de calcul. Le nombre prédéterminé limite est par exemple égal à 2. Dans ce cas, les zones d’intérêts élémentaires associées aux points projetés les plus proche de l’aéronef 10 sont conservées.

Dans un autre exemple de réalisation, la trajectoire court terme est estimée à partir des consignes de guidage (cap, vitesse, attitudes etc...).

Dans un autre exemple de réalisation, la trajectoire court terme est estimée à partir du vecteur état de l’aéronef (mesure de cap, vitesse, attitudes etc...). Dans ce cas-là, la projection de la trajectoire T consistera en un point unique et seule une seule zone d’intérêt est déterminée.

L’homme du métier comprendra que dans un mode de réalisation avantageux, le module de traitement 24 est en outre configuré pour déterminer au moins une zone d’intérêt sur la base d’autres algorithmes. Par exemple, une méthode de détection de mouvement peut être appliquée dans la première région R1 et une méthode de détection de contraste peut être appliquée dans la deuxième région R2.

L’homme du métier comprendra que dans certains cas, aucune zone d’intérêt n’est détectée, par exemple dans le cas d’une image comprenant uniquement un ciel sans avion.

Le module de traitement 24 est en outre configuré, suite à la détermination des zones d’intérêt, pour filtrer les zones d’intérêt en fonction des éventuels recouvrements entre zones d’intérêts et/ou de la méthode de détermination utilisée.

Ce filtrage permet de limiter le nombre de zones d’intérêt, par exemple pour les limiter à 20% en nombre de pixel de l’image originelle.

Le filtrage est notamment réalisé en considérant certaines méthodes comme prioritaires sur les autres et/ou en fusionnant les zones d’intérêts redondantes.

Si les zones d’intérêts ne sont pas encore au format standardisé, le module de traitement 24 est configuré pour subdiviser l’ensemble des zones d’intérêt restantes après le filtrage en zones d’intérêts élémentaires d’un format standardisé.

Le module de traitement 24 est en outre configuré pour détecter un objet 14 dans les zones d’intérêts par la mise en œuvre d’un algorithme de traitement d’images sur les zones d’intérêt.

En fonction de l’environnement de l’aéronef 10, le module de traitement 24 détecte éventuellement aucun objet 14 si l’aéronef 10 est seul ou plusieurs objets 14 lorsque le trafic aérien est chargé dans l’environnement de l’aéronef 10. De manière connue en soi, l’algorithme de traitement d’images est par exemple un réseau de neurones est pré-entrainé pour pouvoir détecter des objets 14.

Afin que la détection soit suffisamment rapide, le réseau nécessite des images de faibles résolutions en entrée, ce qui est permis par les zones d’intérêts élémentaires. Ainsi, il est possible de réaliser une détection des objets 14 en « temps réel », c’est-à-dire dans une durée avantageusement inférieure à 100 ms.

Le module de traitement 24 est en outre configuré pour déterminer au moins une caractéristique associée à l’objet 14.

Comme expliqué ci-dessus, la caractéristique est notamment sa position, sa vitesse, etc.

Le module de gestion 26 de la base de données 18 configuré pour mettre à jour la base de données 18 en fonction des objets 14 détectés.

En particulier, le module de gestion 26 est configuré pour déterminer si chaque objet 14 détecté était déjà connu, c’est-à-dire déjà détecté auparavant et dont les caractéristiques ont été indiquées précédemment dans la base de données 18.

Lorsque l’objet 14 détecté n’est pas l’un des objets 14 connus de la base de données 18, le module de gestion 26 est configuré pour ajouter dans la base de données 18 l’au moins une caractéristique associée à l’objet 14 détecté.

Ainsi, une nouvelle entrée est ajoutée dans la base de données 18 (on dit également une nouvelle « piste ») associée au nouvel objet 14 détecté.

Lorsque l’objet détecté 14 est l’un des objets 14 connus de la base de données 18, le module de gestion 26 est configuré pour mettre à jour dans la base de données 18 l’au moins une caractéristique associée à l’objet 14 détecté.

Ainsi, notamment la position, la vitesse, l’orientation, etc de l’objet 14 sont mis à jour dans la base de données 18.

Par « mettre à jour », on entend que l’ancienne valeur de la caractéristique est supprimée et remplacée par la nouvelle valeur de la caractéristique.

La mise à jour des caractéristiques est notamment réalisée au moyen d’un algorithme de tracking (ou « suivi » en français) et de l’image acquise.

Le module d’évitement 28 est configuré pour évaluer un risque de collision entre chaque objet 14 détecté et l’aéronef 10.

Ce risque de collision est par exemple implémenté en en calculant un temps avant collision : r 2 — D 2 t = - avec t, le temps avant collision, r, la distance entre l’aéronef 10 et l’objet 14 et D, une distance de sécurité prédéterminée.

Le temps de collision est ici calculé dans un plan comprenant l’aéronef 10 et l’objet 14. L’homme du métier comprendra que ce calcul peut être également effectué en trois dimensions.

Le module d’évitement 28 est configuré pour associer un ou plusieurs niveaux d’alertes en fonction du risque de collusion évalué.

Par exemple, si temps avant collision calculé est de plusieurs minutes, le niveau d’alerte est minimal. Si le temps avant collision est de 10 secondes, un niveau d’alerte important de collision est levé.

Le module d’évitement 28 est configuré pour mettre en œuvre au moins une mesure de protection de l’aéronef 10 en fonction du risque de collision évalué.

La mesure de protection de l’aéronef est notamment la transmission de l’alerte à un opérateur de l’aéronef 10, notamment le pilote, afin qu’il puisse réagir et éviter l’objet 14 qui représente une menace de collision.

Cette manœuvre est notamment réalisée conformément aux règles de l’air en vigueur dans l’espace aérien comme par exemple celles définies par l’EASA dans le document « Easy Access Rules for Standardised European Rules of the Air ».

La mesure de protection de l’aéronef est, en variante ou en complément, la détermination d’une consigne d’évitement de l’objet 14 par l’aéronef 10 et la transmission de la consigne d’évitement à un système avionique de l’aéronef 10 ou à un opérateur de l’aéronef 10 pour la mise en œuvre de la consigne.

Le système avionique est par exemple le pilote automatique de l’aéronef 10 ou encore le « Flight Management System » ou (« Système de gestion de vol » en français).

Le module d’évitement 28 est en outre configuré pour valider la consigne déterminée.

La validation est réalisée par l’évaluation d’un risque de collision entre chaque objets 14 connu de la base de données 18 et l’aéronef 10 suivant la consigne d’évitement. Cette validation vise à prendre en compte l’ensemble des objets 14 et que l’évitement de l’un de ces objets 14 ne crée pas un risque de collision avec un autre objet 14.

Dans l’exemple de la figure 1 , le système électronique 20 comprend une unité de traitement d’informations formée par exemple d’une mémoire et d’un processeur associé à la mémoire. Le module d’acquisition 22, le module de traitement 24, le module de gestion 26, et en complément facultatif le module d’évitement 28 sont réalisés chacun sous forme d’un logiciel, ou d’une brique logicielle, exécutables par le processeur de type CPU ou GPU. La mémoire du système électronique 20 est alors apte à stocker un logiciel d’acquisition, un logiciel de traitement, un logiciel de gestion de la base de données et un logiciel d’évitement. Le processeur est alors apte à exécuter chacun de ces logiciels.

En variante non représentée, le module d’acquisition 22, le module de traitement 24, le module de gestion 26, et en complément facultatif le module d’évitement 28, sont réalisés chacun sous forme d’un composant logique programmable, tel qu’un FPGA (de l’anglais Field Programmable Gate Array), ou encore sous forme d’un circuit intégré dédié, tel qu’un ASIC (de l’anglais Application Specific Integrated Circuit).

Lorsque le système électronique 20 est réalisé sous forme d’un ou plusieurs logiciels, c’est-à-dire sous forme d’un programme d’ordinateur, il est en outre apte à être enregistré sur un support, non représenté, lisible par ordinateur. Le support lisible par ordinateur est par exemple, un médium apte à mémoriser les instructions électroniques et à être couplé à un bus d’un système informatique. A titre d’exemple, le support lisible est un disque optique, un disque magnéto-optique, une mémoire ROM, une mémoire RAM, tout type de mémoire non-volatile (par exemple EPROM, EEPROM, FLASH, NVRAM), une carte magnétique ou une carte optique. Sur le support lisible est alors mémorisé un programme d’ordinateur comportant des instructions logicielles.

Le fonctionnement du système électronique 20 selon l’invention va désormais être expliqué à l’aide de la figure 5 représentant un organigramme du procédé, selon l’invention, de détection d’un objet 14 dans l’environnement de l’aéronef 10, le procédé étant mis en œuvre par le système électronique 20.

Initialement, l’aéronef 10 survole le terrain 12, comme représenté sur la figure 1.

Ici, l’aéronef 10 est un drone.

En référence à la figure 1 , deux objets 14 sont ici présents dans l’environnement de l’aéronef 10.

Le premier objet 14 (à gauche sur la figure 1 ) a déjà été détecté par l’aéronef 10 précédemment. La base de données 18 comprend donc les caractéristiques associées à ce premier objet 14 dont notamment sa position, sa vitesse et son orientation.

Dans une première étape 100, le procédé de détection comprend un étape d’acquisition d’au moins une image issue des capteurs d’images 16 embarqués dans l’aéronef 10.

Puis, comme représenté sur la figure 2, lors d’une étape 110, le module de traitement 24 identifie l’horizon H sur l’image puis partitionne l’image en trois régions : une première région R1 au-dessus de l’horizon H, une deuxième région R2 en-dessous de l’horizon H et une troisième région R3 autour de l’horizon H. Puis le procédé comprend une étape 120 de détermination d’au moins une zone d’intérêt pour la détection d’un objet 14 constituée d’une sous-partie de ladite image.

La détermination étant réalisée par l’application : d’une méthode de détection de contraste dans la première région R1 ; d’une méthode de détection de mouvement relatif dans la deuxième région R2 ; d’une méthode de fenêtre glissante dans la troisième région R3.

Dans l’exemple de la figure 2, une zone d’intérêt ZI est déterminée autour de l’objet 14 détecté par contraste avec le ciel et une pluralité de zones d’intérêt ZI sont déterminées autour de l’horizon H par la méthode de fenêtre glissante.

Dans un mode de réalisation avantageux, l’étape de détermination 120 des zones d’intérêt est en outre réalisée au moyen d’une méthode de projection de la trajectoire T planifiée de l’aéronef 10 sur l’image, comme représenté sur les figure 3 et 4.

Suite à l’étape de détermination 120 d’au moins une zone d’intérêt, le procédé comprend avantageusement une étape de filtrage 130 des zones d’intérêt en fonction des éventuels recouvrements entre zones d’intérêts et/ou de la méthode de détermination utilisée.

Puis, le procédé comprend une étape 140 de détection de l’objet 14 est mis en œuvre au moyen d’un algorithme de traitement d’images sur la ou les zones d’intérêts et de détermination de l’au moins une caractéristique associée.

Lorsque l’objet 14 détecté n’est pas l’un des objets 14 connus de la base de données 180, comme par exemple le deuxième objet 14 dans la figure 1 , le procédé comprend une étape 160 d’ajout dans la base de données 18 de l’au moins une caractéristique associée à l’objet 14 détecté.

Lorsque l’objet 14 détecté est l’un des objets 14 connus de la base de données 18, comme par exemple le premier objet 14 de la figure 1 , le procédé comprend une étape 150 de mise à jour dans la base de données 18 de l’au moins une caractéristique associée à l’objet 14 détecté. En particulier, sa position, sa vitesse et son orientation sont mis à jour.

Le procédé comprend avantageusement une étape de balayage des images, hors des zones d’intérêt détectés, avec les ressources matérielles et temporelles encore disponibles suite aux étapes précédentes. L’étape de balayage est réalisée de manière conventionnel sur au moins une partie des images en cherchant à détecter éventuellement d’autres objets 14.

Puis, une étape d’évaluation 170 d’un risque de collision entre chaque objet 14 et l’aéronef 10 est avantageusement mise en œuvre.

Dans l’exemple de la figure 1 , un risque de collision est détecté avec le deuxième objet 14. Puis, le procédé comprend une étape 180 de mise en œuvre d’au moins une mesure de protection de l’aéronef 10 en fonction du risque de collision évalué.

La mesure de protection de l’aéronef est la transmission 190 de l’alerte à un opérateur de l’aéronef 10 et/ou la détermination 200 d’une consigne d’évitement de l’objet 14 par l’aéronef 10 et la transmission de la consigne d’évitement à un système avionique de l’aéronef 10 ou à un opérateur de l’aéronef 10 pour la mise en œuvre de la consigne.

Ici, dans l’exemple de la figure 1 , une nouvelle trajectoire est calculée afin d’éviter le deuxième objet 14. Cette nouvelle trajectoire est notamment envoyée au FMS.

Avantageusement, l’étape de détermination 200 d’une consigne d’évitement comprend une sous-étape de validation 210 de la consigne déterminée par évaluation d’un risque de collision entre chaque objet connu 14 de la base de données 18 et l’aéronef 10 suivant la consigne d’évitement.

Ici dans l’exemple de la figure 1 , la nouvelle trajectoire T calculée ne présente pas de risque de collision avec le premier objet 14 et ainsi cette trajectoire est validée.

On conçoit alors que la présente invention présente un certain nombre d’avantages.

En effet, le système électronique selon l’invention permet de détecter un objet dans l’environnement de l’aéronef en nécessitant des ressources matérielles limitées en terme d’encombrement dans l’aéronef. En effet, seul un capteur d’images et des moyens de calcul limités sont nécessaires afin de mettre en œuvre le procédé de détection selon l’invention.

Ceci est particulièrement avantageux lorsque l’aéronef est un drone avec des capacités d’embarquer du matériel encombrant limitées.

En outre, l’invention permet d’assurer une détection suffisamment réactive pour la sécurité de l’aéronef 10 permettant d’éviter les objets 14 présents dans son environnement.