Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND SYSTEM FOR MAPPING THE HEALTH STATUS OF CROPS
Document Type and Number:
WIPO Patent Application WO/2019/025716
Kind Code:
A1
Abstract:
The present invention concerns a method for mapping the health status of crops from images obtained from aerial imaging, implementing at least one of the following three types of imaging: visible, multispectral and hyperspectral, implementing a plurality of convolutional neural networks consisting of three main layers: convolution layers, subsampling layers and fully connected layers, said main layers being deployed in cascade in order to perform an automatic learning process; implementing a hierarchical architecture, in which a convolutional neural network is used for each resolution of said images, in which the information is analysed on a plurality of hierarchical levels and in which the learning elements produced at each of said convolutional neural networks are transmitted between the different resolution layers, at the three main layers: convolution layers, subsampling layers and fully connected layers; and implementing transition locks making it possible to parameterise the architecture and define which types of data are transmitted, said transition locks being represented by 0/1, the value 0 meaning that no information passes and the value 1 indicating that information passes. The present invention also relates to a system for mapping the health status of crops from images obtained from aerial imaging.

Inventors:
HAFIANE ADEL (FR)
Application Number:
PCT/FR2018/051962
Publication Date:
February 07, 2019
Filing Date:
July 31, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
UNIV ORLEANS (FR)
INSTITUT NAT DES SCIENCES APPLIQUEES CENTRE VAL DE LOIRE (FR)
International Classes:
G06K9/00
Foreign References:
US9530071B22016-12-27
Other References:
"Medical image computing and computer-assisted intervention - MICCAI 2015 : 18th international conference, Munich, Germany, October 5-9, 2015; proceedings", vol. 10111, 22 September 2016, SPRINGER INTERNATIONAL PUBLISHING, Cham, ISBN: 978-3-540-70543-7, ISSN: 0302-9743, article NICOLAS AUDEBERT ET AL: "Semantic Segmentation of Earth Observation Data Using Multimodal and Multi-scale Deep Networks", pages: 180 - 196, XP055402133, 032548, DOI: 10.1007/978-3-319-54181-5_12
D MARMANIS ET AL: "SEMANTIC SEGMENTATION OF AERIAL IMAGES WITH AN ENSEMBLE OF CNNS", ISPRS ANNALS OF PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES, 6 June 2016 (2016-06-06), Gottingen, pages 473 - 480, XP055469666, Retrieved from the Internet DOI: 10.5194/isprs-annals-III-3-473-2016
ZHAO WENZHI ET AL: "Learning multiscale and deep representations for classifying remotely sensed imagery", ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING, AMSTERDAM [U.A.] : ELSEVIER, AMSTERDAM, NL, vol. 113, 1 February 2016 (2016-02-01), pages 155 - 165, XP029430320, ISSN: 0924-2716, DOI: 10.1016/J.ISPRSJPRS.2016.01.004
P. BUYSSENS; A. ELMOATAZ, RÉSEAUX DE NEURONES CONVOLUTIONNELS MULTI-ÉCHELLE POUR LA CLASSIFICATION CELLULAIRE
E. HAMUDA; M. GLAVIN; E. JONES, A SURVEY OF IMAGE PROCESSING TECHNIQUES FOR PLANT EXTRACTION AND SEGMENTATION IN THE FIELD
C. HUNG; Z. XU; S. SUKKARIEH, FEATURE LEARNING BASED APPROACH FOR WEED CLASSIFICATION USING HIGH RESOLUTION AERIAL IMAGES FROM A DIGITAL CAMÉRA MOUNTED ON A UAV
W. ZHAO; S. DU, LEARNING MULTISCALE AND DEEP REPRÉSENTATIONS FOR CLASSIFYING REMOTELY SENSED IMAGERY
M. MEHDIPOUR; GAZI, B.; YANIKOGLU, E.; APTOULA, PLANT IDENTIFICATION USING DEEP NEURAL NETWORKS VIA OPTIMIZATION OF TRANSFER LEARNING PARAMETERS
Attorney, Agent or Firm:
DESCHAMPS, Samuel (FR)
Download PDF:
Claims:
REVENDICATIONS

Procédé de cartographie de l'état sanitaire de cultures à partir d'images issues d'imagerie aérienne, mettant en œuvre au moins un type d'imagerie parmi les trois types suivants d'imagerie : visible, multispectral et hyperspectral, caractérisé en ce qu'il comporte les étapes suivantes :

- Une étape de prétraitement de données, consistant à traiter les données brutes d'image pour filtrer l'information inutile, de façon à obtenir de nouvelles représentations facilitant l'apprentissage et la classification ;

- Décomposition desdites images en plusieurs échelles à l'aide de méthodes numériques, à l'aide d'étapes de sous-échantillonnage et de sur-échantillonnage, de façon à obtenir des basses et hautes résolutions numériques ;

- Mise en œuvre d'une pluralité de réseaux de neurones convolutifs (20, 21 , 22) composés de trois couches principales : couches de convolution, couches de sous-échantillonnage et couches totalement connectées, lesdites couches principales étant déployées en cascade afin d'effectuer un processus d'apprentissage automatique ;

- Mise en oeuvre d'une architecture hiérarchique, dans laquelle un réseau de neurones convolutif est utilisé pour chaque résolution desdites images, dans laquelle l'information est analysée sur plusieurs niveaux hiérarchiques et dans laquelle les éléments d'apprentissage produits au niveau de chacun desdits réseaux de neurones convolutifs sont transmis entre les différentes couches de résolution, au niveau des trois couches principales : couches de convolution, couches de sous-échantillonnage et couches totalement connectées ;

- Mise en œuvre de verrous de transition permettant de paramétrer l'architecture et définir quels types de données sont transmises, lesdits verrous de transition étant représentés par 0/1 , la valeur 0 signifiant qu'aucun passage d'information ne se produit et la valeur 1 indiquant un passage d'information ; - Transmission d'informations entre lesdits niveaux de résolution pour échanger des informations supplémentaires entre deux résolutions successives dans le but de renforcer l'efficacité de l'apprentissage ;

- Fusion des données en générant une probabilité d'appartenance à plusieurs classes de données ; et

- Etablissement d'une cartographie à l'aide des données en affichant des informations pertinentes sur l'état sanitaire des cultures.

Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon la revendication 1 , caractérisé en ce que, durant ladite étape de prétraitement de données, lesdites images sont découpées en blocs.

Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon la revendication 1 ou 2, caractérisé en ce que ladite étape de prétraitement de données comporte une sous-étape de calcul de l'indice NDVI (« Normalisée! Différence Végétation Index » en terminologie anglo-saxonne).

Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon l'une des revendications précédentes, caractérisé en ce que lors de ladite étape de décomposition desdites images en plusieurs échelles à l'aide de méthodes numériques, on distingue :

- Résolution physique, dépendant de l'optique utilisée pour la prise de vue et de l'altitude à laquelle l'acquisition desdites images est effectuée : et

- Résolution numérique, qui est obtenue à partir d'un sous- échantillonnage ou bien à partir d'un sur-échantillonnage.

Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon l'une des revendications précédentes, caractérisé en ce que ladite couche de convolution consiste en une opération de convolution 2D avec un ensemble de noyaux, pouvant être considéré comme un processus de filtrage générant des cartes de caractéristiques.

Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon l'une des revendications précédentes, caractérisé en ce que ladite couche de sous-échantillonnage est appliquée sur les images filtrées, en utilisant une valeur maximale ou moyenne sur un voisinage de 2 x 2 pixels. 7. Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon l'une des revendications précédentes, caractérisé en ce que ladite couche totalement connectée suit la dernière opération des deux premières couches, dites couche de convolution et couche de sous- échantillonnage, et se présente comme un réseau de neurones multicouches, fournissant une sortie indiquant la probabilité d'appartenance à une classe donnée.

Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon l'une des revendications précédentes, caractérisé en ce que lesdites couches dudit réseau de neurones génèrent des cartes de caractéristiques.

Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon l'une des revendications précédentes, caractérisé en ce que ladite étape de fusion des données comporte une sous-étape de construction d'une carte pour chaque résolution suivie d'une fusion à travers un affichage multicouches tel que dans un système d'information géographique ou SIG.

10. Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon l'une des revendications 1 à 8, caractérisé en ce que ladite étape de fusion des données met en œuvre une fusion par vote majoritaire, le résultat final dépendant du nombre d'occurrences d'une classe sur les différents niveaux de résolution.

1 1 . Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon l'une des revendications précédentes, caractérisé en ce que ladite étape d'établissement d'une cartographie met en œuvre un algorithme classifiant chaque zone d'une desdites images, la classification indiquant une catégorie de la zone analysée et chacune des classes de ladite classification correspondant à un état sanitaire identifié.

12. Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon l'une des revendications précédentes, caractérisé en ce que lesdites images sont géoréférencées, ce qui permet de connaître la position GPS (« Global Positioning System » en terminologie anglo- saxonne) de chacun des pixels de chacune desdites images.

13. Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon l'une des revendications précédentes, caractérisé en ce qu'il comporte en outre une étape de détection des lignes de culture.

14. Procédé de cartographie de l'état sanitaire de cultures à partir d'images selon la revendication 13, en ce que ladite étape de détection des lignes de culture comporte une sous-étape de segmentation et de détection de contour, suivie d'une transformée de Hough.

15. Système de cartographie de l'état sanitaire de cultures à partir d'images issues d'imagerie aérienne, mettant en œuvre au moins un type d'imagerie parmi les trois types suivants d'imagerie : visible, multispectral et hyperspectral, caractérisé en ce qu'il comporte :

- Des moyens pour prétraiter des données, consistant à traiter les données brutes d'image pour filtrer l'information inutile, de façon à obtenir de nouvelles représentations facilitant l'apprentissage et la classification ;

Des moyens pour décomposer lesdites images en plusieurs échelles à l'aide de méthodes numériques, à l'aide d'étapes de sous- échantillonnage et de sur-échantillonnage, de façon à obtenir des basses et hautes résolutions numériques ;

Des moyens pour mettre en œuvre une pluralité de réseaux de neurones (20, 21 , 22) convolutifs composés de trois couches principales : couches de convolution, couches de sous- échantillonnage et couches totalement connectées, lesdites couches principales étant déployées en cascade afin d'effectuer un processus d'apprentissage automatique ;

Des moyens pour mettre en oeuvre une architecture hiérarchique, dans laquelle un réseau de neurones convolutif est utilisé pour chaque résolution desdites images, dans laquelle l'information est analysée sur plusieurs niveaux hiérarchiques et dans laquelle les éléments d'apprentissage produits au niveau de chacun desdits réseaux de neurones convolutifs sont transmis entre les différentes couches de résolution, au niveau des trois couches principales : couches de convolution, couches de sous-échantillonnage et couches totalement connectées ;

Des moyens pour mettre en œuvre des verrous de transition permettant de paramétrer l'architecture et définir quels types de données sont transmises, lesdits verrous de transition étant représentés par 0/1 , la valeur 0 signifiant qu'aucun passage d'information ne se produit et la valeur 1 indiquant un passage d'information ;

Des moyens pour transmettre des informations entre lesdits niveaux de résolution pour échanger des informations supplémentaires entre deux résolutions successives dans le but de renforcer l'efficacité de l'apprentissage ;

Des moyens pour fusionner des données en générant une probabilité d'appartenance à plusieurs classes de données ; et - Des moyens pour établir une cartographie à l'aide des données en affichant des informations pertinentes sur l'état sanitaire des cultures.

Description:
PROCEDE ET SYSTEME DE CARTOGRAPHIE DE L'ETAT SANITAIRE DE

CULTURES

Domaine de l'invention

La présente invention se rapporte au domaine des technologies numériques pour l'agriculture et l'environnement.

La présente invention concerne plus particulièrement un procédé et un système de cartographie de l'état sanitaire de cultures.

Etat de la technique

L'agriculture est confrontée à des préoccupations sanitaires grandissantes. Les pathologies auxquelles se confrontent les agriculteurs génèrent de sérieux problèmes économiques et environnementaux, mettant leur activité en difficulté. L'utilisation des produits de traitement, qui permet de sécuriser la productivité, a des répercussions néfastes et dommageables sur les écosystèmes. Il est nécessaire de garantir la productivité, tout en réduisant l'impact environnemental des produits de traitement. L'utilisation des nouvelles technologies (capteurs, drones, etc.) constitue une démarche prometteuse pour répondre à ce problème. Bien que ces technologies aient connu un développement rapide dans l'agriculture pour les aspects de fertilisation, d'irrigation, etc., la détection et le suivi des maladies, ainsi que la minimisation de l'impact des intrants (phytosanitaires, etc.) est très peu développée.

On connaît dans l'état de la technique le brevet américain N ° US 9 530 071 B2, qui divulgue un réseau de neurones convolutif multi-échelles à architecture hiérarchique générant et traitant un ensemble d'images de résolutions différentes à partir d'une image d'entrée.

On connaît également dans l'état de la technique la publication scientifique "Réseaux de neurones convolutionnels multi-échelle pour la classification cellulaire", P. Buyssens, A. Elmoataz, qui décrit une architecture de réseaux de neurones convolutionnels multi-échelle pour la classification de cellules. Un traitement de l'image est réalisé pour des résolutions différentes de l'image, un réseau de neurones étant associé à chacune des résolutions. On connaît également dans l'état de la technique la publication scientifique "A framework of extracting multi-scale features using multiple convolutional neural networks", K.-C. Peng, T. Chen, qui divulgue une architecture de réseaux de neurones convolutifs multi-échelle faisant intervenir une pluralité de réseaux de neurones convolutifs associés chacun à une résolution de l'image d'entrée.

On connaît également dans l'état de la technique la publication scientifique "A survey of image processing techniques for plant extraction and segmentation in the field", E. Hamuda, M. Glavin, E. Jones, qui décrit des techniques de traitement d'images. En particulier, ce document de l'état de la technique s'intéresse au prétraitement des images et discute d'algorithmes d'extraction basés sur l'apprentissage. Ce document de l'état de la technique divulgue notamment un post-traitement permettant une amélioration du contraste de l'image et une suppression du bruit.

On connaît également dans l'état de la technique la publication scientifique "Feature learning based approach for weed classification using high resolution aerial images from a digital caméra mounted on a UAV", C. Hung, Z. Xu, S. Sukkarieh, qui divulgue une approche basée sur l'apprentissage pour simplifier l'interprétation des données collectées par des caméras numériques embarquées sur des drones. Cette approche est appliquée aux espèces végétales envahissantes.

On connaît également dans l'état de la technique la publication scientifique "Learning multiscale and deep représentations for classifying remotely sensed imagery", W. Zhao, S. Du, qui décrit un algorithme de réseau de neurones multi-échelles alimenté par un ensemble d'images, issues d'une même image, à des résolutions différentes. L'apprentissage du réseau de neurone se fait à travers les différentes résolutions. On connaît également dans l'état de la technique la publication scientifique "Multi-scale volumes for deep object détection and localization", E. Ohn-bar, M. Manubhai Trivedi, qui décrit des modèles d'apprentissage de réseaux de neurones convolutifs multi-échelles permettant de bénéficier des informations disponibles à chaque résolution.

On connaît également dans l'état de la technique la publication scientifique "Plant identification using deep neural networks via optimization of transfer learning parameters", M. Mehdipour Gazi, B. Yanikoglu, E. Aptoula, qui divulgue des réseaux de neurones convolutifs pour l'identification d'espèces végétales à partir de photographies, et évalue les facteurs critiques susceptibles d'affecter la performance de ces réseaux. Exposé de l'invention

La présente invention entend remédier aux inconvénients de l'art antérieur en proposant un procédé permettant de cartographier l'état sanitaire des cultures à partir de l'imagerie aérienne.

Les Inventeurs de la présente invention ont développé un procédé basé sur la détection de l'état sanitaire des cultures à partir d'images aériennes, obtenues par des capteurs montés sur des drones. Les Inventeurs de la présente invention proposent une architecture de détection automatique, qui s'appuie sur l'apprentissage profond ou « Deep Learning » en terminologie anglo-saxonne. Ce type d'outil permet d'analyser l'évolution des foyers et de mettre en œuvre la stratégie optimale de lutte, en appliquant des doses suffisantes, au bon endroit et au bon moment en minimisant l'impact environnemental.

A cet effet, la présente invention concerne, dans son acception la plus générale, un procédé de cartographie de l'état sanitaire de cultures à partir d'images issues d'imagerie aérienne, mettant en œuvre au moins un type d'imagerie parmi les trois types suivants d'imagerie : visible, multispectral et hyperspectral, comportant les étapes suivantes :

- Une étape de prétraitement de données, consistant à traiter les données brutes d'image pour filtrer l'information inutile, de façon à obtenir de nouvelles représentations facilitant l'apprentissage et la classification ;

- Décomposition desdites images en plusieurs échelles à l'aide de méthodes numériques, à l'aide d'étapes de sous-échantillonnage et de sur-échantillonnage, de façon à obtenir des basses et hautes résolutions numériques ;

- Mise en œuvre d'une pluralité de réseaux de neurones convolutifs composés de trois couches principales : couches de convolution, couches de sous-échantillonnage et couches totalement connectées, lesdites couches principales étant déployées en cascade afin d'effectuer un processus d'apprentissage automatique ;

- Mise en oeuvre d'une architecture hiérarchique, dans laquelle un réseau de neurones convolutif est utilisé pour chaque résolution desdites images, dans laquelle l'information est analysée sur plusieurs niveaux hiérarchiques et dans laquelle les éléments d'apprentissage produits au niveau de chacun desdits réseaux de neurones convolutifs sont transmis entre les différentes couches de résolution, au niveau des trois couches principales : couches de convolution, couches de sous-échantillonnage et couches totalement connectées ;

- Mise en œuvre de verrous de transition permettant de paramétrer l'architecture et définir quels types de données sont transmises, lesdits verrous de transition étant représentés par 0/1 , la valeur 0 signifiant qu'aucun passage d'information ne se produit et la valeur 1 indiquant un passage d'information ;

- Transmission d'informations entre lesdits niveaux de résolution pour échanger des informations supplémentaires entre deux résolutions successives dans le but de renforcer l'efficacité de l'apprentissage ;

- Fusion des données en générant une probabilité d'appartenance à plusieurs classes de données ; et - Etablissement d'une cartographie à l'aide des données en affichant des informations pertinentes sur l'état sanitaire des cultures.

Le procédé selon la présente invention permet à un agriculteur d'optimiser ses interventions, d'économiser les intrants et de réduire l'impact environnemental.

De préférence, durant ladite étape de prétraitement de données, lesdites images sont découpées en blocs.

Avantageusement, ladite étape de prétraitement de données comporte une sous-étape de calcul de l'indice NDVI (« Normalisée! Différence Végétation Index » en terminologie anglo-saxonne). Selon un mode de mise en œuvre particulier, ladite étape de détection des lignes de culture comporte une sous-étape de segmentation et de détection de contour, suivie d'une transformée de Hough.

Selon un mode de réalisation, lors de ladite étape de décomposition desdites images en plusieurs échelles à l'aide de méthodes numériques, on distingue :

- Résolution physique, dépendant de l'optique utilisée pour la prise de vue et de l'altitude à laquelle l'acquisition desdites images est effectuée : et

- Résolution numérique, qui est obtenue à partir d'un sous- échantillonnage ou bien à partir d'un sur-échantillonnage.

Selon un mode de réalisation, ladite couche convolutive consiste en une opération de convolution 2D avec un ensemble de noyaux, pouvant être considéré comme un processus de filtrage générant des cartes de caractéristiques. Selon un mode de réalisation, ladite couche de sous-échantillonnage est appliquée sur les images filtrées, en utilisant une valeur maximale ou moyenne sur un voisinage de 2 x 2 pixels.

Selon un mode de réalisation, ladite couche entièrement connectée suit la dernière opération des deux premières couches, dites couche convolutive et couche de sous-échantillonnage, et se présente comme un réseau de neurones multicouches, fournissant une sortie indiquant la probabilité d'appartenance à une classe donnée.

Selon un mode de réalisation, lesdites couches dudit réseau de neurones génèrent des cartes de caractéristiques. Selon un mode de réalisation, ladite étape de fusion des données comporte une sous-étape de construction d'une carte pour chaque résolution suivie d'une fusion à travers un affichage multicouches tel que dans un système d'information géographique ou SIG. Selon un autre mode de réalisation, ladite étape de fusion des données met en œuvre une fusion par vote majoritaire, le résultat final dépendant du nombre d'occurrences d'une classe sur les différents niveaux de résolution.

Avantageusement, ladite étape d'établissement d'une cartographie met en œuvre un algorithme classifiant chaque zone d'une desdites images, la classification indiquant une catégorie de la zone analysée et chacune des classes de ladite classification correspondant à un état sanitaire identifié.

De préférence, lesdites images sont géoréférencées, ce qui permet de connaître la position GPS {« Global Positioning System » en terminologie anglo-saxonne) de chacun des pixels de chacune desdites images. Selon un mode de mise en œuvre particulier, ledit procédé comporte en outre une étape de détection des lignes de culture.

La présente invention se rapporte également à un système de cartographie de l'état sanitaire de cultures à partir d'images issues d'imagerie aérienne, mettant en œuvre au moins un type d'imagerie parmi les trois types suivants d'imagerie : visible, multispectral et hyperspectral, comportant :

- Des moyens pour prétraiter des données, consistant à traiter les données brutes d'image pour filtrer l'information inutile, de façon à obtenir de nouvelles représentations facilitant l'apprentissage et la classification ;

- Des moyens pour décomposer lesdites images en plusieurs échelles à l'aide de méthodes numériques, à l'aide d'étapes de sous- échantillonnage et de sur-échantillonnage, de façon à obtenir des basses et hautes résolutions numériques ;

- Des moyens pour mettre en œuvre une pluralité de réseaux de neurones convolutifs composés de trois couches principales : couches de convolution, couches de sous-échantillonnage et couches totalement connectées, lesdites couches principales étant déployées en cascade afin d'effectuer un processus d'apprentissage automatique ;

- Des moyens pour mettre en oeuvre une architecture hiérarchique, dans laquelle un réseau de neurones convolutif est utilisé pour chaque résolution desdites images, dans laquelle l'information est analysée sur plusieurs niveaux hiérarchiques et dans laquelle les éléments d'apprentissage produits au niveau de chacun desdits réseaux de neurones convolutifs sont transmis entre les différentes couches de résolution, au niveau des trois couches principales : couches de convolution, couches de sous-échantillonnage et couches totalement connectées ;

- Des moyens pour mettre en œuvre des verrous de transition permettant de paramétrer l'architecture et définir quels types de données sont transmises, lesdits verrous de transition étant représentés par 0/1 , la valeur 0 signifiant qu'aucun passage d'information ne se produit et la valeur 1 indiquant un passage d'information ;

- Des moyens pour transmettre des informations entre lesdits niveaux de résolution pour échanger des informations supplémentaires entre deux résolutions successives dans le but de renforcer l'efficacité de l'apprentissage ;

- Des moyens pour fusionner des données en générant une probabilité d'appartenance à plusieurs classes de données ; et

- Des moyens pour établir une cartographie à l'aide des données en affichant des informations pertinentes sur l'état sanitaire des cultures.

Brève description des dessins On comprendra mieux l'invention à l'aide de la description, faite ci-après à titre purement explicatif, d'un mode de réalisation de l'invention, en référence aux Figures dans lesquelles :

• la Figure 1 illustre une image avec différents spectres ;

• la Figure 2 représente un exemple de construction de plusieurs résolutions à partir de l'image originale (k) ;

• la Figure 3 illustre l'architecture de la structure de détection ;

• la Figure 4 représente l'architecture pour le transfert de données inter-couches d'apprentissage ; et

• la Figure 5 illustre un exemple de mesure de zones sensibles sur une image.

Description détaillée des modes de réalisation de l'invention

La présente invention se rapporte à un procédé de cartographie de l'état sanitaire de cultures à partir d'images issues d'imagerie aérienne, mettant en œuvre au moins un type d'imagerie parmi les trois types suivants d'imagerie : visible, multispectral et hyperspectral, comportant les étapes suivantes :

- Une étape de prétraitement de données, consistant à traiter les données brutes d'image pour filtrer l'information inutile, de façon à obtenir de nouvelles représentations facilitant l'apprentissage et la classification ;

- Décomposition desdites images en plusieurs échelles à l'aide de méthodes numériques, à l'aide d'étapes de sous-échantillonnage et de sur-échantillonnage, de façon à obtenir des basses et hautes résolutions numériques ;

- Mise en œuvre d'une pluralité de réseaux de neurones convolutifs 20, 21 , 22 composés de trois couches principales : couches de convolution, couches de sous-échantillonnage et couches totalement connectées, lesdites couches principales étant déployées en cascade afin d'effectuer un processus d'apprentissage automatique ;

- Mise en oeuvre d'une architecture hiérarchique, dans laquelle un réseau de neurones convolutif est utilisé pour chaque résolution desdites images, dans laquelle l'information est analysée sur plusieurs niveaux hiérarchiques et dans laquelle les éléments d'apprentissage produits au niveau de chacun desdits réseaux de neurones convolutifs sont transmis entre les différentes couches de résolution, au niveau des trois couches principales : couches de convolution, couches de sous-échantillonnage et couches totalement connectées ;

- Mise en œuvre de verrous de transition permettant de paramétrer l'architecture et définir quels types de données sont transmises, lesdits verrous de transition étant représentés par 0/1 , la valeur 0 signifiant qu'aucun passage d'information ne se produit et la valeur 1 indiquant un passage d'information ;

- Transmission d'informations entre lesdits niveaux de résolution pour échanger des informations supplémentaires entre deux résolutions successives dans le but de renforcer l'efficacité de l'apprentissage ;

- Fusion des données en générant une probabilité d'appartenance à plusieurs classes de données ; et Etablissement d'une cartographie à l'aide des données en affichant des informations pertinentes sur l'état sanitaire des cultures.

L'objectif du procédé selon la présente invention est de cartographier l'état sanitaire des cultures à partir de l'imagerie aérienne. Pour cela, différents types d'images sont exploités : visible, multispectral et hyperspectral, comme illustré Figure 1 . En exploitant ces données avec un algorithme d'apprentissage automatique, on peut catégoriser chaque zone de l'image. Ceci permet d'établir une carte des zones sensibles dans un champ de culture. Dans ce cadre, les Inventeurs de la présente invention proposent une approche basée sur une analyse multirésolution et l'apprentissage profond ou « Deep Learning » en terminologie anglo-saxonne. Le procédé selon la présente invention s'appuie sur une architecture de réseaux de neurones convolutifs 20, 21 , 22 ou « Convolutional Neural Networks (CNN) ».

La Figure 1 illustre une image avec différents spectres. En (a), on observe les canaux standards d'une image dans le visible. En (b), on observe une image multispectrale typique pour l'agriculture. En (c), on observe une image hyperspectrale, qui peut avoir une centaine de bandes spectrales.

Le procédé selon la présente invention comporte une étape de prétraitement de données, consistant à traiter les données brutes d'image pour filtrer l'information inutile, de façon à obtenir de nouvelles représentations facilitant l'apprentissage et la classification.

Dans un mode de réalisation, en ce qui concerne la phase d'apprentissage, les images sont découpées en blocs, ou patches, typiquement 64 * 64 ou 128 * 128 pixels. Chaque bloc est répertorié dans une catégorie spécifique, dépendant de l'état sanitaire observé sur le terrain.

Les données brutes sont manipulées pour filtrer l'information utile et obtenir de nouvelles représentations qui facilitent l'apprentissage et la classification. Par exemple, dans un mode de réalisation, à partir des images multispectrales, on peut calculer l'indice NDVI (« Normalisée! Différence Végétation index » en terminologie anglo-saxonne). Cet indice reflète l'activité chlorophylle des plantes, une mesure importante pour séparer la végétation du reste. L'analyse en composante principale ou curviligne permet de réduire l'information redondante et d'augmenter les performances de séparation dans l'espace des caractéristiques. Aussi, le filtrage de certaines composantes spectrales permet d'éliminer des informations inutiles.

Dans un mode de réalisation, le procédé selon la présente invention comporte une étape de détection des lignes de culture. Cette étape permet de disposer d'informations a priori sur les positions spatiales de toute culture. Pour cela, il est possible d'envisager une étape de segmentation et de détection de contour suivi, d'une transformée de Hough, ainsi un traitement sur le parallélisme des lignes.

Le procédé selon la présente invention comporte également une étape de décomposition desdites images en plusieurs échelles à l'aide de méthodes numériques, à l'aide d'étapes de sous-échantillonnage et de suréchantillonnage, de façon à obtenir des basses et hautes résolutions numériques. Dans ce cadre, on peut distinguer une résolution physique et une résolution numérique. La première dépend de l'optique et de l'altitude à laquelle l'acquisition est effectuée. La seconde est obtenue à partir d'un sous- échantillonnage ou d'un sur-échantillonnage. La Figure 2 représente un exemple de construction de plusieurs résolutions à partir de l'image originale (k).

Les réseaux de neurones convolutifs (CNN), sont parmi les approches les plus efficaces de l'apprentissage automatique appliqué au domaine de l'image. Généralement, ils sont composés de trois couches principales : couches de convolution ou « convolutional layers » en terminologie anglo- saxonne, couches de sous-échantillonnage ou « polling layers » en terminologie anglo-saxonne et les couches totalement connectées ou « fully connectée! (FC) layers » en terminologie anglo-saxonne. Les trois couches principales sont déployées en cascade pour effectuer le processus d'apprentissage. La couche convolutive typique consiste en une opération de convolution 2D avec un ensemble de noyaux, qui peut être considéré comme un processus de filtrage générant des cartes de caractéristiques. La couche de sous échantillonnage est appliquée sur les images filtrées, en utilisant une valeur maximale ou moyenne sur un voisinage de 2 * 2 pixels. La couche entièrement connectée suit la dernière opération des deux premières couches. Elle se présente comme un réseau de neurones multicouche classique et fournit une sortie indiquant la probabilité d'appartenance à une classe donnée. Les Inventeurs de la présente invention introduisent une nouvelle architecture basée sur un apprentissage hiérarchique, où, pour chaque résolution, un réseau convolutif est utilisé. L'utilisation de plusieurs résolutions permet d'analyser l'information sur plusieurs niveaux hiérarchiques. Afin de renforcer l'apprentissage, il est judicieux d'utiliser un apprentissage parallèle impliquant plusieurs échelles de résolutions 10, 1 1 , 12. De plus, les éléments d'apprentissage produits au niveau de chaque CNN 20, 21 et 22 sont transmis entre les différentes couches de résolutions. La Figure 3 illustre l'architecture de la structure de détection. Pour une résolution k, on dispose de plusieurs spectres. Les sorties CNN de chaque résolution 10, 1 1 , 12 sont combinées, à l'aide d'un bloc de fusion 23. Ce bloc de fusion 23 compile les résultats obtenus pour avoir une meilleure classification.

On observe sur la Figure 3, les images 10, 1 1 , 12 de différentes résolutions, qui sont transmis à des CNN 20, 21 et 22. Après passage dans les CNN 20, 21 et 22, les données sont transmises dans le bloc de fusion 23, qui fournit une sortie 24.

Le procédé selon la présente invention comporte également une étape de transmission d'information inter niveau de résolution. Le but de cette approche est d'échanger des informations supplémentaires entre deux résolutions successives, afin de renforcer l'apprentissage par une analyse multi-échelles. En effet, les couches « Conv-Pool » 30, 31 , 32 et 33 du réseau génèrent des cartes de caractéristiques. Elles peuvent être différentes dans chaque résolution. Introduire ces cartes dans l'apprentissage pour une résolution donnée permet d'enrichir les phases d'apprentissage et d'avoir une profondeur suffisante de l'espace des caractéristiques pour une meilleure efficacité. Pour les couches « FC » ou couches totalement connectées 34, 35, 36 et 37, ceci permet de renforcer le réseau de neurones par de nouvelles connexions provenant d'une autre échelle de résolution.

La Figure 4 représente l'architecture pour le transfert de données intercouches d'apprentissage.

On observe sur la Figure 4 que des images 10, 1 1 de résolution k-1 et k sont transmises aux CNN 20 et 21 . Un traitement est d'abord effectué au niveau des couches « Conv-Pool » 30, 31 , 32 et 33 du réseau, puis au niveau des couches «FC » ou couches totalement connectées 34, 35, 36 et 37.

Il est à noter que la transmission des données d'apprentissage entre les résolutions ne mène pas systématiquement aux meilleures performances. Cela dépend du type de données (images utilisées), de l'application visée et de l'ensemble d'apprentissage employé, etc. Pour cette raison, les Inventeurs de la présente invention ont introduit des verrous de transitions pour paramétrer l'architecture et définir quels types de données sont transmises. Ces verrous sont représentés par 0/1 , comme illustré Figure 4, 0 signifiant qu'il n'y a pas de passage d'information et 1 indiquant un passage d'information.

Le procédé selon la présente invention comporte également une étape de fusion des données en générant une probabilité d'appartenance à plusieurs classes de données. Une fonction softmax génère une probabilité d'appartenance à une classe. On a une sortie de classification pour chaque résolution. Dans un mode de réalisation, on construit une carte pour chaque résolution, puis on effectue une fusion à travers un affichage multi-couche tel que dans un système d'information géographique ou SIG. Dans un autre mode de réalisation, on effectue une fusion par vote majoritaire : le résultat final dépend du nombre d'occurrences d'une classe sur les différents niveaux de résolutions. On observe sur la Figure 3 les blocs 38 et 39 de fonction softmax qui sont mis en œuvre avant le bloc 23 de fusion, qui fournit une sortie 24.

Enfin, le procédé selon la présente invention comporte une étape de cartographie. Le but de cette dernière étape est d'afficher des informations pertinentes sur l'état sanitaire d'une culture. Etant donnée une nouvelle acquisition avec image aérienne sur une culture, l'algorithme permet de classifier chaque zone de l'image en utilisant le modèle d'apprentissage présenté ci-dessus. Ce modèle est construit hors ligne (« off line » en terminologie anglo-saxonne. La classification indique la catégorie de la zone analysée, chaque classe correspondant à un état sanitaire bien identifié. Ceci permet d'établir une carte des zones sensibles à l'échelle du pixel ou à l'échelle d'un bloc de N * N, comme illustré sur la Figure 5. La Figure 5 illustre un exemple de mesure de zones sensibles sur une image acquise par drone et un capteur multispectral avec les bandes suivantes : rouge, vert et proche infrarouge. En (a), on observe l'image originale. En (b), on observe la détection de zone sensible à l'échelle pixelique. En (c), on observe une image originale divisée en blocs de 64 * 64 pixels. Enfin, en (d), on observe une classification des blocs de l'image.

Dans la plupart des acquisitions, les images sont géoréférencées. Il est donc possible de disposer d'une position GPS de chaque pixel. Ainsi, les résultats obtenus peuvent être intégrés dans un système de gestion des cultures, et peuvent aussi être combinés à des données auxiliaires. Avec ce type de système, les moyens de traitement peuvent être optimisés en agissant sur des zones localisées, ce qui permet de réduire l'impact environnemental, économique et sanitaire. La présente invention se rapporte également à un système de cartographie de l'état sanitaire de cultures à partir d'images issues d'imagerie aérienne, mettant en œuvre au moins un type d'imagerie parmi les trois types suivants d'imagerie : visible, multispectral et hyperspectral, comportant : Des moyens pour prétraiter des données, consistant à traiter les données brutes d'image pour filtrer l'information inutile, de façon à obtenir de nouvelles représentations facilitant l'apprentissage et la classification ;

Des moyens pour décomposer lesdites images en plusieurs échelles à l'aide de méthodes numériques, à l'aide d'étapes de sous- échantillonnage et de sur-échantillonnage, de façon à obtenir des basses et hautes résolutions numériques ;

Des moyens pour mettre en œuvre une pluralité de réseaux de neurones convolutifs composés de trois couches principales : couches de convolution, couches de sous-échantillonnage et couches totalement connectées, lesdites couches principales étant déployées en cascade afin d'effectuer un processus d'apprentissage automatique ;

Des moyens pour mettre en oeuvre une architecture hiérarchique, dans laquelle un réseau de neurones 20, 21 , 22 convolutif est utilisé pour chaque résolution desdites images, dans laquelle l'information est analysée sur plusieurs niveaux hiérarchiques et dans laquelle les éléments d'apprentissage produits au niveau de chacun desdits réseaux de neurones convolutifs sont transmis entre les différentes couches de résolution, au niveau des trois couches principales : couches de convolution, couches de sous-échantillonnage et couches totalement connectées ;

Des moyens pour mettre en œuvre des verrous de transition permettant de paramétrer l'architecture et définir quels types de données sont transmises, lesdits verrous de transition étant représentés par 0/1 , la valeur 0 signifiant qu'aucun passage d'information ne se produit et la valeur 1 indiquant un passage d'information ;

Des moyens pour transmettre des informations entre lesdits niveaux de résolution pour échanger des informations supplémentaires entre deux résolutions successives dans le but de renforcer l'efficacité de l'apprentissage ; - Des moyens pour fusionner des données en générant une probabilité d'appartenance à plusieurs classes de données ; et

- Des moyens pour établir une cartographie à l'aide des données en affichant des informations pertinentes sur l'état sanitaire des cultures.

L'invention est décrite dans ce qui précède à titre d'exemple. Il est entendu que l'homme du métier est à même de réaliser différentes variantes de l'invention sans pour autant sortir du cadre du brevet.