Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR COUNTING AND IDENTIFYING FISH SPECIES AT A GIVEN LOCATION
Document Type and Number:
WIPO Patent Application WO/2018/033588
Kind Code:
A1
Abstract:
The invention relates to a method for counting and identifying moving objects, P1 to PX, at a given location, characterised in that it comprises the following sequence of steps, implemented by computer means: ‐ recording a video of moving objects at a given location, starting at time Tinitial and finishing at time Tfinal, ‐ shape recognition of the moving objects by computer means in order to produce a dynamic trace of each of the recognised shapes P1 to PX, ‐ detecting, by means of image analysis, the maximum number of pixels associated with each recognised and traced object shape of fish P1 to PX, ‐ calibration of each trace of the object in relation to the general time-line of the entire video between Tinitial and Tfinal, ‐ visual determination of the identification of each object by an expert from the image of the video comprising a maximum number of pixels for each of objects P1 to PX and entering of the name of the identity of the object. The method applies in particular to the counting and determination of fish species.

Inventors:
MALLET DELPHINE (NC)
Application Number:
PCT/EP2017/070807
Publication Date:
February 22, 2018
Filing Date:
August 17, 2017
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
MALLET DELPHINE (NC)
International Classes:
G06K9/00
Other References:
HOSSAIN EKRAM ET AL: "Fish activity tracking and species identification in underwater video", 2016 5TH INTERNATIONAL CONFERENCE ON INFORMATICS, ELECTRONICS AND VISION (ICIEV), IEEE, 13 May 2016 (2016-05-13), pages 62 - 66, XP033012703, DOI: 10.1109/ICIEV.2016.7760189
HUANG PHOENIX X ET AL: "Hierarchical classification with reject option for live fish recognition", MACHINE VISION AND APPLICATIONS, SPRINGER VERLAG, DE, vol. 26, no. 1, 19 September 2014 (2014-09-19), pages 89 - 102, XP035424895, ISSN: 0932-8092, [retrieved on 20140919], DOI: 10.1007/S00138-014-0641-2
CHUANG MENG-CHE ET AL: "A Feature Learning and Object Recognition Framework for Underwater Fish Images", IEEE TRANSACTIONS ON IMAGE PROCESSING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 25, no. 4, 30 April 2016 (2016-04-30), pages 1862 - 1872, XP011602611, ISSN: 1057-7149, [retrieved on 20160308], DOI: 10.1109/TIP.2016.2535342
DELPHINE MALLET: "UNIVERSITE DE LA NOUVELLE-CALEDONIE Ecole Doctorale du Pacifique (ED 469) Thèse de doctorat Discipline : Ecologie marine & Systèmes d'observation Présentée par DES SYSTEMES VIDEO ROTATIFS POUR ETUDIER L'ICHTYOFAUNE", 24 April 2014 (2014-04-24), XP055362976, Retrieved from the Internet [retrieved on 20170407]
RIFE J ET AL: "Segmentation methods for visual tracking of deep-ocean jellyfish using a conventional camera", IEEE JOURNAL OF OCEANIC ENGINEERING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, vol. 28, no. 4, 31 October 2003 (2003-10-31), pages 595 - 608, XP011104559, ISSN: 0364-9059, DOI: 10.1109/JOE.2003.819315
Attorney, Agent or Firm:
CENATIEMPO, Julie (FR)
Download PDF:
Claims:
REVEN DI CATIO NS

1. Procédé de comptage et d'identification d'objets mobiles, Pi à Ρχ en un lieu donné, caractérisé en ce qu'il comprend la succession des étapes suivantes, mises en œuvre par des moyens informatiques :

enregistrement d'une vidéo des objets mobiles en un lieu donné, débutant au temps Tinitiai et finissant au temps Tfinai,

reconnaissance de forme des objets mobiles par les moyens informatiques afin d'affecter une trace dynamique à chacune des formes reconnues Pi à Ρχ,

détection au moyen de l'analyse d'images du plus grand nombre de pixels associé à chaque forme d'objet reconnue et tracée des poissons Pi à Ρχ,

calage de chaque trace de l'objet en regard de la ligne du temps générale de ladite vidéo complète,

détermination visuelle de l'identification de chaque objet par un expert à partir de l'image de la vidéo comprenant un plus grand nombre de pixels pour chacun des objets Pi à Px.

2. Procédé de comptage et d'identification d'objets mobiles Pi à Px en un lieu donné selon la revendication 1, caractérisé en ce que les objets mobiles sont des espèces de poissons en mouvement en milieu aquatique et l'identité de l'objet est l'espèce de chaque poisson, ledit procédé comprenant les étapes suivantes mises en œuvre par des moyens informatiques : enregistrement d'une vidéo en milieu aquatique un lieu donné, débutant au temps Tinitiai et finissant au temps Tfinai,

reconnaissance de forme des poissons en mouvement par les moyens informatiques afin d'affecter une trace dynamique à chacune des formes reconnues Pi à Px, détection au moyen de l'analyse d'images du plus grand nombre de pixels associé à chaque forme reconnue et tracée des poissons Pi à Px,

calage de chaque trace en regard de la ligne du temps générale de ladite vidéo complète,

détermination visuelle de l'espèce de chaque poisson par un expert à partir de l'image de la vidéo comprenant le plus grand nombre de pixels pour chacun des poissons Pi à Px.

3. Procédé de comptage et d'identification d'espèces de poissons PI à PX en un lieu donné, selon la revendication 2, caractérisé en ce que le nombre de poissons de chaque espèce est compté à un instant donné situé entre Tinitiai et Tfinai.

4. Procédé de comptage et d'identification d'espèces de poissons PI à PX en un lieu donné, selon la revendication 2 ou 3, caractérisé en ce que l'enregistrement vidéo est réalisé sur 360° en statique.

5. Procédé de comptage et d'identification d'espèces de poissons PI à PX en un lieu donné, selon l'une quelconque des revendications 2 à 4, caractérisé en ce que, dans le cas d'un poisson qui passe derrière un autre poisson ou derrière un obstacle, ledit procédé prévoit une extrapolation par calcul de la vitesse du poisson sur la trace et le repérage de la direction.

Description:
PROCEDE DE COMPTAGE ET D'IDENTIFICATION D'ESPECES DE POISSONS EN UN LIEU

DONNE

La présente invention vise à déterminer le nombre de poissons et les espèces en un lieu donné, de préférence sur 360°.

Le nombre et les espèces de poissons sont des informations importantes pour le suivi des espèces et pour la biologie marine en général.

On entend pour la suite de la description par "comptage et identification d'espèces de poissons" c'est-à-dire le nombre de poissons par espèces dont on peut déduire tant le nombre total de poissons que le nombre total d'espèces.

Afin de déterminer les nombres et espèces de poissons en milieu aquatique, en un lieu donné, une solution consiste actuellement à placer un plongeur au fond de l'eau qui note sur une tablette les espèces et nombre de poissons qu'il voit.

Il est difficile pour le plongeur de voir ailleurs que dans son champ de vision, il faut une logistique importante, il faut retranscrire les informations, les sorties dépendent des conditions météo, la durée est nécessairement limitée.

Cette solution est complexe coûteuse et ne fait appel à aucune technologie moderne utilisant des moyens informatiques.

De plus, pour reconnaître les espèces et compter il faut un expert pour effectuer ce travail qui reste d'un intérêt limité lors d'une plongée de comptage, surtout pour un biologiste marin par exemple.

Une solution consiste à faire enregistrer par une caméra vidéo numérique, sur 360°, les poissons qui circulent dans le champ de la caméra.

Les informations sont ensuite traitées visuellement en regardant ledit enregistrement de la caméra sur un écran en prenant le temps nécessaire.

On constate alors que le travail n'est pas simple car il existe de très nombreux cas de figures. Le temps d'analyse est important et nécessite aussi une expertise tout au long de la visualisation. L'identification prend environ 2 minutes et 30 secondes quand on fait le bilan moyen final, cette valeur étant issue de plus de 600 vidéos visualisées. Ceci est très important, cela correspond à des durées de 15 minutes à 2H30 pour une vidéo de 10 minutes.

La vidéo peut inclure peu de poissons mais le fait de faire ce travail soigneusement implique de revenir en arrière, de zoomer et le temps est toujours supérieur à la durée de la vidéo. De plus même si le nombre de poissons est limité, il faut visualiser toute la vidéo.

Quand les poissons sont très nombreux, il faut non seulement beaucoup de temps mais il faut aussi prévoir des poses pour reposer les yeux mais aussi le cerveau qui travaille avec une forte concentration pour effectuer toutes les corrélations mentales.

De fait, cette solution différée est intéressante par rapport au direct mais les inconvénients restent nombreux.

On constate que l'analyse étant humaine, il peut y avoir des erreurs normales et on constate que deux experts différents ne donnent pas les mêmes conclusions, en plus de la fatigue, du coût lié à l'expertise, du non intérêt de la mission en elle-même.

De plus pour le biologiste marin, ce qui est intéressant ce n'est pas le travail de dénombrement et l'affectation d'une espèce à chaque poisson, ce sont les conclusions que l'on peut tirer des chiffres obtenus.

Le but de la présente invention est de proposer un procédé de comptage et de détermination des espèces qui soit en partie automatisé de façon à limiter les interventions des experts et à limiter le temps d'expertises. Ceci aura aussi un grand intérêt car ces opérations de comptage et de détermination pourront être plus nombreuses donc le suivi sera plus fin et les données plus nombreuses, plus reproductible et comportant moins d'erreurs.

Le procédé de comptage et de détermination de la présente invention est maintenant décrit selon un mode de réalisation particulier, non limitatif, en regard des figures annexées qui représentent :

- Figure 1 : une vue d'une représentation d'une trace de circulation d'un poisson,

Figure 2 : une vue d'une vidéo traitée selon le procédé de la présente invention, Figure 3 : une vue des moyens de travail à la disposition de l'expert,

Figure 4 : une vue du tableau en cours de travail.

Le procédé selon la présente invention consiste, dans un mode préférentiel de l'invention, à enregistrer une vidéo à 360° au moyen d'une caméra Haute Définition, par exemple 1920 x 1080 pixels, disposée sur un support lesté au fond de l'eau afin de ne pas engendrer de perturbations d'un être humain comme un plongeur ou la présence d'un bateau à proximité. La vidéo est par exemple au format MPEG-4 ou M2TS.

Le lieu est déterminé par les besoins des chercheurs ou plus généralement des utilisateurs. La vidéo ayant enregistré les poissons en mouvement est ensuite disponible pour une visualisation sur écran.

La vidéo est alors traitée par le procédé selon la présente invention à l'aide d'un programme informatique de façon à automatiser les étapes du procédé et à les effectuer plus rapidement. La vidéo débute au temps Tinitiai et finit au temps Tfinai. C'est la durée totale d'enregistrement. Durant la durée de la vidéo, lorsqu'un élément est en mouvement, le procédé prévoit une étape de reconnaissance de forme par les moyens informatiques afin d'affecter une trace TKl dynamique à ladite première forme reconnue Pi, qui ne peut être qu'un poisson puisque le fond est immobile et les algues de fond bougent mais restent dans un même périmètre. Cette première forme PI est suivie et tracée entre le temps Tdébut à Tfin de son apparition et de sa sortie de l'image ou de sa disparition en fond de prise d'images.

C'est la représentation de la figure 1 sur laquelle un seul poisson est figuré ainsi que sa trace pour la clarté du dessin.

Durant la trace, le procédé prévoit une étape de détection au moyen de l'analyse d'images du nombre de pixels associé à la forme reconnue et tracée du poisson Pi.

Pour chaque poisson, la trace est représentée par une ligne de déplacement comme sur la figure 2.

Un marquage est porté sur chaque trace, ce marquage correspondant au plus grand nombre de pixels de ladite forme reconnue, enregistrée sur ladite trace. Ceci correspond a priori à la vue la plus proche du poisson et donc la meilleure vue pour une identification et il est affecté un marquage Toptimaii.

Ainsi de suite pour les différents poissons reconnus Pi P x . Ainsi la trace linéaire de chaque poisson mobile, présent sur la vidéo, est enregistrée, chaque trace étant calée en regard de la ligne du temps générale de ladite vidéo complète.

Le procédé permet de disposer en tableau les informations obtenues.

Lorsque la vidéo est ainsi traitée par le procédé selon la présente invention, le procédé prévoit une étape de reconnaissance visuelle des espèces, par un expert.

Lors de cette étape, voir figure 3, l'expert dispose simultanément du tableau sur lequel les différents poissons Pi Px ont été identifiés et en parallèle la vidéo. Le procédé prévoit d'afficher la vidéo exactement à l'instant correspondant à T op timaii, du poisson Pi, si bien que l'expert dispose à la fois de la meilleure représentation du poisson à identifier sur la vidéo et des données sur ledit poisson. Le procédé prévoit même un estampage graphique, par exemple un cercle de façon à distinguer le poisson Pi concerné sur l'image.

L'expert peut alors identifier très rapidement l'espèce estampée.

On note tout de suite un gain de temps très important car l'expert n'a pas à faire défiler la vidéo de la trace du poisson pour trouver le meilleur moment pour l'identification, voire à revenir en arrière si la suite de la vidéo n'est pas meilleure.

Une aide peut même être apportée à l'expert avec une fenêtre de propositions d'espèces pour limiter très fortement le travail de saisie.

Le procédé prévoit alors l'affectation d'une espèce à chaque poisson Pi Ρχ. Cette étape en cours est représentée sur la figure 4.

Le procédé permet ainsi de déterminer pour chaque poisson, l'espèce.

Dès que le tableau est renseigné sur l'espèce, le procédé prévoit une étape facultative mais pouvant apporter du confort d'analyse, à savoir le marquage du poisson identifié par une croix par exemple ou encore son retrait de l'image vidéo.

Le comptage consiste à déterminer le nombre de poissons par espèce à un instant donné. Il suffit de se baser à un temps donné de la vidéo, compris entre Tinitiai et Tfi na i, et de compter le nombre de poissons de chaque espèce dont la trace linéaire sur le tableau est coupée par la verticale du temps correspondant au temps donné choisi.

On note que l'expertise pour le comptage n'est plus nécessaire et que le travail peut être réalisé par des personnes non qualifiées en identification d'espèces.

Par contre il existe des cas plus compliqués, notamment le cas d'un poisson qui passe derrière un autre poisson ou derrière un obstacle tel qu'un rocher.

Dans ce cas, le procédé prévoit une étape d'extrapolation par calcul de la vitesse du poisson sur la trace et le repérage de la direction. Si un poisson apparaît et que ce poisson correspond à un poisson qui a disparu de la vidéo qui allait avec cette direction et dont le temps de disparition correspond au temps qu'aurait mis ledit poisson qui a disparu pour apparaître à cet endroit, alors les deux poissons sont considérés comme ne faisant qu'un et la trace est poursuivie en continu. Une tolérance peut aussi être prévue tant dans le temps que dans la direction. Ceci limite très fortement les erreurs de comptage.

Un autre problème qui se pose et que se propose de résoudre le procédé selon la présente invention est celui d'un banc de poissons car le travail consiste à identifier poisson par poisson. Or les individus d'un même banc appartiennent généralement à la même espèce.

Aussi, lorsqu'un banc de poissons est identifié, tous les poissons ont été identifiés un par un avec chacun sa trace préalablement lors de la première étape du procédé. Lorsque l'expert identifie un banc ou un groupe d'individus de la même espèce simultanément présents sur la vidéo, une option "regroupement" peut être activée. Une telle option permet à l'expert de pointer chaque poisson du banc sur l'image vidéo après avoir activer l'option. Ainsi, tous les poissons du banc seront pointés puis marqués comme traités ou supprimés si bien que, d'une part ces poissons ne reviendront pas dans le tableau pour être soumis à l'identification de l'expert et d'autre part l'espèce sera mentionnée automatiquement pour chacun des poissons du banc déjà identifiés dans le tableau récapitulatif.

Le procédé permet ainsi un travail qui engendre un taux d'erreurs beaucoup plus limité que visuellement par un expert.

Le temps d'analyse est considérablement réduit pour les raisons récapitulées ci-après :

Visualisation d'images de la vidéo et non du rush complet,

Détection automatique de l'ensemble des individus,

Effacement des éventuels poissons repérés par l'analyse d'images et qui ne seraient pas des poissons, comme une algue dérivante,

Affichage immédiat du poisson concerné, au mieux des images le long de sa trace, en retenant le plus grand nombre de pixels attaché à un poisson,

Repérage mental limité pour distinguer les poissons déjà traités et ceux qui ne le sont pas,

- Interruptions très réduites du travail liées au besoin de repos oculaire et mental,

Partie du travail de mise en œuvre du procédé effectuée par des personnes non expertes.

Le procédé permet un traitement des bancs de poissons, ce qui est assez courant en milieu marin.

Aussi, si l'on compare des statistiques de travail, on constate que le temps moyen d'identification d'un poisson pour un expert en méthode visuelle est de 2 min 30s et de 30 s pour un expert mettant en œuvre le procédé selon la présente invention. A l'extrême, si la vidéo n'enregistre aucun poisson, les 10 minutes d'enregistrement sont visualisées par un expert tandis que le procédé selon l'invention, après reconnaissance de forme, détermine qu'il n'y a aucun poisson et aucune visualisation n'est nécessaire.

Si une vidéo de 10 minutes nécessite une durée d'analyse par un expert de 25 minutes, cette même analyse ne prendra que 2 minutes avec le procédé selon la présente invention.

Le procédé selon la présente invention est un progrès très important pour le travail et les études des biologistes marins notamment.

On note également que le procédé s'applique particulièrement, de la même façon, au comptage et à l'identification de la faune mais aussi d'objets mobiles tels que des véhicules. Chacun de ces objets mobiles possède en effet une forme et une identité.

De même, la vidéo 360° a été utilisée mais le procédé peut être mis en œuvre à partir d'une vidéo unidirectionnelle ou 3D.