PROCEDE, SYSTEME ET PLATEFORME DE CONSTITUTION ET

D'EXPLOITATION D'UNE BASE DE DONNEES MULTIMEDIA

Domaine de 1 ' invention

La présente invention concerne le domaine du traitement d'images et de la constitution dynamique de bases de données pour la recherche d'informations multimédias associés à des contextes tels qu'un type de sport. Plus particulièrement, l'invention concerne le domaine de la constitution et de l'exploitation de bases de données relatives à des événements sportifs, pour permettre la recherche d'images et de données multimédias pertinentes pour documenter une activité sportive ou plus généralement le contexte d'une activité sportive.

Etat de la technique

On connaît dans l'état de la technique diverses solutions pour automatiser l'association de métadonnées à des images .

La demande de brevet américaine US2014003648 décrit un procédé de détermination d'un niveau d'intérêt d'une personne particulière pour une image numérique. L'image numérique, ou des métadonnées associées à l'image numérique, est ou sont analysée(s) pour désigner un ou plusieurs éléments d'images dans l'image numérique. Des niveaux de familiarité d'une personne particulière vis-à-vis d'éléments d'image désignés sont déterminés. Le niveau d'intérêt manifesté par la personne particulière pour 1 ' image numérique est ensuite déterminé en réponse au niveau de familiarité déterminé. Dans certains modes de réalisation, les éléments d'image contiennent des personnes et des contextes de la scène, des images numériques contenant des personnes plus familières et des contextes de scènes moins familiers correspondant à des niveaux d'intérêt plus élevés.

Le brevet américain US8625904 décrit un procédé d'identification de groupes d'images numériques apparentées dans une collection d'images numériques. Ce procédé comporte les étapes consistant à:

- analyser chacune des images numériques en vue de produire des descripteurs de caractéristiques associés qui correspondent au contenu des images ou aux conditions de capture des images;

stocker les descripteurs de caractéristiques associés aux images numériques dans une base de données de métadonnées ;

- analyser automatiquement la base de données de métadonnées afin d'identifier une pluralité d'ensembles d'articles fréquents, chacun desdits ensembles formant un groupe de descripteurs de caractéristiques apparaissant conjointement dans au moins une fraction prédéfinie des images numériques;

déterminer une probabilité d'occurrence pour chacun des ensembles d'articles fréquents identifiés; déterminer un résultat de qualité pour chacun des ensembles d'articles fréquents identifiés, en réponse à la probabilité déterminée d'occurrence;

- classer les ensembles d'articles fréquents au moins sur la base des résultats de qualité déterminés; et identifier un ou plusieurs groupes d'images numériques apparentées correspondant à un ou plusieurs des ensembles d'articles fréquents qui présente (nt) le classement le plus élevé .

La demande de brevet US2011161174 divulgue un système pour localiser, segmenter, annoter et extraire des fichiers multimédia qui fournit une base de données de métadonnées concernant des fichiers multimédias, un gestionnaire de base de données et une base de données client pour accéder aux données contenues dans la base de données . La base de données client, conjointement avec la base de données de métadonnées et le gestionnaire de base de données, fournit une variété de fonctionnalités différentes, à savoir une fonctionnalité de lien en profondeur, une fonctionnalité de segmentation, une fonctionnalité d'annotation de métadonnées, une fonctionnalité d'extraction et une fonctionnalité d'accès. L'utilisateur, par l'intermédiaire de la base de données client, annote le fichier multimédia ou un segment d'un fichier multimédia avec des métadonnées qui sont sauvegardées dans la base de données. Quand l'utilisateur souhaite localiser un fichier multimédia, les métadonnées sont recherchées ou parcourues pour localiser l'entrée de base de données associée au fichier multimédia en question.

Le système permet en outre à l'utilisateur de charger, d'ouvrir et de démarrer la lecture d'un fichier multimédia à partir d'un point intermédiaire entre son point de départ et un point de terminaison et sans que l'utilisateur doive lire la partie entre le point de départ et le point intermédiaire, de fragmenter des fichiers plus importants en des segments plus courts ou en des trames individuelles (ou des images fixes) ou des régions dans des trames (ou des images fixes) sans créer de copies supplémentaires des segments sélectionnés des fichiers multimédia concernés, évitant de ce fait des problèmes liés aux droits de reproduction .

Inconvénients de l'art antérieur

Les solutions de l'art antérieur ne permettent pas de calculer des métadonnées de nature contextuelle, qui sont abstraites et ne dérivent pas d'une extraction d'éléments graphiques et d'un traitement statique. Par exemple, la reconnaissance, dans une image, d'une casquette de baseball ne permet pas de déterminer si le contexte est celui d'une compétition sportive, ou d'un cambriolage dans une bijouterie.

Aucune des solutions de l'art antérieur ne permet de lever une telle ambiguïté, et ces solutions ne sont donc techniquement pas en mesure de fournir une base contextuelle permettant de procéder à des recherches telles que visées par 1 ' invention .

L'objet principal du brevet réside dans la possibilité pour des multiples utilisateurs du service, d'accéder à des composants multimédia (textes, photos, vidéos, fichiers sonores, etc.) venant de sources variées, à partir d'une plateforme de création et de diffusion.

Cette plateforme regroupe un ensemble de services techniques bas niveau permettant de gérer des médias et une base de données de référence. Ce socle technique sert de support aux services métiers et permettra également la commercialisation de flux de données et de médias brutes.

Les inventeurs ont constatés qu'aucune technique antérieure similaire n'existait pour permettre d'accéder, de partager et de diffuser des séquences multimédia créées conjointement à partir de leurs composants multimédia avec une extraction automatique d'un sous-ensemble à partir de critères qui sont spécifiques à un contexte qui n'a pas été enregistré lors de la création des contenus et qui sont définis indépendamment des étapes de créations et de diffusions des contenus transmis à la plateforme.

Le problème technique est de produire des fichiers numériques multimédias exploitables par des utilisateurs connectés pour sélectionner des sous-ensembles de fichiers en fonction de données contextuelles qui n'existaient pas dans les fichiers multimédias transmis à la plateforme, et qui peuvent être définis indépendamment de la nature de ses fichiers multimédias transmis à la plateforme. Solution apportée par l'invention

Afin de remédier à ces inconvénients et de permettre un traitement automatique d'images pour les associer à des descripteurs représentatifs d'un contexte non inclus dans les informations associées aux images, la présente invention concerne selon son acception la plus générale un procédé de constitution d'une base de données multimédias associées à des métadonnées contextuelles, comportant :

• une étape d'analyse d'une nouvelle image pour extraire des métadonnées par un traitement de reconnaissance automatique de motifs graphiques

• une étape d'indexation de ladite image en fonction desdites métadonnées extraites

caractérisé en ce que ledit procédé comporte en outre :

• une étape d'enrichissement desdites métadonnées par des données contextuelles calculées en fonction

o d'une part des données brutes attachées à ladite image, comprenant la date et/ou la géolocalisation de la prise de vue,

o et d'autre part d'au moins une base de données de référence contenant des données génériques comprenant la date et/ou le calendrier et/ou la géolocalisation d'un événement, ainsi que des métadonnées associées à un contexte.

De préférence, le procédé selon l'invention comporte en outre une étape additionnelle d'enrichissement desdites métadonnées par données contextuelles par un traitement d'extraction d'une information graphique appartenant à une catégorie prédéterminée et de comparaison de ladite information graphique extraite avec une base de données de référence contenant des données génériques comprenant des graphiques de référence [logo, visage de joueur, couleur de la casaque,..] ainsi que des métadonnées associées à un contexte.

L'invention porte sur un système pour la mise en œuvre du procédé précité. Le système comporte une plateforme de médias et métadonnées comprenant une première interface de programmation pour l'interopérabilité avec les ressources extérieures de transferts de fichiers multimédias, et une seconde interface de programmation pour l'interopérabilité avec les ressources extérieures de recherche et de récupération de sous-ensembles de contenus de la plateforme, ladite seconde interface de programmation assurant le dialogue avec un moteur de recherche avec un accès en mode web, le système comprenant en outre un moteur de recherche comprenant un répartiteur de charge assurant la distribution des applications à travers le réseau entre différents ordinateurs et emplacements géographiques .

Selon un autre aspect, l'invention porte sur une plateforme pour la mise en œuvre du procédé précité. La plateforme conformément à l'invention comporte :

- un premier module de collecte et de stockage de médias (fichiers graphiques, vidéos,...)

- un deuxième module de collecte et de stockage de données de référence

- un troisième module de diffusion de médias.

Avantageusement, le premier module de collecte et de stockage de médias comporte un ensemble d'applications logicielles réalisant sur des fichiers numériques vidéos ou image les traitements suivants :

- extraction des méta-données enregistrées dans les fichiers lors de leurs constitutions, par exemple la date de prise de vue, les données techniques relatives à la prise de vue et à l'équipement utilisé pour la prise de vue, la localisation GPS fournie par un module GPS intégré dans l'équipement, et le cas échéant des données saisies par l'opérateur de prise de vue, ou encore des données provenant d'équipements et de traitements intermédiaires (logiciels de traitements d'image et d'édition de métadonnées par exemple pour la presse)

comparaison des métadonnées avec une base d'événements et de lieux pour associer à chacune des images un événement et/ou un lieu

- détection d'éléments graphiques et comparaison avec des modèles graphiques de référence associés à des descripteurs (nom d'une personne, type de sport,...), pour la caractérisation de ces éléments et l'indexation de l'image traitée en fonction du résultat de cette comparaison (par exemple reconnaissance de visage pour indexer l'image analysée en fonction du nom des personnes reconnues, reconnaissance de typologie de scènes, du nombre de personnes présentes dans 1 ' image... )

- inférence de méta-données détectées pour calculer d'autres méta-données à partir d'une base d'information, pour enrichir les méta-données directement extraites de l'image (par exemple nom du sponsor de l'événement,...)

- archivage du fichier et des métadonnées associés dans un espace de mémoire, en fonction des temps d'accès visés. Généralement les données graphiques sont stockées dans un espace de stockage distinct de celui destiné au stockage des méta-données

- attributions de descripteurs des droits d'accès associés aux images et aux méta-données associées.

Avantageusement, le deuxième module de collecte et de stockage de données de référence comporte un ensemble d'applications logicielles pour la saisie de données globales additionnelles (événement, lieu, personne, nature du sport,...) pour constituer une base de données de référence. Avantageusement, le troisième module de diffusion de médias comporte un ensemble d'applications logicielles réalisant les traitements suivants :

partage automatique de fichiers et des méta- données associés à des usagers connectés à la plateforme

partage automatique de fichiers vers des plateformes tierces (par exemple serveur FTP) via un protocole standard de transfert de fichiers,

affichage des fichiers graphiques de la plateforme sur des sites web par le biais d'application d ' édition .

Description d'un exemple non limitatif de réalisation

La présente invention sera mieux comprise à la lecture de la description qui suit, se réfèrent à un exemple non limitatif de réalisation illustré par les dessins et schémas annexés où :

- la figure 1 représente une vue schématique de l'architecture des services mise en œuvre par la plateforme selon l'invention

- la figure 2 représente une vue schématique de la plateforme

- la figure 3 représente une vue schématique des traitements réalisés par le procédé selon l'invention.

Architecture technique des services

Les différentes ressources sont réparties entre une plateforme de médias et métadonnées (100) comprenant une première interface de programmation (101) pour l'interopérabilité avec les ressources extérieures de transferts de fichiers multimédias, et une seconde interface de programmation (102) pour l'interopérabilité avec les ressources extérieures de recherche et de récupération de sous-ensembles de contenus de la plateforme. Cette API (102) permet le dialogue avec un moteur de recherche (103) avec un accès en mode web.

Le moteur de recherche (103) comprend un répartiteur de charge (104) assurant la distribution des applications à travers le réseau entre différents ordinateurs et emplacements géographiques .

La visite d'une ressource de la plateforme (100) provoque l'émission de requêtes HTTP. Chaque requête contient le nom du serveur à qui elle est destinée, qui devra alors la traiter. Le travail du serveur est allégé en envoyant les requêtes suivantes à d'autres serveurs à tour de rôle. Le nom du serveur est associé à plusieurs ordinateurs par une modification régulière des tables de correspondance du service DNS.

Les composants de la plateforme (100) comprennent : un moteur de recherche de médias (HTML + CSS + JAVASCRIPT)

- un moteur de recherche de métadonnées (HTML + CSS + JAVASCRIPT)

- une galerie de médias (HTML + CSS + JAVASCRIPT)

- une base de données sportives (HTML + CSS + JAVASCRIPT) - un espace de gestion de comptes (HTML + CSS + JAVASCRIPT)

- un espace de gestions d'albums (HTML + CSS + JAVASCRIPT)

- un espace de gestion des recherches (HTML + CSS + JAVASCRIPT)

- un espace d'administration de la plateforme (HTML + CSS +

JAVASCRIPT)

- un formulaire de partage de médias (HTML + CSS + JAVASCRIPT)

- une application de capture de photos (ANDROID JAVA) - une application de capture de photos (WINDOWS PHONE, C) - une application de capture de photos ( IPHONE OBJECTIVE, C)

Le fournisseur de contenus dispose d'un équipement informatique (105), par exemple une tablette, un ordinateur ou un téléphone sur lequel est exécutée une application (106) adaptée à dialoguer avec l'API (101).

L'utilisateur dispose également d'un équipement informatique (107) sur lequel est exécutée une application (108) adaptée à dialoguer avec l'API (101) ainsi qu'un navigateur (109) pour dialoguer avec le moteur de recherche (103) .

Définition de l'architecture de la plateforme La plateforme (100) représentée en vue schématique en figure 2, pour la mise en œuvre d'un exemple de l'invention comporte plusieurs modules :

- un premier module (1) de collecte et de stockage de médias (fichiers graphiques, vidéos,...)

- un deuxième module (2) de collecte et de stockage de données de référence

- un troisième module (3) de diffusion de médias. Le premier module de collecte et de stockage de médias (1) comporte un ensemble d'applications logicielles réalisant sur des fichiers numériques vidéos ou images les traitements suivants :

- extraction des méta-données enregistrées dans les fichiers lors de leurs constitutions, par exemple la date de prise de vue, les données techniques relatives à la prise de vue et à l'équipement utilisé pour la prise de vue, la localisation GPS fournie par un module GPS intégré dans l'équipement, et le cas échéant des données saisies par l'opérateur de prise de vue, ou encore des données provenant d'équipements et de traitements intermédiaires (logiciels de traitements d'image et d'édition de métadonnées par exemple pour la presse)

comparaison des métadonnées avec une base d'événements et de lieux pour associer à chacune des images un événement et/ou un lieu

- détection d'éléments graphiques et comparaison avec des modèles graphiques de référence associés à des descripteurs (nom d'une personne, type de sport,...), pour la caractérisation de ces éléments et l'indexation de l'image traitée en fonction du résultat de cette comparaison (par exemple reconnaissance de visage pour indexer l'image analysée en fonction du nom des personnes reconnues, reconnaissance de typologie de scènes, du nombre de personnes présentes dans 1 ' image... )

- inférence de méta-données détectées pour calculer d'autres méta-données à partir d'une base d'information, pour enrichir les méta-données directement extraites de l'image (par exemple nom du sponsor de l'événement,...)

- archivage du fichier et des métadonnées associés dans un espace de mémoire, en fonction des temps d'accès visés. Généralement les données graphiques sont stockées dans un espace de stockage distinct de celui destiné au stockage des méta-données

- attributions de descripteurs des droits d'accès associés aux images et aux méta-données associées.

Ce module (1) de collecte et de stockage de médias comprend une série de tables et bases de données :

une base (201) pour l'enregistrement des vignettes associées aux ressources multimédias

- une base (202) pour l'enregistrement des médias marqués

- une base (203) pour l'enregistrement des images en niveau de gris

- une base (204) pour l'enregistrement des images de profils - une base (205) pour l'enregistrement des images marquées

une base (206) pour l'enregistrement des vignettes associées aux ressources multimédias marquées

- une base (207) pour l'enregistrement des images brutes

- une base (208) pour l'enregistrement des images de visages. Ces données multimédias sont transmises depuis des applications extérieures via une API (120) associée à un serveur de médias (122) par l'intermédiaire d'un répartiteur de charge ( 121 ) . Le deuxième module (2) de collecte et de stockage de données de référence comporte un ensemble d'applications logicielles pour la saisie de données globales additionnelles (événement, lieu, personne, nature du sport,...) pour constituer une base de données de référence. Ces données additionnelles peuvent être saisies par un opérateur, ou de manière automatique par extraction à partir de sources d'information externes ou internes. Il comprend une base de données documentaires partitionnée (240), une base de données partitionnée d'images (241) et une base de données de graphes (242), ainsi qu'une base de données d'index (130).

L'accès à ces données se fait par l'intermédiaire d'un serveur web (104) associé à un répartiteur de charge (103) .

Le troisième module (3) de diffusion de médias comporte un serveur de téléchargement (125), une API (101) pour l'interopérabilité avec des applications de transfert de données multimédias et un ensemble d'applications logicielles réalisant les traitements suivants :

partage automatique de fichiers et des méta- données associés à des usagers connectés à la plateforme partage automatique de fichiers vers des plateformes tierces (par exemple serveur FTP) via un protocole standard de transfert de fichiers,

affichage des fichiers graphiques de la plateforme sur des sites web par le biais d'application d ' édition .

La plateforme comprend encore un serveur de messagerie (124). Définition du modèle des données

Pour permettre le calcul de métadonnées par des algorithmes d'inférence, les données sont représentées par un graphe sémantique. Chaque donnée est reliée à d'autres données par une relation nommée.

Exploitation des métadonnées

Les traitements de capture des métadonnées et de calcul de métadonnées additionnelles par inférence d'une part et traitement avec des données externes a pour but d'associer chaque fichier graphique ou vidéo à des données permettant d'automatiser la recherche et le filtrage à partir des critères usuels qui répondent au questions : Qui a fait Quoi Où, Quand et Pourquoi :

Le « où » est le plus trivial à automatiser. Il suffit de faire correspondre les données GPS des médias (toutes en ont désormais) à des sites ou zones de sites sportifs. L'automatisation permet ici un niveau de détail qui ne peut pas être atteint manuellement car il nécessiterait une connaissance très pointue et un temps de traitement trop long pour être spécifié manuellement. Sur les 24H du Mans et les courses automobiles en général, le virage du circuit où a été pris la photo est très prisé des fans et de la presse. On parle par exemple du dépassement dans la courbe des Hunaudières, de l'accrochage à la chicane Playstation, ... Ce sont ces termes là qui doivent permettre de retrouver les médias dans une base documentaire.

Le « quand » est également assez simple à détecter automatiquement. Les coordonnées GPS et l'horodatage des médias permettent de détecter l'événement sportif correspondant au média. L'enjeu est de disposer d'une base de données suffisamment exhaustive pour que les événements à détecter soient présents.

Le « quoi » nécessite la mise en œuvre de techniques de vision par ordinateur autour de la classification de motifs ne nécessitant pas de gros volumes de données de références. Les techniques modernes utilisent des algorithmes d'apprentissages, tels que les techniques d'apprentissage vectoriel, qui nécessitent des paires positives et négatives, de médias. Dans le cas des sports, l'enjeu sera d'identifier le sport ou le type de scène sur un événement sportif (portrait, action, jour, nuit) ou le type de sport quand il est impossible de le retrouver autrement. Il est également possible de déduire le quoi de la détection de l'événement sportif associé à un média. Par ailleurs, la détection d'organisation est tout aussi importante que celle des concurrents. Les fédérations et les sponsors recherchent de la visibilité sur les médias qu'ils utilisent dans leur communication. La détection de logos est donc une fonctionnalité très important pour la plateforme.

Le « qui » nécessite la mise en œuvre de techniques de vision par ordinateur nécessitant de très grosses bases de données de référence. La reconnaissance de personnes ou de sujets sur des images fixes et animées est toujours un défi de la science. Une approche mixte reposant sur des algorithmes classiques et de gros volumes de données peuvent conduire à de très bons résultats. Plusieurs stratégies peuvent être mises en œuvre : reconnaissance de visages à partir de l'apprentissage d'une gigantesque base de visages, la détection de numéros de maillots et sa confrontation à des liste de concurrents, reconnaissances de casques de pilotes.

Le « pourquoi » est plus complexe. Une partie du pourquoi peut être déduite de l'événement sportif détecté. On sait qu'un média capturé aux 24H du Mans sera associé au championnat du monde d'endurance. On peut en déduire une partie du contexte. La nature de l'action est plus complexe à identifier. Il existe néanmoins des solutions dans les technologies de vision par ordinateur. Ce traitement permet de détecter la nature de la scène (intérieur, extérieur, portrait, groupes). Ces caractérisations de la scène sont d'ailleurs standardisées dans les normes IPTC et EXIF.

La figure 3 représente les différentes étapes mises en œuvre par l'invention.

L'étape (51) concerne le transfert des médias des photographes vers les éditeurs (personnes en charge de l'ajout de métadonnées ) . Pour automatiser cette étape, la plateforme (100) est capable de collecter des médias par des protocoles variés et sécurisés. Elle est également capable d'identifier le photographe, et même le contrat en cours, pour pouvoir associer la bonne politique de gestion de droits d'auteur. La transmission en temps réel par le photographe, a été testée via des téléphones cellulaires ou des plateformes dédiées (WIFI, Satellite). L'identification du photographe peut se faire soit par login mot de passe ou par détection du numéro de série de l'appareil photo. L'identification du contrat peut être effectué via une métadonnée spécifique (JOBID dans la norme IPTC ) . L'étape 52 est la plus critique, c'est la phase où presque toutes les métadonnées sont associées au média. Cette phase est effectuée manuellement par des personnes dédiées, souvent en salle de presse ou à distance si les conditions de transmission le permettent. Le but est de définir les cinq critères qui répondent aux questions : Qui a fait Quoi Où, Quand et Pourquoi.

Les étapes 53 à 58 consistent principalement à router les médias vers les bonnes cibles. Le média ne peut plus porter les métadonnées, car elles dépendent alors de l'usage qui en est fait. La plateforme doit donc conserver une seconde catégorie de métadonnées qui sont les labels, albums, droits de visibilité que chaque utilisateur aura mis sur un média, pour pouvoir le partager et le diffuser. Pour les usages grand public, la plateforme devra également être en capacité de supporter de volumes massifs d'utilisateurs.

En centralisant tous les usages de la chaîne de valeur des médias de sport, la plateforme réduit considérablement le nombre d'opérations de copie des médias. Dans le cas pratique décrit ci-après, chaque étape induit une copie simple ou multiple et des opérations de redimensionnement ou recadrage en fonction des usages des médias.

Le principal défi consiste à faire en sorte que chaque sport puisse être représenté dans la base avec ses spécificités, sans changer l'architecture technique globale et les processus de traitement des données, médias et métadonnées .

Ce défi sera relevé en combinant deux approches :

· Une automatique : en connectant la plateforme à diverses sources de données sportives officielles.

• Une manuelle : en créant un tissu de partenaires et clients qui, tout en bénéficiant des services de la plateforme, seront également des fournisseurs de données officielles. L'automatisation de la collecte des données reposera sur des techniques classiques d'abonnement à des flux mais aussi à des techniques d'alignement de référentiels, inspirés du web sémantique et des ontologies. L'approche manuelle consiste à proposer à nos utilisateurs des services de saisie de données et des composants web permettant de les intégrer sur leurs applications. La saisie des fiches de description des pilotes et des voitures de course devra être effectuées sur des formulaires de la plateforme.