VISUALISATION SUR UN ECRAN

DOMAINE TECHNIQUE

L'invention concerne un procédé et un dispositif d'identification, par un premier terminal, d'un contenu en cours de visualisation sur un écran d'un deuxième terminal situé dans un même espace que le premier terminal.

L'invention concerne également un terminal de communication adapté pour identifier un contenu en cours de visua lisation sur un écran d'un deuxième terminal situé dans un même espace que le terminal de communication.

L'invention concerne en outre un programme d'ordinateur mémorisé sur un support d'enregistrement et comportant des instructions pour réaliser les étapes du procédé.

ETAT DE LA TECHNIQUE ANTERIEURE

Les améliorations croissantes des techniques et des dispositifs de télécommunications permettent aux acteurs du monde audio-visuel d'associer aux contenus fournis aux utilisateurs des services supplémentaires tels que par exemple, une interactivité en temps réel, via des applications professionnelles et/ou de loisir.

A cet effet, les contenus numériques visualisés sur un terminal doivent d'abord être identifiés en temps réel au cours de leur visualisation.

Les techniques de l'art antérieur utilisées pour l'identification des contenus en temps réel au cours de leur visualisation s'appuient sur l'analyse de ces contenus eux-mêmes, que ce soit pour en calculer une empreinte numérique, ou y insérer puis détecter une marque.

Du fait de leur com plexité, la mise en œuvre de ces techniques s'appuie sur des implémentations, matérielles ou logicielles, dans les dispositifs de réception, notamment, de capteurs et de processeurs dédiés au calcul de l'empreinte, ou à la détection et à l'analyse de la marque insérée da ns le contenu. Ces implémentations sont exigeantes en termes de ressources de calcul et augmentent la complexité et le coût des terminaux de réception. Un but de l'invention est de permettre une identification automatique d'un contenu en temps réel au cours de sa visualisation, peu exigeante en ressources de calcul et simple à mettre en œuvre, au moyen des terminaux existants.

EXPOSE DE L'INVENTION

Ce but est atteint au moyen d'un procédé d'identification, par un premier terminal, d'un contenu en cours de visualisation sur un écran d'un deuxième terminal situé dans un même espace que le premier terminal; ce procédé comportant les étapes suivantes:

- capter par le premier terminal la luminosité produite dans ledit espace par l'écran du deuxième terminal,

- générer par le premier terminal au moins une empreinte numérique en fonction de la luminosité captée,

- comparer l'empreinte numérique générée à une em preinte de référence préalablement enregistrée dans une mémoire,

- identifier le contenu en fonction du résultat de ladite comparaison.

Dans une première variante de mise en œuvre du procédé, l'empreinte de référence est préalablement tra nsmise audit premier terminal, et la comparaison de l'empreinte numérique générée avec l'empreinte de référence est effectuée par le premier terminal.

Dans une deuxième variante, le premier terminal transmet l'empreinte numérique générée à un serveur qui compare ladite empreinte générée à l'empreinte de référence.

Dans les deux variantes, la comparaison de l'empreinte numérique générée à l'empreinte de référence consiste à calculer une distance entre lesdites empreintes; le contenu étant alors identifié si la distance ca lculée est inférieure à un seuil prédéfini.

Alternativement, la comparaison de l'empreinte numérique générée à l'empreinte de référence consiste à calculer une corrélation entre lesdites empreintes; le contenu étant alors identifié si la corrélation calculée est supérieure à un seuil prédéfini. Préférentiellement, le procédé selon l'invention comporte en outre une étape de synchronisation d'une application, appelée application Second Ecran, fonctionnant sur le premier terminal avec la visualisation du contenu numérique identifié sur l'écran du deuxième terminal.

Grâce au procédé selon l'invention, au cours de la visualisation d'un contenu, un film ou une compétition sportive par exemple, l'opérateur pourra associer à ce contenu des services supplémentaires différents, tels que l'achat d'un reportage relatif à une ville où se déroule le film ou la compétition sportive, ou encore l'invitation à répondre à une enquête concernant cette ville. L'opérateur pourra également modifier en temps réel les services supplémentaires en fonction de l'évolution du film ou de la compétition en cours de visualisation.

Notons que le procédé selon l'invention permet non seulement d'identifier les contenus numériques fournis, mais également un instant du déroulement du programme. Cet instant peut correspondre au début de la captation de la luminosité, à la fin de la captation de la luminosité, à l'instant de l'envoi de la réponse identifiant le contenu, ou à l'instant auquel un service supplémentaire doit être offert à l'utilisateur.

En effet, de façon connue en soi, à chaque image d'un contenu numérique diffusé par un opérateur est associé un code temporel comportant une date libellée en heures, minutes, secondes et numéro d'image. Ce code temporel permet de retrouver chaque image du contenu après son identification. Ainsi, il est possible d'obtenir la position de l'empreinte, c'est-à-dire, la position à partir du début du programme, de la durée prédéfinie au cours de laquelle la captation de luminosité qui a donné lieu à la génération de l'empreinte a été réalisée.

Le procédé selon l'invention met à profit cette information pour obtenir la position de chaque empreinte dans le contenu et pour synchroniser l'application Second Ecran avec un contenu identifié.

Dans un premier mode de réalisation, la luminosité est mesurée au moyen d'un capteur intégré au premier terminal.

Dans un autre mode de réalisation la luminosité est calculée à partir d'images acquises au moyen d'une caméra intégrée au premier terminal. Dans ce dernier mode de réalisation, l'empreinte numérique est calculée à partir des trois composantes de couleur des images acquises pendant une durée de captation prédéfinie. Ce calcul est par exemple réalisé par sommation des valeurs de luminosité des composantes.

Afin d'améliorer la précision de l'identification, il est également possible de générer une empreinte par composante, puis de les comparer chacune avec la composante correspondante de l'empreinte de référence. Il est également possible de générer toute combinaison de ces empreintes représentant l'évolution au cours du temps de la luminosité calculées à partir des différentes composantes de couleur des images acquises pendant la durée prédéfinie.

Le procédé selon l'invention est mis en œuvre au moyen d'un dispositif comportant:

- une mémoire comportant une pluralité d'empreintes numériques de référence, chaque empreinte de référence permettant d'identifier un contenu parmi les contenus fournis, - un terminal muni de moyens pour capter la luminosité produite dans un espace par le deuxième terminal, et des moyens pour générer une empreinte numérique à partir de la luminosité captée,

- des moyens pour comparer l'empreinte numérique générée à une empreinte de référence préalablement enregistrée dans la mémoire, et,

- des moyens pour identifier le contenu visualisé.

Ce dispositif comporte en outre des moyens pour synchroniser une application fonctionnant sur le premier terminal avec la visualisation en temps réel d'un contenu numérique identifié.

Ledit terminal peut être un téléphone mobile intelligent, une tablette, ou un ordinateur comportant des moyens pour capter la luminosité produite par affichage d'un contenu visualisé sur un écran, des moyens pour générer une empreinte numérique en fonction de la luminosité captée, des moyens pour comparer l'empreinte numérique générée à une empreinte de référence préalablement enregistrée dans une mémoire, et des moyens pour identifier le contenu visualisé. BREVE DESCRIPTION DES DESSINS

D'autres caractéristiques et avantages de l'invention ressortiront de la description qui va suivre, prise à titre d'exemple non limitatif, en référence à la figure 1 représentant un schéma d'une installation dans laquelle est mis en œuvre le procédé selon l'invention.

EXPOSE DETAILLE DE MODES DE REALISATION PARTICULIERS

La figure 1 représente schématiquement une installation comportant une tête de réseau 1 un premier terminal 2 d'un utilisateur, et un deuxième terminal 4 agencée dans un même espace 5 que le premier terminal 2 et jouant un programme audio-visuel fourni par la tête de réseau 1.

Dans la description qui suit, on considère que la luminosité produite par la visualisation, par le deuxième terminal 4, d'un contenu, se propage à tous les points de l'espace 5. Le premier terminal 2 peut ainsi capter cette luminosité, indépendamment de sa position dans l'espace 5, sans avoir à viser l'écran du deuxième terminal 4. L'espace 5 est par exemple une même pièce d'un local donné, comme un salon, un bureau ou une chambre d'une maison ou d'un appartement, ou comme un ensemble de telles pièces ouvertes les unes sur les autres.

La tête de réseau 1 comporte un émetteur 6 susceptible de diffuser un bouquet de programmes audiovisuels et un serveur de calcul d'empreinte 8 comprenant un module de traitement programmé pour calculer à la volée une empreinte de référence 9, par exemple par analyse et traitement d'images, pour chaque programme diffusé. Les empreintes de référence 9 calculées sont enregistrées dans une mémoire 10.

La diffusion peut être réalisée sur un réseau satellite ou terrestre, par exemple. Il peut également s'agir de diffusion en mode continu, ou streaming, notamment sur Internet.

De façon alternative, notamment dans le cas de contenus en vidéo à la demande, ces contenus peuvent alors être fournis sous forme de fichiers en téléchargement. Enfin, les contenus peuvent être fournis sous forme de fichiers préalablement enregistrés sur tout support physique amovible tel qu'un disque ou une clé. Les empreintes complètes, c'est-à-dire sur la totalité de leur durée, en sont alors préalablement calculées et enregistrées dans la mémoire 10.

La mémoire 10 est une simple mémoire informatique, ou une base de données plus structurée et outillée, pour la formation de requêtes notamment.

Le premier terminal 2 est apte à communiquer avec à la tête de réseau 1 et comporte un capteur de luminosité qui possède préférentiellement une sensibilité qui s'adapte automatiquement en fonction de la luminosité ambiante et un module de calcul adapté pour transformer une luminosité captée en une empreinte numérique. Ce premier terminal 2 comporte en outre une application multimédia, appelée application Second Ecran, dans la suite de cette description, qui coopère avec un module de recherche installé en tête de réseau 1 pour fournir au premier terminal 2 des données complémentaires concernant un contenu en cours de diffusion. Ces données concernent par exemple un jeu en relation avec le contenu visualisé, ou encore un sondage en relation avec le contenu visualisé.

Afin d'améliorer la réactivité de l'application Second Ecran et d'éviter un engorgement du serveur de calcul d'empreinte 8, les empreintes générées par le serveur de calcul d'empreinte 8 peuvent, au moins en partie, être pré-chargées pour analyse dans le premier terminal 2 lors de l'activation de l'application Second Ecran sur le terminal 2.

Dans le même objectif, les données complémentaires peuvent également être, au moins en partie, pré-chargées dans le premier terminal 2.

Notons que si le premier terminal 2 est un téléphone intelligent, une tablette ou un ordinateur portable, l'acquisition de la luminosité dans l'espace 5 peut être réalisée au moyen du capteur de luminosité généralement intégré à ce premier terminal 2 ou au moyen d'une caméra associée à ce premier terminal 2. Dans ce dernier cas, un traitement de l'image acquise permet d'en extraire la luminosité.

Au cours de la phase de capture de la luminosité, la longueur du signal à capter peut être fixée en fonction du nombre de contenus disponibles en tête de réseau 1.

Alternativement, la longueur totale du signal à capter peut ne pas être prédéterminée, mais atteinte par incréments successifs de longueur prédéterminée. Dans ce cas, la captation de la luminosité et la génération de l'empreinte numérique sont réalisées successivement pour des segments, adjacents ou non, du contenu, et l'empreinte numérique générée pour chacun de ces segments est transmise en temps réel au serveur. L'itération s'arrête lorsque les empreintes générées pour chacun de ces segments permettent de prendre une décision, c'est-à-dire d'identifier le contenu en cours de visualisation, ou de diagnostiquer l'impossibilité de l'identifier, ou lorsque la longueur du signal capté dépasse une limite prédéterminée.

Comme cela est illustré par la figure 1, une empreinte numérique 12 générée par le premier terminal 2 est représentée par une courbe illustrant l'évolution de la luminosité captée. Cette empreinte se caractérise par un premier paramètre représentant une valeur temporelle sur l'axe des abscisses. L'axe des ordonnés correspond à une valeur de luminosité mesurée par un capteur intégré au premier terminal 2 ou calculée dans le cas d'une acquisition via une caméra.

Afin de rendre comparables les échantillons et minimiser l'influence de la distance et de la sensibilité du capteur, la valeur de luminosité peut être normée sur une échelle de 0 à 100 par exemple.

Lorsque l'utilisateur souhaite bénéficier des services associés à un programme audiovisuel en cours de visualisation, il active l'application Second Ecran et dispose le premier terminal 2 dans l'espace 5 de manière à capter les variations de luminosité produites dans cet espace par les images affichées sur l'écran 11 du deuxième terminal 4 pendant une durée de captation de luminosité prédéfinie. La luminosité captée est transformée par le module de calcul du premier terminal 2 en une empreinte numérique 12 qui résulte d'un échantillonnage de la luminosité produite par le deuxième terminal 4 pendant la durée de captation prédéfinie. L'intervalle de temps élémentaire qui constitue cette durée prédéfinie de captation de la luminosité dépend de la fréquence d'échantillonnage du signal capté. Ainsi, par exemple, pour des valeurs de fréquences d'échantillonnage de 0,5 Hz, 1Hz, 5 Hz, et 10 Hz, l'intervalle de temps élémentaire a pour durée respectivement 2 secondes, 1 seconde, 1/5 seconde et 1/10 seconde. Un exemple de courbe représentative 12 d'une empreinte est donné à titre d'exemple par la figure 1 pour une durée et une fréquence d'échantillonnage déterminées. La durée prédéfinie de captation de la luminosité, ou la longueur des empreintes générées, peut être égale à un nombre entier d'échantillons élémentaires et peut par exemple être de l'ordre de cinq à quelques dizaines de fois la durée de cet intervalle de temps élémentaire.

Dans un premier mode de réalisation, le premier terminal 2 transmet l'empreinte numérique 12 via l'application Second Ecran, au serveur de calcul d'empreinte 8 par exemple via une connexion wifi, une liaison data par GSM, ou un SMS.

Si la longueur de l'empreinte numérique est générée par incréments successifs, à la réception de cette empreinte pour un premier segment du contenu, le serveur de calcul d'empreinte 8 recherche l'empreinte de référence 9 correspondante dans la mémoire 10. Et lorsque la longueur du signal capté est suffisante pour permettre une décision, c'est-à-dire si le contenu est identifié ou si la mémoire 10 ne contient pas d'empreinte permettant d'identifier le contenu, le serveur de calcul d'empreinte 8 en informe l'application Second Ecran, qui arrête la captation. Sinon, le serveur de calcul d'empreinte 8 en informe l'application Second Ecran, qui réitère la captation. Puis, le serveur de calcul d'empreinte 8 concatène les empreintes ainsi obtenues pour des segments successifs du contenu à l'empreinte du premier segment, réalise la recherche pour l'empreinte résultante, jusqu'à ce que le résultat de la comparaison de l'empreinte résultante avec les empreintes de référence 9 soit suffisamment significative, et permette de décider que le contenu est ou non identifié.

Ce mode de réalisation correspond au cas où les segments pour lesquels des empreintes sont générées successivement ne sont pas adjacents. La concaténation de ces empreintes est donc omise, et, lors de l'étape de synchronisation, ces empreintes sont chacune recherchées comme identifiant un même contenu dans la mémoire 10. Le procédé est itéré jusqu'à ce que la longueur du signal capté soit suffisante pour permettre une comparaison significative et permette de décider si le contenu est ou non identifié.

Notons que pour identifier le contenu, le module de recherche fonctionnant dans le serveur de calcul d'empreinte 8 effectue des comparaisons successives de l'empreinte numérique 12 générée par le premier terminal avec l'empreinte de référence 9. Dans une première variante de mise en œuvre, la comparaison consiste à calculer une distance entre lesdites empreintes, c'est-à-dire entre l'empreinte numérique 12 générée, et un segment de même longueur de l'empreinte de référence 9. Dans ce cas, le contenu sera identifié si la distance calculée entre lesdites empreintes est inférieure à un seuil prédéfini.

Dans une autre variante, la comparaison de l'empreinte générée 12 à l'empreinte de référence 9 consiste à calculer une valeur de corrélation entre lesdites empreintes, c'est-à-dire entre l'empreinte numérique 12 générée, et un segment de même longueur de l'empreinte de référence 9. Dans ce cas, le contenu est identifié si la valeur calculée de la corrélation entre lesdites empreintes est supérieure à un seuil prédéfini.

Toute autre méthode de reconnaissance de motifs ou empreintes telle que l'analyse en composantes principales (ACP) sur un histogramme peut être utilisée sans sortir du cadre de l'invention.

Dans un mode préféré de réalisation de l'invention, à chaque image d'un programme diffusé est associée une valeur numérique 20 comprenant un code temporel indiquant une date libellée en heures, minutes, secondes, et numéro d'image par rapport à un début de programme. Ce début de programme est par exemple, pour un contenu tel qu'un film, l'instant correspondant à sa première image, ou, pour un contenu tel qu'une chaîne de télévision, un instant de référence donné du cours de sa diffusion. L'identification du programme diffusé est alors réalisée par le serveur de calcul d'empreinte 8 sur la base de ces informations, par exemple concernant la dernière image de l'empreinte.

Lorsque le programme est identifié, la valeur numérique 20 est transmise au premier terminal 2 par le serveur de calcul d'empreinte 8 via une connexion wifi, une liaison de données via un réseau de téléphonie mobile, ou par un SMS.

Ensuite, afin de synchroniser l'application Second Ecran avec le contenu, l'instant courant dans le contenu est déterminé en prenant en compte un délai de traitement et de recherche d'empreinte, ainsi que de communication, de quelques secondes, ou en le calculant par exemple au moyen d'une horloge locale sur la base de la mémorisation de l'instant de début ou de fin de la captation de luminosité, de transmission de l'empreinte générée au serveur de calcul d'empreinte 8, ou de réception de la réponse du serveur 8. Après synchronisation, l'application Second Ecran propose à l'utilisateur une interaction en lien avec l'événement qui est diffusé à l'instant présent, tel que des informations complémentaires, un jeu, un sondage, ou une interaction avec des réseaux sociaux. Elle peut également proposer d'autres programmes en lien avec le programme identifié.

Notons que lorsque la luminosité est calculée à partir des images acquises au moyen d'une caméra, l'empreinte numérique 12 est générée à partir de chaque composante couleur de ces images. Dans ce cas, au lieu de comparer une seule courbe (correspondant à la luminance) le serveur de calcul d'empreinte 8 peut en comparer deux ou trois (parmi respectivement R, G, B ou Y, U, V).

Le procédé selon l'invention s'applique pour identifier un contenu diffusé en direct et pour permettre une synchronisation et une interaction en temps réel avec ce contenu, notamment dans le cas d'une participation à un jeu, un quizz ou un sondage.

Le procédé s'applique également pour identifier des contenus à la demande (VOD) ou un contenu préenregistré. Dans ce cas, la mémoire 10 contient l'empreinte de chacun des contenus, sur la durée totale du contenu. En outre, la durée prédéterminée de l'empreinte numérique 12 est plus longue afin de discriminer correctement le programme en cours de visualisation.