Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
IMAGE INSERTION SYSTEM IN A VIDEO SEQUENCE
Document Type and Number:
WIPO Patent Application WO/2000/038416
Kind Code:
A1
Abstract:
The invention concerns a system wherein the television system replaces a target region in successive video images by an insertible matched model in said target region. Said system has a television camera (10a, 10b, 10c) for producing a video image sequence of a scene and means for processing broadcast images. Said means selectively add graphic layers and special effects to the video images to produce the feed to be broadcast. Means for virtual insertion (22), remotely located from the means processing the broadcast images, receive the feed to be broadcast and modify it by replacing a target region of video images by the insertible substitute model.

Inventors:
BRUNO PIERRE
MEDIONI GERARD GUY
GRIMAUD JEAN-JACQUES
Application Number:
PCT/FR1999/003183
Publication Date:
June 29, 2000
Filing Date:
December 17, 1999
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SYMAH VISION (FR)
International Classes:
H04N5/262; H04N5/272; (IPC1-7): H04N5/272
Domestic Patent References:
WO1998024242A11998-06-04
WO1997002699A11997-01-23
WO1995012282A11995-05-04
Foreign References:
FR2730837A11996-08-23
Other References:
None
Attorney, Agent or Firm:
Fort, Jacques (rue d'Amsterdam Paris Cedex 09, FR)
Download PDF:
Claims:
REVENDICATIONS
1. Système de télévision pour remplacer une région cible dans des images vidéo successives par un modèle assorti insérable dans la région cible, ce système comprenant : au moins une camera de télévision (10) pour produire une séquence d'image vidéo d'une scène; des moyens de traitement d'images diffusées pour recevoir les images vidéo et ajouter sélectivement des couches de graphiques et d'effets spéciaux aux images vidéo pour produire une alimentation à diffuser; et des moyens d'insertion virtuelle (12), éloignés des moyens de traitement d'images diffusées, destines à recevoir 1'alimentation à diffuser et à modifier 1'alimentation diffusée en remplaçant une région cible des images vidéo par un modèle de remplacement adapte.
2. Système suivant la revendication 1, caractérisé en ce que les moyens de traitement d'image sont places dans une salle de contrôle sur le site de la camera et l'alimentation diffusée est constituée par des images video sous forme numerique.
3. Système suivant la revendication 1 ou 2, caractérisé en ce que le système comporte plusieurs cameras (10a, 10b, 10c) activables et des moyens pour déterminer laquelle des cameras est couramment active et pour produire une sortie correspondante et les moyens d'insertion virtuelle remplacent la partie cible de 1'image vidéo provenant de la camera active, a partir de cette sortie.
4. Système suivant la revendication 1,2 ou 3, caractérisé en ce que des moyens de routage sont places séparément de la salle de contrôle mobile pour, durant un calibrage du système, recevoir 1'alimentation diffusée et diriger individuellement des alimentations provenant des différentes cameras et pour fournir sélectivement en sortie 1'une des alimentations.
5. Système suivant la revendication 2, à plusieurs cameras, caractérisé en ce qu'il comporte des moyens pour générer des signaux de fermeture de camera pour indiquer celle des cameras qui est active et des moyens pour surveiller les signaux de fermeture de camera et déterminer si un signal de fermeture de camera a été reçu pour la camera dont 1'image vidéo est en cours de réception par les moyens d'insertion virtuelle.
6. Système suivant la revendication 2, comportant de plus des moyens de surveillance des éléments graphiques et effets spéciaux ajoutes pour produire les images vidéo de 1'alimentation diffusée et de production d'une sortie indiquant qu'une image vidéo reçue par les moyens d'insertion virtuelle ne doit pas être modifiee, en se fondant sur la nature des éléments graphiques et des effets spéciaux ajoutes à 1'image video.
7. Système suivant la revendication 1 ou 2, caractérisé en ce qu'il a plusieurs cameras instrumentées ayant chacune des capteurs associes qui produisent des données opérationnelles concernant la camera respective et le système comprend de plus des moyens pour envoyer ces données opérationnelles aux moyens d'insertion virtuelle en vue du remplacement de la partie cible d'une image vidéo de 1'alimentation diffusée par un modèle de remplacement compatible avec les données opérationnelles.
8. Système suivant la revendication 7, caractérisé en ce les données opérationnelles concernent les caractéristiques de camera dites panoramique, inclinaison, focus et zoom.
9. Système de télévision pour remplacer une région cible dans des images vidéo successives par un modèle assorti insérable dans la région cible, comprenant : plusieurs cameras de télévision qui, lorsqu'elles sont actives, produisent une séquence d'images vidéo d'une scène; des capteurs pour chacune des cameras, détectant plusieurs paramètres opérationnels associes avec la camera respective et produisant des données de sortie respectives; une salle de contrôle mobile place sur le site des cameras et comportant des moyens de traitement d'image destines à recevoir les images vidéo et à ajouter des couches d'éléments graphiques et des effets spéciaux aux images vidéo afin de produire des images video résultantes, des moyens pour fournir en sortie les images vidéo résultantes sous forme numerique pour constituer une alimentation diffusée et des moyens de contrôle locaux places sur site ainsi que la chambre de contrôle mobile, destines à recevoir les données de sortie des capteurs et à fournir un signal de données de sortie; et des moyens d'insertion virtuelle, places à distance des cameras, de la salle de contrôle et des moyens de contrôle locaux, destines à recevoir 1'alimentation diffusée et le signal de données et à modifier les images vidéo de 1'alimentation diffusée en remplaçant une partie cible des images video par un modèle de remplacement adapte à 1'insertion dans la partie cible.
10. Système selon la revendication 9, dont les moyens de contrôle locaux comportent des moyens pour déterminer laquelle des cameras est couramment active et pour produire une sortie correspondante et dont les moyens d'insertion virtuelle reçoivent une signal de commande fonction de cette sortie et remplacent la partie cible de 1'image vidéo de l'alimentation diffusée provenant de la camera identifiée comme active.
11. Système selon la revendication 9, caractérisé en ce que les moyens de contrôle locaux comportent des moyens de routage pour, durant un calibrage du système, recevoir 1'alimentation diffusée et diriger individuellement des alimentations provenant des différentes cameras et pour fournir sélectivement en sortie 1'une des alimentations.
12. Système selon la revendication 9, caractérisé en ce que la salle de contrôle mobile comporte des moyens pour générer des signaux de fermeture de camera pour indiquer celle des cameras qui est active et des moyens pour surveiller les signaux de fermeture de camera et déterminer si un signal de fermeture de camera a été reçu pour la camera dont 1'image vidéo est en cours de réception par les moyens d'insertion virtuelle et pour envoyer un signal correspondant aux moyens d'insertion virtuelle.
13. Système selon la revendication 9, caractérisé en ce que les moyens de contrôle logique fournissent une sortie indiquant que la seconde de deux cameras dans le temps est active lorsque les signaux de sortie provenant d'une camera temporellement première est d'une camera temporellement seconde sont reçus en même temps.
14. Système selon la revendication 9, caractérisé en ce que les moyens de contrôle locaux comportent des moyens logiques pour surveiller les éléments graphiques et effets speciaux ajoutes pour produire les images vidéo de 1'alimentation diffusée et pour fournir une sortie indiquant qu'une image vidéo reçue par les moyens d'insertion virtuelle ne doit pas être modifiee, en se fondant sur la nature des éléments graphiques et des effets spéciaux ajoutes à 1'image vidéo reçue.
15. Système selon la revendication 6 ou 14, caractérisé en ce que la sortie est produite lorsque un effet spécial ajoute est incompatible avec le modèle de remplacement ou lorsqu'un effet spécial quelconque a été ajoute à l'image reçue pour traitement ou encore lorsqu'une couche quelconque d'éléments graphiques ajoutes est incompatible avec le modèle de remplacement.
Description:
SYSTEME D'INSERTION VISUELLE DANS UNE SEQUENCE VIDEO La présente invention concerne les systèmes d'insertion virtuelle dans une séquence vidéo et, en particulier, un système qui permet d'effectuer 1'insertion virtuelle en aval du site d'origine dans la chaîne de distribution d'un programme de télévision.

Les termes"système d'insertion virtuelle"decrivent un système qui remplace, dans une séquence vidéo d'une scene (par exemple provenant d'une camera video ou d'un enregistreur), une région ou zone cible de 1'image vidéo par un modèle de remplacement approprie, apte à être inséré dans la région cible, par exemple une représentation d'un modele mémorisé. La séquence vidéo peut par exemple être un match de football ou une course de stock car avec des panneaux commerciaux dans la scène. Le processus d'insertion virtuelle comporte le remplacement de la "cible", par exemple un panneau particulier de publicité pour un premier produit, dans la scène, par une représentation d'un panneau différent, faisant une publicité d'un second produit, de sorte qu'un produit commercial différent fait 1'objet d'une publicité dans la scène. Cela peut être fait de façon que la partie substituée s'adapte pratiquement sans solution de continuité dans 1'image de base et qu'un spectateur ne puisse constater qu'il s'agit d'un remplacement.

Dans des systèmes d'insertion virtuelle existants, une représentation de la cible, c'est-a-dire la partie sélectionnée de la scène qui doit être remplacee, est mise en mémoire. La position, la taille et la perspective de la cible sont calculées. Le modèle mémorisé est transforme géométriquement pour l'adapter à la taille et à la perspective estimées de la cible correspondante dans 1'image courante de la scène, pour

l'adapter aux propriétés radiométriques de la cible. Finalement, le modele transforme est inséré dans 1'image courante pour remplacer la cible. Le modèle transforme n'a pas besoin d'être une image échantillon; il peut être un élément graphique à deux ou trois dimensions, anime ou non. Des systèmes de ce type sont décrits par exemple dans les brevets US n° 5 264 933,5 363 392, 5 436 672 et 5 543 856 et le brevet français n° 94-05895 auxquels on pourra se reporter pour avoir une description plus complète du processus d'insertion virtuelle.

Les systèmes d'insertion virtuelle appartiennent à deux types de base, les systèmes à camera instrumentée et les systèmes à reconnaissance d'image. Le procédé utilise pour obtenir une estimation de la position, de la taille et de la perspective d'une cible change suivant que la camera est instrumentée ou non. Dans un système instrumente, on utilise des capteurs pour mesurer les paramètres de fonctionnement de la camera, tels que 1'azimut, 1'elevation, la mise au point et le zoom (pan, tilt, focus et zoom). L'emplacement, la taille et la perspective de la cible sont déterminés à partir des sorties des capteurs. Si les cameras ne sont pas instrumentées, on utilise la reconnaissance d'image pour détecter et poursuivre la ou les zones appropriées des images courantes de la scène pour obtenir les paramètres requis et la ou les zones à remplacer en temps réel.

La figure 1 indique schématiquement la chaine de distribution typique d'un programme de télévision. Plusieurs cameras 10 sont mises au point sur une scène S et transmettent ce que 1'on appelle une alimentation"propre propre"ou"clean clean", sans éléments graphiques ou effets speciaux, a une salle ou camion de contrôle mobile 12, généralement place sur le site de l'événement. La salle de contrôle 12 sélectionne 1'image qui

sera diffusée en utilisant un multiplexeur ou un module de commutation. Le multiplexeur génère aussi un signal code, appelé signal"tally"identifiant la camera qui est utilisée pour produire cette image particulière. Pour des raisons économiques et esthétiques, seules certaines cameras sont instrumentées par des capteurs et la fermeture du"tally"des cameras indique quelle camera est active ou sur 1'air à tout instant donne. Des signaux peuvent également être générés pour indiquer si une couche graphique déterminée ou un effet spécial est utilise à un instant donne. Suivant la terminologie habituelle, une alimentation"clean clean"ne contient que les signaux de la camera tandis qu'une alimentation"clean"contient une couche graphique et/ou un effet special (par exemple une rediffusion au ralenti). A 1'aide d'un équipement vidéo standard, la salle de contrôle peut ajouter des couches graphiques et/ou des effets spéciaux pour fournir 1'image finale. On appelle"alimentation sale"ou"dirty feed"une alimentation contenant 1'image fournie par la camera plus toutes les couches graphiques et effets spéciaux, qui est envoyée au studio du réseau 16 via un satellite 14. Le rôle principal du studio de réseau est de diffuser les images, via un satellite 17, à des stations filles 18. Ces stations, a leur tour, diffusent les images vers le public, indique par des récepteurs de télévision individuels 19.

Dans quelques systèmes commerciaux actuels, on utilise les cameras en mode commute, le traitement d'image étant effectue "avant"le multiplexeur ou le commutateur. Dans ces systèmes antérieurs, le directeur dans la salle de contrôle mobile peut choisir entre deux signaux provenant de la camera A, le signal A et le signal A'qui est un signal antérieurement traite sur le site et retarde par rapport au signal A.

Plusieurs approches différentes ont été utilisées pour effectuer 1'insertion virtuelle ou sont potentiellement utilisables en ce qui concerne 1'emplacement ou on effectue 1'insertion virtuelle. Une première approche, qu'on appellera système monocaméra voie montante (uplink) et qui est montrée en figure 2, utilise un système ou configuration dans lequel le système d'insertion virtuelle est sur site; les images vidéo (et éventuellement les données de capteurs) sont traitées localement sur site, c'est-a-dire sont envoyées à la salle de contrôle ou au camion d'un diffuseur extérieur place sur le site et elles sont traitées la. C'est 1'approche habituelle dans quelques systèmes d'insertion virtuelle commerciaux.

Sur la figure 2, les cameras 10a, lOb et 10c sont reliées à un multiplexeur 31 et un système de traitement d'image 21 est place entre les cameras et le multiplexeur 31. La figure 2 vise à couvrir le cas générique, c'est-a-dire les cameras instrumentées et non. Un signal d'image et un signal de sortie des capteurs seront prévus pour chaque camera instrumentée. Un seul système de traitement d'image soit montre, mais il y a habituellement un processeur par chaque camera. Un module d'insertion virtuelle 22 du type décrit ci-dessus remplace la partie appropriée (la cible) de 1'image vidéo par le modèle, par exemple par la publicité souhaitée. Dans son implémentation commerciale, un module d'insertion virtuelle séparé est associe à chaque camera, que la camera soit ou non sur 1'air, de façon à produire une alimentation distincte utilisée dans le reste de la chaine. Les modules d'insertion virtuelle 22 sont sur site et raccordes à chaque camera, lorsqu'on utilise plus d'une camera.

Le directeur dans la salle de contrôle a le choix entre une image"clean clean"provenant directement de la camera et une image retardée après traitement par le système de traitement

d'image 21 et le module d'insertion virtuelle 22; le multiplexeur 31 permet de les commuter. Le multiplexeur 31 est place dans une salle de contrôle mobile ou un camion 30 avec un équipement vidéo standard 32. L'équipement vidéo 32 est utilise pour ajouter des couches graphiques, des effets speciaux et des effets ne provenant pas de la camera, tels qu'une répétition, aux images de sortie provenant du multiplexeur 31. Les images sont envoyées au studio de réseau 40 et relayées aux stations filles 50. Des inconvénients de cette approche sont qu'il faut un système d'insertion visuelle ou de remplacement pour chaque camera et l'opération d'insertion visuelle doit être effectuée sur site, ce qui exige des techniciens en nombre élevé sur le site.

La figure 3, ou les éléments correspondant à ceux montres en figure 2 portent les mêmes numéros de référence, montre une configuration multicaméra voie montante. Dans cette configuration, le module d'insertion virtuelle 22 est place dans un camion sur site et il admet des entrées provenant de cameras multiples (par exemple les cameras 10a, lOb et lOc) et il traite 1'alimentation"propre"de la camera active, identifiée par le "tally"provenant de la salle de contrôle mobile 30. Dans la réalisation montrée schématiquement en figure 3 on utilise un module de reconnaissance de forme du système de traitement d'image 21 pour déterminer la zone cible à remplacer; dans d'autres réalisations, on utilise des cameras instrumentées; des signaux de données provenant des capteurs de camera, c'est- a-dire les signaux de pan, tilt, zoom et focalisation sont envoyés directement par les cameras 10a, lOb et 10c au module d'insertion virtuelle 22. Le flot vidéo modifie produit par le module d'insertion virtuelle 22 est renvoyé à la salle de contrôle mobile ou au camion 30 et l'équipement vidéo 22 insère

les couches graphiques et les effets spéciaux; en variante, le module d'insertion virtuelle utilise des couches graphiques et effets spéciaux provenant de la salle de contrôle 30 pour générer une alimentation"sale"dirigee vers le studio de réseau 40.

La figure 4 montre un système voie montante/voie descendante. Les éléments correspondants portent encore les mêmes numéros de référence que sur la figure 2. Dans ce systeme, le traitement d'insertion virtuelle est fractionne en deux parties. Si on effectue un traitement d'image, on le réalise sur site comme indique par le module de traitement d'image 21.

Toutes les autres étapes sont effectuées dans la salle de contrôle mobile ou le camion 30, exception faite de 1'insertion effective. Les informations nécessaires pour effectuer 1'insertion (remplacement de la cible, pixels masques, etc.) sont codées dans la salle de contrôle mobile 30 et transmises au studio de réseau 40. L'insertion virtuelle est effectuée au studio ou en aval, comme indique par 1'emplacement du système d'insertion 22. Le modèle inséré peut être différent pour chacune des stations filles 50 si on le souhaite (brevet FR 94- 05895). Des procédés pour protéger 1'information codée sont décrits dans le brevet US 5 543 856, ainsi qu'un système maitre- esclave, dans lequel le système maître effectue la reconnaissance d'image et la détection et fournit 1'information concernant 1'emplacement precis de 1'image insérée, tandis que le système esclave effectue 1'insertion.

L'invention vise a fournir un systeme"mi-trajet"ou "midlink"dans lequel les données d'entrée et de commande nécessaires sont collectées sur site et transportées à un emplacement éloigné ou 1'insertion virtuelle est effectuée sur 1'alimentation"sale"provenant du site.

Suivant un aspect de 1'invention, il est propose un système de télévision qui remplace une région cible dans des images vidéo successives par un modele adaptable dans la region cible, ce système comprenant : -au moins une camera de télévision pour produire une séquence d'images video d'une scene; -des moyens de traitement d'images diffusées pour recevoir les images vidéo et ajouter sélectivement des couches de graphiques et d'effets speciaux aux images vidéo pour produire une alimentation à diffuser; et -des moyens d'insertion virtuelle, éloignés des moyens de traitement d'images diffusees, destines a recevoir 1'alimentation diffusée et à modifier 1'alimentation diffusée en remplaçant une partie cible des images vidéo par un modèle de remplacement adapte pour être insérable dans la partie cible.

Dans un mode particulier de réalisation, les moyens de traitement de 1'image diffusée sont places dans une salle de contrôle mobile placée sur site avec au moins une dite camera et est prévue pour fournir en sortie les images video correspondantes sous forme numerique, constituant une alimentation diffusée.

Avantageusement le système comporte plusieurs cameras activables et des moyens pour déterminer laquelle des cameras est couramment active et pour produire une sortie correspondante et les moyens d'insertion virtuelle remplacent une partie cible de 1'image video provenant de la camera active, indiquée par cette sortie.

Des moyens de routage sont avantageusement places séparément de la salle de contrôle mobile. Durant le calibrage du système, ils reçoivent 1'alimentation diffusée et dirigent individuellement des alimentations provenant des différentes

cameras et fournissant sélectivement en sortie 1'une des alimentations. Les moyens de routage sont utilises pour faciliter la sélection d'une cible ou de cibles au cours d'un processus de calibrage pour chaque camera avant diffusion, par exemple pour ajuster des niveaux de"key"lorsqu'un procédé d'écran bleu est utilise.

Lorsque le système comporte plusieurs cameras, des moyens sont avantageusement prévus pour générer des signaux de fermeture de camera pour indiquer celle des cameras qui est active et pour surveiller les signaux de fermeture de camera et déterminer si un signal de fermeture de camera a été reçu pour la camera dont 1'image video est en cours de réception par les moyens d'insertion virtuelle.

Le système comporte avantageusement de plus des moyens de surveillance pour surveiller les éléments graphiques et les effets spéciaux ajoutes pour produire les images vidéo de 1'alimentation diffusée et pour produire une sortie indiquant une image vidéo reçue par les moyens d'insertion virtuelle ne doit pas être modifiee, en se fondant sur la nature des éléments graphiques et des effets spéciaux qui ont été ajoutes à 1'image vidéo reçue. Les moyens de surveillance peuvent produire cette sortie lorsque 1'un des effets speciaux ajoutes est incompatible avec le modèle de remplacement. Dans un autre mode, les moyens de surveillance fournissent cette sortie lorsqu'un effet spécial a été ajoute aux images reçues à traiter. Les moyens de surveillance peuvent aussi produire cette sortie lorsqu'une couche quelconque des éléments graphiques ajoutes est incompatible avec le modèle de remplacement.

Il peut y avoir plusieurs cameras instrumentées ayant chacune des capteurs associes qui produisent des données opérationnelles concernant la camera respective; le systeme

comprend alors des moyens pour envoyer ces données opérationnelles aux moyens d'insertion virtuelle en vue du remplacement de la partie cible d'une image vidéo de 1'alimentation diffusée par un modele de remplacement compatible avec les données opérationnelles. Ces données opérationnelles peuvent concerner les caractéristiques de camera dites pan, tilt, focus et zoom.

Suivant un autre aspect encore de 1'invention, le système de télévision comprend: -plusieurs cameras de télévision qui, lorsqu'elles sont actives, produisent une séquence d'image vidéo d'une scène; -des capteurs pour chacune des cameras, détectant plusieurs paramètres opérationnels associes avec la camera respective et produisant des données de sortie respectives; -une salle de contrôle mobile place sur le site des cameras et comportant des moyens de traitement d'image destines à recevoir les images vidéo et à ajouter des couches d'éléments graphiques et des effets spéciaux aux images vidéo afin de produire des images video résultantes, et des moyens pour fournir en sortie les images video résultantes sous forme numérique pour constituer une alimentation diffusée; -des moyens de contrôle locaux places sur site ainsi que la chambre de contrôle mobile, destines à recevoir les données de sortie des capteurs et à fournir un signal de données de sortie; et -des moyens d'insertion virtuelle, places à distance des cameras, de la salle de contrôle et des moyens de contrôle locaux, destines à recevoir 1'alimentation diffusée et le signal de données et à modifier les images video de 1'alimentation diffusée en remplaçant une partie cible des images vidéo par un

modèle de remplacement adapte à 1'insertion dans la partie cible.

Les moyens de contrôle locaux comprennent avantageusement de plus des moyens pour determiner laquelle des cameras est couramment active et pour fournir une sortie correspondante et les moyens d'insertion virtuelle reçoivent un signal de contrôle sur la base de cette sortie et, en réponse au signal, remplacent la partie cible de 1'image vidéo de 1'alimentation diffusée provenant de la camera active.

Dans une réalisation avantageuse, la salle de contrôle mobile comporte des moyens pour générer des signaux de fermeture de camera indiquant laquelle des cameras est active et les moyens de contrôle locaux comprennent des moyens de contrôle logique destines à surveiller les signaux de fermeture de camera pour déterminer si un signal de fermeture de camera est reçu pour la camera dont les images vidéo sont couramment reçues par les moyens d'insertion virtuelle et envoyer un signal de contrôle correspondant aux moyens d'insertion virtuelle. Les moyens de contrôle logique peuvent fournir une sortie indiquant que la seconde de deux cameras dans le temps est active lorsque les signaux de sortie provenant d'une camera temporellement première et d'une camera temporellement seconde sont reçus en même temps.

Les moyens de contrôle locaux comprennent avantageusement des moyens de contrôle logique.

D'autres caractéristiques de 1'invention apparaîtront à la lecture de la description detaillee de modes préférés de réalisation qui suit.

Dans les dessins : -la figure 1 est un schéma synoptique d'une chaîne de distribution représentative de programme de télévision;

-les figures 2,3 et 4 sont des représentations synoptiques de systèmes d'insertion virtuelle antérieurs; -la figure 5 est un synoptique d'un système d'insertion virtuelle suivant 1'invention; -la figure 6 est un synoptique montrant en détail la partie sur site du système de la figure 5, implémenté suivant un premier mode de réalisation; et -la figure 7 est un synoptique d'une portion de la partie sur site de la figure 6, implemente dans une variante.

La figure 5, similaire aux figures 2 à 4 et dans laquelle les éléments correspondants portent les mêmes numéros de référence, montre les éléments fondamentaux d'un systeme"midlink"suivant 1'invention. Les données sont collectées au site d'origine et amenées à un studio de réseau, ou à un autre endroit, et y sont traitees, à distance, en temps réel. Contrairement à la configuration "uplink/downlink"de la figure 4, tous les traitements nécessaires pour 1'insertion virtuelle sont effectues en aval du site d'origine.

Les cameras 10a, lOb, 10c de la figure 5 peuvent être instrumentées ou non. Les signaux vidéo sont envoyés à une salle de contrôle mobile sur site. La salle de contrôle 30 comporte un multiplexeur 31 utilise pour sélectionner celles des images de camera qui seront diffusées et un équipement de traitement vidéo classique 32 pour ajouter des effets spéciaux et/or des éléments graphiques aux images de la camera.

Après traitement de signal, on transmet plusieurs signaux, décrits ci-dessous, de la salle de contrôle mobile 30 à 1'emplacement éloigné et/ou au module

d'insertion virtuelle 22. Dans 1'exemple représenté, ces signaux sont transmis au studio de réseau 40, puis au module d'insertion virtuelle 22 (bien que ce module 22 puisse être place au studio). Un des signaux transmis contient une information concernant les effets spéciaux appliques à l'image; chacun des autres signaux correspond à une seule couche de graphiques. Si la camera active n'est pas instrumentée, les paramètres de la cible, c'est- a-dire la surface de remplacement de la publicite, sont obtenus à 1'aide d'un module de reconnaissance de forme du module de traitement d'image 21. Si la camera active est instrumentée, les données des capteurs de la camera sont également transmis au module d'insertion virtuelle 22. La substitution du modèle graphique mémorisé à la cible dans 1'image vidéo est effectuée directement par le module d'insertion virtuelle 22.

On peut employer plusieurs configurations différentes du système. On peut par exemple effectuer 1'insertion virtuelle sur le signal qui traverse le noeud de contrôle du réseau (studio de réseau 40). Le signal résultant est envoyé alors aux stations filles 50. L'opération peut également être effectue au niveau de la station ou des stations filles. Une combinaison des deux méthodes peut être utilisée, comme indique en figure 5, ou le traitement d'image est effectue sur le signal reçu par le studio de réseau 40 et 1'insertion virtuelle effectuée aux stations filles. Des insertions multiples différentes sont possibles à chacune des stations filles, comme dans le systeme"uplink/downlink"de la figure 4.

Un aspect important est que les images traitées proviennent d'un"dirty feed"contenant toutes les couches

graphiques et effets spéciaux. Dans un système à cameras multiples, deux"tallys"peuvent se fermer en même temps, par suite du retard lie à la commutation entre les cameras et à l'imprécision du retard à la fermeture du"tally"qui indique celle des camera qui est sur 1'air. Si deux "tallys"se ferment au même instant, la position de la cible, c'est-a-dire 1'emplacement de la publicité qui est à insérer, risque d'etre incorrectement détectée. Le système de 1'invention détermine celle des cameras qui est active en utilisant une logique, par exemple suivant un algorithme, tel que si la camera A était active et que des signaux de"tally"sont reçus et indiquent que les cameras A et B sont actives, on suppose que c'est la camera B qui est active ensuite. L'algorithme simple peut être implémenté sous forme matérielle ou logicielle et il résout les problèmes accompagnant le traitement du"tally" dans de nombreuses salles de contrôle mobiles lorsque le signal de fermeture ne retombe pas immédiatement et produit une ambiguïté concernant celle des cameras qui est effectivement active.

L'invention conserve les avantages du système de la figure 4 et permet le traitement à distance du flot vidéo en aval de la salle de contrôle mobile. La capacité de traitement du flot vidéo à distance est offerte par la transmission numérique du signal, qui garantit Cette transmission numérique garantit la qualité du flot vidéo, contrairement à une transmission analogique qui se dégrade à chaque passage par un satellite. En utilisant 1'alimentation"sale", les images sont traitées en aval du multiplexeur ou commutateur 31; en utilisant la logique

simple mentionnée plus haut, il n'y a pas de problème de synchronisme de"tally".

Avantageusement, le signal vidéo entrant n'est traite que si les conditions suivantes sont remplies : le"tally" d'une camera est ferme; il n'y a pas d'effets speciaux sur 1'air et il n'y a pas de couche graphique capable d'affecter le processus (par exemple un graphique bleu lorsque le système utilise un écran bleu pour les occlusions).

La figure 6 montre des détails supplémentaires d'un mode avantageux de réalisation du système midlink. Les cameras 10a, 10b et 10c sont instrumentées et ont des lignes de données 40a, 40b et 40c reliées à un module de contrôle local 34 ou le processus d'insertion virtuelle est normalement effectue. Mais le module 34 effectue des fonctions très simplifiées, comme on va le voir. Des câbles triaxiaux 42a, 42b et 42c, qui transportent 1'alimentation de la camera et les signaux d'image, relient les cameras respectives à la salle de contrôle mobile 30. Les câbles 42a, 42b et 42c peuvent aussi être connectes directement au module de contrôle local 34 pour fournir un signal"clean clean"mais ce n'est pas le cas dans le mode préféré.

Un multiplexeur classique 31 est relie à l'équipement vidéo classique 32 qui ajoute les graphiques et effets spéciaux prévus. Etant donne que le terme"multiplexeur" suggère un fonctionnement automatique, on peut mieux qualifier le module 31 de commutateur ou routeur car en général le module effectue les commutations entre les sorties de camera sous la commande d'un directeur dans la salle ou camion.

La salle de contrôle 30 comporte également un interface de processeur graphique (GPI) 36 relie à l'équipement vidéo 32 et produisant des signaux de sortie fondes sur les couches graphiques et les effets spéciaux (mouvement lent par exemple) ajoutes au signal d'image vidéo. Les signaux GPI sont transmis par une ligne GPI 46 à l'entrée du module de contrôle local 34. De plus, les signaux de"tally"des cameras 10a, 10b et 10c sont envoyés au module 34 sur des lignes de sortie respectives 48a, 48b et 48c.

Le multiplexeur 31 fournit sur une ligne de sortie 47, en coopération avec l'équipement vidéo 32, un signal diffuse, un signal elabore"dirty feed"qui contient les couches graphiques et les effets spéciaux ajoutes au signal d'image vidéo transmis sous forme numérique aux structures de réseau 40. Si la salle de contrôle est prévue pour fournir un signal analogique, on effectue une conversion analogique-numérique. Le module 40 représenté est un studio de réseau, mais le signal diffuse peut être envoyé à un studio de service de production ou à un autre type de commande, puis renvoyé au studio de réseau proprement dit. Une liaison satellite est montrée en figure 1 mais d'autres liaisons, par exemple optiques, peuvent être utilisees.

Dans 1'exemple considéré, le composant clé du module de contrôle local 34 est 1'ensemble routeur (commutateur) et module logique 38. La fonction de base du module de contrôle local 34 est de déterminer quelle camera est active à partir des signaux de"tally"sur les lignes 48a, 48b et 48c et de transmettre 1'information avec les signaux de données (de capteur) pour la camera active

ainsi que 1'information concernant les graphiques et les effets spéciaux depuis le GPI 36. Un circuit simple est inclus dans le module routeur et logique 34 pour utiliser 1'algorithme qui détermine quelle camera est active. Dans une réalisation avantageuse, le signal vidéo entrant (signal diffuse) est traite lorsque des conditions sont remplies :"tally"de la camera ferme, pas d'effets spéciaux sur 1'air et pas de couche graphique pouvant affecter le processus d'insertion virtuelle. Les signaux de"tally"permettent la première détermination tandis que les signaux GPI permettent les deux dernières. La décision de ne pas traiter peut être faite au GPI ou au module de contrôle local 34 ou même à un emplacement aval (par exemple au studio de réseau) à partir de la sortie du module de commutation logique 38 apparaissant sur l'accès de sortie 49. Dans un mode de réalisation, la décision de traiter est prise au GPI 36 qui a trois états différents, un etat"off" (GPI arrête) et deux etats"on". Dans les etats"on", le GPI détermine si les graphiques ou effets spéciaux sont incompatibles avec le traitement a effectuer; dans un premier etat"on", il produit un signal"traiter"et dans 1'autre etat"on", il produit un signal"ne pas traiter". Les signaux de données sont utilises pour déterminer la cible à remplacer.

Dans une variante montrée en figure 7, ou un routeur ou commutateur 41 et un module de contrôle logique 43 sont représentés séparément dans un but de clarte, le signal diffuse sur la ligne 47 est envoyé au routeur 41 du module de contrôle local 34 et, avec les signaux vidéo de camera, sur des câbles triaxiaux 42a, 42b et 42c respectivement associes aux cameras 10a, 10b et 10c. Le routeur est

utilise, au cours du calibrage du système, pour effectuer une commutation entre les cameras individuelles 10a, 10b et 10c et 1'alimentation diffusée ou de programme. La ligne de sortie 51 est utilisée pour envoyer sélectivement une des images de camera ou le signal de programme a 1'emplacement éloigné (par exemple le studio 40) pour traitement. On n'utilise pas un canal séparé pour le signal diffuse comme sur la figure 6. Ce routage a distance des images de camera aide à calibrer le système et permet une présélection de la couleur d'occlusion (chroma key). Au cours du calibrage, on fait varier tous les paramètres de fonctionnement de la camera entre leurs valeurs extrêmes; par exemple, on effectue un panoramique dans toute la plage de mouvement entre les limites, on affecte des valeurs linéaires aux positions de la camera sur toute la plage et on génère des signaux à codage temporel correspondants. De plus, pour les cameras instrumentées, on effectue un calibrage préliminaire sur une image de camera fixe pour définir la cible ou les cibles intéressantes. Après cette étape initiale, les signaux de données sont envoyés à distance, puis utilises dans le processus d'insertion virtuelle. Le routeur 41 est utilise lors de la diffusion du programme : seul le signal diffuse est envoyé alors.

Dans le mode de réalisation de la figure 7, on insère des signaux concernant les couches graphiques et les effets spéciaux, c'est-a-dire les effets vidéo numériques (tels que fondu, fondu enchaîné, ralenti, etc.) séparément dans le module de contrôle logique 43, comme indique par le module graphique séparé 53 et le module 55 d'effets vidéo numériques (DVE). Le signal de ce dernier est

utilise comme signal de fermeture de"tally" : une des broches de"tally"est affectée au signal DVE et le module logique 43 sait que le DVE est actif lorsque la broche est à la masse. Contrairement au mode de réalisation précédent, le signal de graphiques est avantageusement un signal à deux états (on-off).

Un avantage de 1'invention est la réduction de coût possible, par comparaison avec les systèmes commerciaux actuels à canaux séparés. Cette réduction rend le système plus flexible et permet d'effectuer des opérations d'insertion visuelle sur des programmes moins cotes (par exemple un match de boxe par comparaison avec le Super Bowl). Les réductions portent sur les dépenses liées à la présence sur site de personnel non requis dans le système de 1'invention, puisque 1'insertion virtuelle est effectuée à distance.

De plus, le module de contrôle local est très simplifie et les couts associes, par exemple conditionnement d'air, fourniture de puissance et conducteur, sont evites.

L'invention n'est pas limitée à des cas particuliers, tels le remplacement d'un panneau publicitaire par un autre et 1'information à ajouter peut être insérée sur des surfaces ouvertes ou nues, par exemple sur 1'eau, le sable ou un terrain ouvert. L'information peut comporter des indications sur l'événement. Pour la natation par exemple, le nom des nageurs et les pays qu'ils représentent peuvent être superposes aux couloirs.

L'invention est également applicable à la télévision sur Internet, où elle sera particulièrement aisée à mettre en oeuvre lorsque la norme MPEG 4 sera appliquée, car cette

norme permet 1'insertion dans le signal de descriptifs de la scène et de la segmentation d'objets (demande FR 98 02781). Dans ce cas, les moyens de traitement d'image sur site introduisent dans le flot vidéo compresse et code des indications définissant la cible, par exemple les coordonnées des quatre coins en cas de panneaux en forme de parallélogramme. Une semi-transparence peut être prevue, en transmettant des coefficients de mélange en profondeur correspondant à chaque plan. Le programme de télévision ainsi traite peut être mémorisé sur un serveur éloigné accessible par un réseau utilisant un protocole de genre Internet. La substitution d'un modele a la cible peut être effectuée au niveau du serveur, par une régie publicitaire. En rendant les signaux de définition accessibles à 1'internaute, ce dernier peut insérer un modèle de son choix, à condition qu'il soit compatible avec la forme de la cible.