Décodeur de données vidéo et procédé de décodage de données vidéo

Domaine technique de l'invention

La présente invention concerne un décodeur de données vidéo et un procédé de décodage de ces données. L'invention s'applique au domaine des décodeurs de télévision numérique visant à décoder de données vidéo et comportant des moyens de synchronisation des données vidéo, des données de sous-titrage et de données audio (lorsque ces dernières sont présentes), ces données étant enregistrées dans un espace de stockage (du type disque dur) sous forme multiplexée. On notera que le terme « sous- titrage » utilisé par la suite désigne tout type de données textuelles desti- nées à accompagner les données vidéo ; il peut s'agir par exemple de sous- titres définis selon la norme DVB pour (« Digital Video Broadcasting » en anglais) mais aussi de données utilisant la norme télétexte (transportées sur des paquets DVB par exemple). Arrière-plan technologique de l'invention Dans un décodeur de télévision numérique comportant un disque dur, différents flux de type audio, vidéo et télétexte/sous-titres tels que notamment décrits dans les normes DVB peuvent être stockés sous forme de flux partiel sur le disque dur, afin d'être rejoués et décodés postérieurement.

Ces différents flux sont habituellement transportés dans un flux trans- port utilisant par exemple la norme DVB, démultiplexé par un démultiplexeur, et transmis respectivement à des décodeurs élémentaires pour décodages audio, vidéo, télétexte ou sous-titres. Les flux transmis à un organe de décodage peuvent être destinés à être utilisés de manière synchrone. Ceci est par exemple le cas des informations audio et vidéo qui sont liées entre elles par des informations de synchronisation temporelles sous la forme d'horodatages de présentation ou PTS (« Présentation Time Stamps» en anglais »). L'exploitation de ces informations, combinée à la mise à jour d'une horloge locale STC (« System Time Clock » en anglais) au moyen de signaux de référence temporelle notés PCR (pour « Program Clock Refe- rence » en anglais) permet d'afficher des images de façon synchrone avec le son. Les références temporelles PCR sont insérées dans le flux de don-

nées en synchronisme avec une horloge qui cadence le codage des données. Elles permettent à l'aide d'un synthétiseur de fréquences ou d'un oscillateur commandé en tension noté VCXO (pour « Voltage Controlled Chrystal Oscilator ») de générer coté décodage l'horloge STC. Les horoda- tages PTS permettent de synchroniser la présentation des paquets de données par rapport à l'horloge STC. Bien que le décodage vidéo et le décodage audio soient des processus séparés, chaque paquet vidéo et chaque paquet audio est synchronisé avec l'horloge STC de sorte qu'ils sont présentés à un même instant déterminé. En d'autres termes, les paquets vidéo et les paquets audio sont chacun synchronisés avec l'horloge STC et sont donc synchronisés entre eux. Cette méthode est bien connue et implémen- tée dans les décodeurs numériques.

On notera que la transmission des informations de synchronisation PTS n'est pas obligatoire dans le cas des données de sous-titrage/télétexte. La synchronisation pour de telles données, dont le besoin est bien moins précis que dans le cas de l'audio, se réalise par un décodage quasi- immédiat (quelques dizaines de ms au maximum) des données reçues en sortie de démultiplexeur. De ce fait, dans le cadre de l'exploitation de flux sous-titres en mode de décodage direct d'après un signal antenne, la pré- sence ou non d'informations de synchronisation dans ces flux n'a pas grand intérêt, la prise en compte d'une erreur moyenne suffisant à gagner en précision.

Toutefois, la mise en œuvre d'une telle solution pose un certain nombre de difficultés dans le cas d'un décodeur comportant un espace de stoc- kage de données.

Ainsi, le principe généralement utilisé lors de la relecture de données rejouées d'un espace de stockage consiste à tamponner (c'est-à-dire mettre en mémoire tampon) les données utilisés, en remplissant notamment au maximum la mémoire tampon de données vidéo. On utilisera indifféremment par la suite le terme « mémoire tampon » ou le terme « buffer ». Les buffers utilisés sont du type « premier entré - premier sorti » FIFO (« First In First Out » en anglais). De cette manière, un éventuel défaut de lecture sur l'espace de stockage (telle qu'une erreur de lecture disque par exemple)

entraînant un délai dans la lecture de ces données n'est pas visible. Ainsi, l'ensemble des données audio, vidéo, sous-titres relues à partir d'un espace de stockage est fourni au démultiplexeur, avec un asservissement dirigé par le niveau de remplissage du buffer de décodage vidéo. Dans le cas où aucun horodatage PTS avant envoi n'est implémenté pour les sous-titres, ceux-ci sont décodés dès qu'ils sont disponibles en sortie de démultiplexeur, de la même manière qu'en réception directe. Des données vidéo non encore décodées risquent donc d'être encore présentes dans le buffer de décodage vidéo, alors que les sous-titres correspondants sont déjà en cours d'affichage. En pratique, la taille du buffer de décodage vidéo et les débits de compression vidéo habituels sont tels qu'il est possible d'avoir plusieurs secondes d'écart entre ces sous-titres et l'image non encore décodée. La cohérence d'affichage des sous-titres par rapport à la vidéo est alors sérieusement compromise. Dès lors, on conçoit bien que le fait de jouer immédiatement (sans mise en mémoire tampon) les sous-titres sans horodatage de présentation PTS ne pose pas de problème majeur lorsque les données sont jouées en « live » mais que cette absence de bufferi- sation pose de sérieux problèmes en cas de lecture des données à partir d'un disque dur incorporé au décodeur. On notera que le terme « live » utili- se par la suite désigne une visualisation en direct, à partir du flux et non à partir du disque dure.

En outre, en l'absence d'horodatages de présentation associés aux données de sous-titrage, les problèmes mentionnés ci-dessus sont encore accrus en mode ralenti dans la mesure où le retard entre l'affichage des sous-titres et celui des images vidéo est encore plus grand. Description générale de l'invention

Dans ce contexte, la présente invention vise à fournir un décodeur de données vidéo et de données de sous-titrage associées auxdites données vidéo provenant d'un espace de stockage, permettant de synchroniser les données vidéo et les données de sous-titrage de façon efficace, simple et économique.

A cette fin, l'invention propose un décodeur de données vidéo et de données de sous-titrage associées auxdites données vidéo, lesdites don-

nées provenant d'un flux de données incluant en outre des références temporelles PCR en synchronisme avec une horloge ayant servi à cadencer le codage desdites données, ledit décodeur comportant

- un espace de stockage, lesdites données vidéo et de sous-titrage étant enregistrées sous forme multiplexées sur ledit espace de stockage,

- une première mémoire tampon fonctionnant en mode « premier entré - premier sorti » et apte à recevoir lesdites données vidéo sous forme de paquets, - une deuxième mémoire tampon fonctionnant en mode « premier entré - premier sorti » et apte à recevoir lesdites données de sous- titrage sous forme de paquets,

- un démultiplexeur pour émettre lesdites données vidéo et lesdites données de sous-titrage respectivement vers ladite première et ladite deuxième mémoire tampon,

- une horloge locale, ledit décodeur étant caractérisé en ce que ledit espace de stockage comporte des moyens pour stocker lesdites références temporelles de sorte que ledit démultiplexeur transmet également lesdites références temporelles, ledit décodeur incluant des moyens pour générer un horodatage de présentation associé à chaque paquet de données de sous-titrage ne contenant pas initialement d'horodatage de présentation, ledit horodatage de présentation étant déterminé à partir d'une valeur de référence temporelle émise par ledit démultiplexeur et permettant de synchroniser la présentation desdits paquets de données de sous-titrage par rapport à ladite horloge locale.

Grâce à l'invention, on associe à chaque paquet de sous-titrage ne possédant pas d'horodatage PTS (permettant la synchronisation) un horodatage reconstruit ; cet horodatage reconstruit est généré à partir d'une référence temporelle PCR. L'invention permet donc lors d'une lecture disque de synchroniser les sous-titres même s'ils ne contiennent pas de PTS, c'est-à- dire même s'ils n'ont pas été prévus à cet effet.

Le dispositif selon l'invention peut également présenter une ou plusieurs des caractéristiques ci-dessous, considérées individuellement ou selon toutes les combinaisons techniquement possibles.

Selon un premier mode de réalisation préférentiel, le décodeur selon l'invention comporte des moyens de mémorisation d'une variable de référence temporelle égale à la dernière référence temporelle reçue dudit multiplexeur, lesdits moyens pour générer un horodatage de présentation fixant la valeur dudit horodatage de présentation de chaque paquet de données de sous-titrage reçu dans ladite deuxième mémoire tampon à la valeur cou- rante de ladite variable de référence temporelle.

Selon un deuxième mode de réalisation, le décodeur selon l'invention comporte des moyens de mémorisation d'une variable de référence temporelle égale à la dernière référence temporelle reçue dudit multiplexeur, lesdits moyens pour générer un horodatage de présentation fixant la valeur du- dit horodatage de présentation de chaque paquet de données de sous- titrage reçu dans ladite deuxième mémoire tampon à la valeur qui suit la valeur courante de ladite variable de référence temporelle au moment de la réception dudit paquet dans ladite deuxième mémoire tampon.

Selon un troisième mode de réalisation, le décodeur selon l'invention comporte des moyens de mémorisation d'une variable de référence temporelle égale à la dernière référence temporelle reçue dudit multiplexeur, lesdits moyens pour générer un horodatage de présentation fixant la valeur dudit horodatage de présentation de chaque paquet de données de sous- titrage reçu dans ladite deuxième mémoire tampon à une combinaison de la valeur courante de ladite variable de référence temporelle et de la valeur qui suit la valeur courante de ladite variable de référence temporelle au moment de la réception dudit paquet dans ladite deuxième mémoire tampon.

De manière particulièrement avantageuse, le décodeur selon l'invention comporte une troisième mémoire tampon fonctionnant en mode « premier entré - premier sorti » et apte à contenir provisoirement lesdits horodatages de présentation générés, ladite troisième mémoire tampon contenant autant d'horodatages que le nombre de paquets de données de

sous-titrage ne contenant pas initialement d'horodatage de présentation se trouvant dans ladite deuxième mémoire tampon.

Selon un mode de réalisation, lesdites données vidéo et de sous- titrage sont stockées dans ledit espace de stockage sous un format DVB. Préférentiellement, le décodeur selon l'invention comporte une quatrième mémoire tampon fonctionnant en mode « premier entré - premier sorti » et apte à contenir provisoirement des données audio, lesdites données audio provenant également dudit flux de données incluant en outre les données vidéo, les données de sous-titrage et les références temporelle. Avantageusement, le décodeur selon l'invention est un décodeur de télévision numérique.

La présente invention a également pour objet un procédé de décodage de données vidéo et de données de sous-titrage associées auxdites données vidéo, lesdites données provenant d'un flux de données incluant en outre des références temporelles en synchronisme avec une horloge ayant servi à cadencer le codage desdites données, lesdites données vidéo, de sous-titrage et lesdites références temporelles étant enregistrées sous forme multiplexées sur un espace de stockage, ledit procédé comportant les étapes suivantes : - démultiplexage desdites données vidéo, desdites données de sous- titrage et desdites références temporelles,

- mise dans une première mémoire tampon fonctionnant en mode « premier entré - premier sorti » desdites données vidéo sous forme de paquets, - mise dans une deuxième mémoire tampon fonctionnant en mode

« premier entré - premier sorti » desdites données de sous-titrage sous forme de paquets,

- mémorisation d'une variable de référence temporelle égale à la dernière référence temporelle reçue dudit multiplexeur, - mise dans une troisième mémoire tampon fonctionnant en mode

« premier entré - premier sortie » d'un horodatage de présentation associé à chaque paquet de données de sous-titrage entrant dans ladite deuxième mémoire tampon et ne contenant pas initialement

d'horodatage de présentation, ledit horodatage étant égal à la valeur de la dernière référence temporelle mémorisée et permettant de synchroniser la présentation desdits paquets de sous-titrage par rapport à une horloge locale. Brève description des figures

D'autres caractéristiques et avantages de l'invention ressortiront clairement de la description qui en est donnée ci-dessous, à titre indicatif et nullement limitatif, en référence à la figure 1 annexée qui est une représentation schématique simplifiée d'un décodeur selon l'invention pour la mise en œuvre du procédé de codage selon l'invention.

Description des formes de réalisation préférées de l'invention La figure 1 représente schématiquement un décodeur de télévision numérique 1 prévu pour recevoir des flux de données F (utilisant par exemple une norme du type DVB). Le décodeur 1 permet non seulement de diffu- ser directement (en « live ») les programmes audiovisuels au téléspectateur ou les enregistrer sur un espace de stockage tel qu'un disque dur 3 de façon à les rendre accessibles au téléspectateur ultérieurement. On notera que la figure 1 ne représente que les fonctionnalités relatives au mode de réalisation lié au stockage des données. Le décodeur 1 comporte :

- un module de réception 2 du flux de données F

- le disque dur 3,

- un démultiplexeur 4,

- quatre mémoires tampon 5, 6, 7 et 8, - trois décodeurs 1 1 , 12 et 13 prévus respectivement pour décoder les données vidéo, audio et de sous-titrage.

Chacune des mémoires tampon 5, 6, 7 et 8 est un buffer de type « premier entré - premier sorti » FIFO (« First In First Out »).

Le flux de données F après réception par le module de réception 2 est stocké sur le disque dur 3.

Le flux F comporte un ensemble de données vidéo, audio et de sous- titrage. Le flux F comporte également des signaux de référence temporelle notés PCR (pour « Program Clock Référence »). Ces références temporelles

PCR sont insérées dans le flux de données en synchronisme avec une horloge qui cadence le codage des données. En lecture « live », les PCR permettent à l'aide d'un synthétiseur de fréquences ou d'un oscillateur commandé en tension noté VCXO (pour « Voltage Controlled Chrystal Oscila- tor ») de générer coté décodage une horloge de synchronisation STC. Dans le cas d'une lecture à partir du disque dur 3, les références temporelles ne sont pas utilisées pour générer l'horloge STC : le disque dur 3 comporte toutefois des moyens 16 pour conserver en mémoire les références PCR incorporées dans le flux F. Comme nous l'avons expliqué en référence à l'état de la technique, les informations audio et vidéo comportent chacune des informations de synchronisation temporelles sous la forme d'horodatages de présentation ou PTS (« Présentation Time Stamps» en anglais »). Ainsi, après démultiplexage du flux F par le démultiplexeur 4, les paquets P1 de données vidéo comportant chacun un horodatage PTS sont envoyés vers la mémoire tampon 5. De même, les paquets P2 de données audio comportant chacun un horodatage PTS sont envoyés vers la mémoire tampon 8.

Le décodeur 1 comporte également une horloge locale 15 STC (« System Time Clock » en anglais) de synchronisation et des moyens 14 pour générer ladite horloge STC 15. La manière de générer l'horloge 15 STC est différente selon que l'on est en « live » ou en lecture du disque dur 3.

Ainsi, comme nous l'avons expliqué en référence à l'état de la technique, en live, on génère l'horloge STC grâce aux références temporelles PCR reçues dans le flux, et les paquets vidéo et audio se synchronisent sur l'horloge STC (i.e. les horodatages PTS des paquets reçus sont comparées avec l'horloge STC pour connaître le bon moment pour jouer le paquet de données).

En lecture disque, comme le flux arrive à une vitesse artificielle, les références temporelles PCR ne sont pas des valeurs fiables. Dès lors, les paquets vidéo ne sont pas synchronisés et le décodeur vidéo 1 1 ne va donc plus tenir compte de l'horodatage PTS présent dans chaque paquet vidéo ; en revanche, le décodeur vidéo 1 1 va informer les moyens 14 de génération

de l'horloge STC 15 de la valeur de l'horodatage PTS associé à chaque image affichée. Cet horodatage PTS va ensuite servir pour générer l'horloge locale 15 STC. Comme en « live », les paquets audio vont eux se synchroniser sur l'horloge 15. Ce procédé est un procédé connu sous le nom de « vidéo master ».

On notera qu'il est également possible d'utiliser les horodatages PTS des paquets audio pour générer l'horloge STC. Ce procédé est connu sous le nom de « audio master ».

Comme nous l'avons dit plus haut, la transmission des informations de synchronisation PTS n'est pas obligatoire dans le cas des données de sous-titrage/télétexte. Afin d'illustrer l'invention, nous traiterons ici uniquement du cas de paquets P3 de sous-titrage ne comportant pas d'horodatages PTS (l'absence de PTS est illustrée par la présence de X dans les paquets P3). Ces paquets P3 sont transmis par le démultiplexeur 4 vers la mémoire tampon 6.

Le décodeur 1 comporte des moyens 9 de mémorisation d'une variable de référence temporelle égale à la dernière référence temporelle PCR reçue du multiplexeur 4 : en d'autres termes, les moyens 9 permettent d'avoir accès en permanence à la dernière valeur du PCR. Le décodeur 1 comporte également des moyens 10 pour générer un horodatage de présentation associé à chaque paquet de données de sous- titrage P3 reçu dans la mémoire tampon 6.

Ainsi, à chaque réception d'un paquet P3 dans la mémoire tampon 6, les moyens 10 vont interroger les moyens de mémorisation 9 et fixent la va- leur d'horodatage associé au paquet P3 à la dernière valeur reçue du PCR (i.e. valeur courante de la variable de référence temporelle). On crée ainsi un horodatage virtuel (ou reconstruit) PTSV égal à la dernière valeur reçue de chaque valeur de référence PCR.

Chacun des horodatages PTSV est entré dans la mémoire tampon 7. On comprend bien que la mémoire tampon 6 de paquets de sous- titrage comprend autant de paquets de sous-titrage sans horodatages STC que le nombre d'horodatages virtuels PTSV contenus dans la mémoire tampon 7.

La présence d'un horodatage associé au paquet de sous-titrage permet au décodeur 13 de données de sous-titrage de synchroniser les données de sous-titrage sur l'horloge locale STC 15.

On notera que les références PCR arrivent beaucoup plus souvent (au moins toutes les 100ms dans la norme DVB) que les paquets de sous- titre. Dès lors, il apparaît clairement que chaque horodatage virtuel PTSV prendra une valeur différente de PCR et que de nombreuses valeurs de PCR ne seront pas utilisées par les moyens 10 de génération des PTSV.

Le buffer de données vidéo 5 est agencé pour être plein en perma- nence induisant de ce fait un délai de plusieurs secondes (la valeur de ce délai est directement dépendante de la taille du buffer vidéo 5 et du débit vidéo) entre l'entrée d'un paquet et sa sortie. Dès lors, l'heure donnée par une référence PCR qui vient d'être reçue est en avance de ces quelques secondes par rapport à l'horloge locale STC 15 générée à partir des images vidéo provenant du décodeur 1 1. En conséquence, le fait d'attribuer la valeur du dernier PCR reçu à l'horodatage de chaque paquet de sous-titrage constitue une bonne approximation et permet d'obtenir un résultat pratiquement aussi synchronisé qu'en lecture « live ».

Bien entendu, l'invention n'est pas limitée au mode de réalisation qui vient d'être décrit.

Notamment, les moyens représentés sur la figure 1 sont des unités fonctionnelles qui peuvent ou non correspondre à des unités physiquement distinguables. Par exemple, ces moyens peuvent être regroupés dans un unique composant, ou constituer des fonctionnalités d'un même logiciel. A contrario, certains moyens peuvent éventuellement être composés d'entités physiques séparées.

En outre, nous avons décrit un mode de réalisation dans lequel la valeur de l'horodatage virtuel est fixée à la valeur de la dernière référence PCR reçue. On peut toutefois envisager d'utiliser une autre valeur de PCR que la dernière reçue. Il peut par exemple s'agir de la référence reçue immédiatement après réception du paquet de sous-titrage ou d'une combinaison (moyenne) de la dernière valeur reçue et de la prochaine valeur reçue.

Par ailleurs, nous avons indiqué la présence d'un buffer destiné à stockée les horodatages virtuels PTSV. On peut également envisager de modifier le paquet de sous-titrage (en augmentant notamment sa taille) en amont de son entrée dans la mémoire tampon de données de sous-titrage afin de lui adjoindre directement l'horodatage virtuel PTSV.

Enfin, on pourra remplacer tout moyen par un moyen équivalent