La presente invención pertenece al campo de las comunicaciones digitales para la producción y difusión de señales de televisión.

ESTADO DE LA TÉCNICA

La utilización de tecnologías digitales en los equipos encargados del tratamiento del audio y del vídeo de los procesos de producción para televisión ha originado una serie de problemas de desfase audio y vídeo debido a los distintos retardos introducidos por la utilización de estas tecnologías. Una de las razones de esta diferencia en los retardos en la producción es debida a que, mientras en el mundo analógico los equipos apenas introducían retardos en la señal, en el digital es necesario almacenar la información de cada cuadro para poder tratar la imagen y transmitirla posteriormente a su salida. Por tanto, el almacenamiento y procesado de una imagen que tenga 25 cuadros por segundo sin entrelazar, significa que se introduce en la salida un retardo 1/25 segundos (40 ms), sin tener en cuenta el tiempo de procesado. Si el número de procesos que intervinieran en la operación fueran constantes, un simple retardo en el audio de Nx40 ms solucionaría el problema, siendo N el número de procesos por los que pasa la señal. Sin embargo, el número de procesos difiere dependiendo de la aplicación que se pretende realizar y de la forma de operar de los técnicos que la lleven a cabo.

Además de lo anteriormente expuesto, el retardo entre el audio y el vídeo puede sufrir modificaciones en el control de realización puesto que se utilizan mezcladores de vídeo. Los mezcladores de video son los encargados de mezclar las diferentes señales que entran en el control y se caracterizan por tener varias etapas de procesado de imagen, en cada una de las cuales se pueden realizar operaciones de mezcla ó de inserción de imágenes. De esta forma, cuando una señal pasa por tres etapas de procesado, caso típico en los mezcladores profesionales, la señal de salida es retardada 120 ms con respecto al audio. Así, la salida de un estudio presentaría un margen de desincronización audio/vídeo entre 40 y 120ms. El problema se agrava cuando la señal ha de pasar por varios controles o por entornos de distribución, tales como las redes IP en las que el camino de audio es diferente del vídeo que hacen que el retardo sea ingobernable. Los métodos de sincronización audio/vídeo conocidos principalmente tratan los retardos derivados de la transferencia de vídeo en baja calidad en las redes IP. Uno de los métodos más utilizados hoy en día se basa en el procesamiento de imágenes, con el fin de detectar los labios del interlocutor, y en el procesamiento del audio, con el fin de ajustar lo máximo posible el sonido al movimiento de los labios. Sin embargo, este método presenta un problema importante que se trata del consumo de CPU requerido para el tratamiento de señales.

Por otro lado, el procesamiento digital del audio permite detectar y clasificar sonidos como sonoros o sordos. En los sonoros, existe una frecuencia fundamental con una amplitud que destaca sobre otras componentes de frecuencias de menor amplitud, sin embargo, en los sordos hay muchas frecuencias que influyen en la tonalidad con amplitudes similares y no hay ninguna frecuencia que se imponga al resto. Un ejemplo de vocal sonora es la "a" que tiene como frecuencia dominante una frecuencia alrededor de los 780 hercios y como segunda componente una frecuencia alrededor de los 1600 hercios. El reconocimiento de voz en este caso se basa tanto en el análisis de la envolvente espectral (frecuencias formadoras) como en su evolución en el tiempo. En este contexto, a la voz humana se la puede considerar como "estacionaria a trozos" con periodos estacionarios de 20 o 40 ms y generándose de 5 a 20 fonemas por segundo. Este reconocimiento de voz, junto con el estudio de la imagen focalizando el interés sobre la ubicación de los labios, se usa para corregir las desincronizaciones sin embargo, este procesamiento implica una carga computacional elevada lo cual supone una limitación considerable.

Era por tanto deseable un método de ajuste de retardo de audio/vídeo que solucionara los problemas existentes en el estado de la técnica en este sector.

DESCRIPCIÓN DE LA INVENCIÓN

La presente invención propone un método de ajuste de retardo de audio/video con el fin de paliar los problemas expuestos en el estado de la técnica. Para ello, el método realiza una inserción de datos de audio en el vídeo con el fin de sincronizar el audio y el video. Concretamente, el método se basa en la introducción de elementos significativos del audio dentro de la señal de vídeo cuando el audio es de tipo voz. Este método no es invasivo puesto que los datos de audio no se insertan o mezclan con los datos de imagen sino que se introducen en campos de datos libres del propio stream de vídeo. El método tampoco requiere una gran capacidad para realizar el procesado puesto que únicamente estudia el sonido y los campos de datos del flujo de vídeo, es decir, no necesita tratar la imagen y por tanto reduce la carga computacional asociada a dicho procesamiento. De esta forma, con este método es posible analizar el flujo de audio y de vídeo, detectar el retardo de la imagen con respecto al audio y, una vez detectado dicho retardo, ajustar de forma escalonada una línea de retardo del audio para evitar posibles cortes o saltos en el sonido. Este ajuste escalonado del retardo se puede realizar mediante saltos de retardo en tiempos preestablecidos. Como ejemplo si se tiene un vídeo con un retardo de 200 ms respecto al audio, este ajuste se puede realizar añadiendo retardos de audio de 50 en tramos de 500 ms, de forma que en 1 ,5 segundos el audio y el vídeo estarán sincronizados, o añadiendo saltos de 100 ms en tramos de 500 ms, en cuyo caso en 0,5- segundos estaría sincronizado. El salto podría ser del retardo completo, de esta forma el sincronizado del audio y del vídeo no presentaría demoras.

El método parte de una fuente de video a cuya salida se añade el resultado de procesar y extraer parámetros de audio de la fuente de audio. Preferentemente, se extraerá la envolvente en frecuencias junto con las amplitudes del sonido sonoro que en ese momento se esté produciendo, estos datos acompañarían al vídeo en toda su trayectoria.

A partir del momento en el que el vídeo tiene la referencia de su audio asociado con esas marcas de sincronización, tanto el vídeo como el audio podrán pasar por los diferentes elementos de producción de programas, mezcladores, sincronizadores de cuadro, etc.

Una vez finalizados los procesos de producción, el vídeo estará retardado con respecto al audio en un número variable de cuadros que variará con el tiempo y dependerá de los diferentes procesos y formas de operación por los que hayan pasado las señales.

Para corregir este retardo, la señal de audio resultante del proceso de producción es tratada por un procesador que extrae el parámetro definido (envolvente de frecuencias y amplitudes). Dicho parámetro es comparado con los parámetros que tiene el flujo de datos del vídeo, resultado de la inserción realizada antes de los procesos de producción, obteniendo tras la comparación un valor del retardo real del vídeo con respecto al audio, de forma que será necesario retardar el audio para la sincronización, esto se realiza mediante el mismo comparador que controla una línea de retardo variable, el comparador controla de forma remota el tiempo de retardo que añade la línea de retardo variable a la señal de audio. El comparador enviará los retardos necesarios para ajustar de forma escalonada la línea de retardo en el audio para evitar posibles cortes o saltos en el sonido. Finalmente, se obtiene en la salida dos señales totalmente síncronas: la señal de audio y la señal de video.

En la creación de material audiovisual hay diferentes tipos de fuentes y procesos de producción de vídeo. A continuación se particulariza la implementación de este método para cada uno de ellos:

- El resultado de la captura de imágenes con una única cámara: en este caso, el método detecta e introduce la envolvente de frecuencias y amplitudes de los sonidos sonoros en el flujo de datos del vídeo. - El resultado de la edición de imágenes: en este caso, cuando se inserta audio y vídeo de una misma secuencia, se copian también los datos de la envolvente de frecuencias que tenga la imagen original, en la imagen resultante de la edición, puesto que al ser una copia de audio y vídeo, la señal de audio ha de ser totalmente síncrona con el vídeo. Los datos de la envolvente de frecuencias los habrá generado la cámara a la hora de grabar el vídeo y el audio y cuando se inserta audio perteneciente a una imagen diferente (voz en off), se borran los datos de la envolvente de frecuencias que hubiera en la señal de vídeo puesto que es una referencia al audio que hubiera asociado a la imagen anteriormente. - El resultado de la captura en un estudio: en este caso, están involucradas varias cámaras y varios micrófonos. En primer lugar se realiza una asociación de micrófonos para cada cámara, donde cada micrófono podrá estar asociado a varias cámaras, esto es: se asocia una o varias entradas de audio a una entrada de vídeo y cada entrada de audio puede estar asociada a varias entradas de vídeo. En cada entrada de audio se procesa el sonido para extraer el valor de la envolvente en frecuencias, este dato es introducido en el flujo de datos de las entradas de vídeo que estén asociadas a esa entrada de audio, concretamente antes del mezclador. También se podrá asociar una o varias señales de vídeo por cada entrada de vídeo en el mezclador con la finalidad de añadir varias fuentes de datos de audio embebidos en la señal de vídeo para los casos en los que la cámara tenga en imagen monitores con personas hablando en ellos.

- El resultado de producción en el control de una realización: en este caso, hay varias fuentes de información en el control de realización, estas fuentes van al mezclador donde se seleccionas las diferentes señales que conforman la salida del programa ó salida de estudio, cada una de las fuentes de vídeo tendrán los datos de la envolvente en frecuencias de los sonidos asociados a la señal por lo que cada vez que se selecciona una señal de vídeo los datos de la envolvente espectral de los audios asociados a esa línea de entrada son copiados al flujo de vídeo de la salida del mezclador o de programa.

La orden de retardo desde el comparador hasta la línea de retardo se realiza mediante saltos de valor preestablecido, a cada salto de se le denominará valor de salto de igualación. Este valor de salto de igualación puede ser negativo o positivo y se enviará en tramos que se denominarán cuadros de igualación, esto quiere decir que en cada cuadro de igualación se enviará un valor de salto de igualación. El valor del salto de igualación es un divisor del tiempo de cuadro de la imagen, para el ejemplo de un video de 25 cuadros por segundo con un tiempo de cuadro de 40ms, los valores de salto de igualación pueden ser: ±20, ±10, ±8, ±5, ±2, ±1 , etc.). El comparador almacena el valor de retardo en cada momento en el que se realiza la comparación de la envolvente espectral del audio y la envolvente que lleva asociada la señal de vídeo, los datos de la envolvente del audio se van almacenando en el comparador y cuando llega un valor de envolvente dentro del vídeo, se sabe cuánto tiempo ha de retardarse el audio. De esta forma, si el retardo entre el vídeo y audio es de 200ms, la línea de retardo tiene un valor almacenado de 160ms y el valor de salto es de ±20, se enviará el valor 180 en el primer cuadro de igualación que se presente, y si en el siguiente cuadro de igualación permanece el mismo retardo (200 ms), se actualizará con el valor de 200. Para prevenir posibles problemas de identificación de la envolvente espectral del audio insertada en el video con la envolvente espectral extraída del procesado del audio, se fijan varios parámetros:

- Margen temporal de corrección: definido como el tiempo máximo para buscar la envolvente espectral. Si no se localiza esos valores para la envolvente espectral del vídeo, no se realiza ningún tipo de corrección temporal. Por ejemplo, si se fija un margen de corrección temporal de dos segundos en el comparador de la línea de retardo, este comparador irá almacenando los valores de la envolvente espectral que le vaya reportando el procesador de audio, de forma que si en un instante t llega una envolvente espectral de audio dentro de la señal de vídeo, el comparador mirará las diferentes envolventes espectrales que tenga hasta t-2 segundos. Este parámetro será variable en cada instalación, dependiendo del número máximo de procesos que la imagen pueda sufrir. Por ejemplo, si la imagen puede pasar por un máximo de 24 elementos de almacenamiento y procesado, el margen temporal de corrección máximo será de 24 ^* 20ms (para el caso de 50 imágenes por segundo). El valor se establece en el comparador.

- Margen de identificación: definido como la diferencia, expresada en tanto por ciento, por debajo de la cual se consideran dos envolventes espectrales como idénticas, es decir, que el valor embebido en el vídeo se corresponde con el del audio que se está analizando y se consideran iguales. Si no se sobrepasa este margen, no existe retardo. Esta comparación se realiza en el comparador y el valor se establece en la fase de pruebas de funcionamiento.

Por tanto, el método de ajuste de retardo audio/vídeo, comprende las siguientes etapas:

a) extraer parámetros característicos de una fuente de audio;

b) introducir los parámetros extraídos de la fuente de audio en el video procedente de una fuente de video;

c) extraer de la señal de audio, tras el procesado del video, los mismos parámetros extraídos en a);

d) obtener de la señal de video, tras el procesado del video, los parámetros de audio introducidos en b);

e) comparar los parámetros de audio extraídos en c) y obtenidos en d);

f) calcular el retardo existente entre los parámetros de audio comparados en e); g) almacenar el retardo calculado; h) retardar la señal de audio un valor de retardo configurable en función del retardo calculado y del retardo almacenado procedente de una ejecución anterior del método. Preferentemente, la extracción de parámetros característicos comprende la extracción de la envolvente espectral y de las amplitudes del sonido sonoro de la fuente de audio en el momento de extracción. No obstante, pueden usarse otros parámetros que caractericen el audio tales como los picos de sonido o los distintos niveles en frecuencia.

Preferentemente, en procesos en los que el video procede de distintas fuentes de video:

- si el audio y vídeo insertados proceden de la misma secuencia, se copian los parámetros característicos del audio de la imagen fuente en la imagen destino; - si el audio se inserta con una imagen diferente, no se copian los parámetros característicos del audio de la imagen fuente en la imagen destino, no conteniendo la imagen destino datos de envolvente espectral de ningún sonido.

Opcionalmente, si el video y el audio proceden de distintas fuentes de video y de audio, el método de ajuste de retardo audio/vídeo comprende adicionalmente las siguientes etapas:

- asociar, en cada entrada de vídeo, al menos una señal de audio;

- procesar las entradas de audio de cada entrada de vídeo extrayendo los parámetros característicos de cada entrada de audio;

- introducir, en cada una de las señales de video, los parámetros característicos como valor de referencia en el flujo de datos de las entradas de vídeo en las que esté asociadas;

- asociar, en cada entrada de video, al menos una señal de vídeo para introducir los parámetros característicos de las señales de audio de los dispositivos visualizadores que entren dentro del campo de la imagen.

La introducción de los parámetros extraídos de la fuente de audio en el video se puede realizar dentro del campo de datos especificado en cada uno de los estándares. Los diferentes estándares de vídeo contiene campos donde poder albergar datos adicionales, por ejemplo, en MPEG2 alberga paquetes PES (Packetised Elementary Stream) de datos y en JPEG2000 boxes de XML.

Preferentemente, el retardo de la señal de audio comprende las siguientes etapas:

- comprobar si el valor de retardo calculado en f) difiere del retardo almacenado de la ejecución anterior del método;

- seleccionar un valor de salto de retardo si el valor de retardo calculado en f) difiere del retardo almacenado;

- actualizar el valor de retardo almacenado aumentando o disminuyendo dicho retardo un valor igual al valor de salto de retardo seleccionado;

- retardar el audio el valor de retardo almacenado.

Igualmente, de manera preferente, la selección del salto de retardo se realiza entre los divisores del tiempo de cuadro.

El sistema de ajuste de retardo audio/vídeo comprende:

• unos medios de procesamiento configurados para realizar las siguientes etapas:

i) extraer parámetros característicos de una fuente de audio;

j) introducir los parámetros extraídos de la fuente de audio en el video procedente de una fuente de video;

k) extraer de la señal de audio, tras el procesado del video, los mismos parámetros extraídos en a);

I) obtener de la señal de video, tras el procesado del video, los parámetros de audio introducidos en b);

• un comparador configurado para realizar las siguientes etapas:

m) comparar los parámetros de audio extraídos en k) y obtenidos en I); n) calcular el retardo existente entre los parámetros de audio comparados en m);

o) almacenar el retardo calculado;

• una línea de retardo configurada para realizar la siguiente etapa:

p) retardar la señal de audio un valor de retardo configurable en función del retardo calculado y del retardo almacenado procedente de una ejecución anterior del método. Preferentemente, los medios de procesamiento comprenden un bloque de procesado de audio configurado para la extracción de parámetros característicos mediante la extracción de la envolvente espectral y de las amplitudes del sonido sonoro de la fuente de audio en el momento de extracción.

Preferentemente, en sistemas en los que el video procede de distintas fuentes de video:

- si el audio y vídeo insertados proceden de la misma secuencia, los medios de procesamiento están configurados para copiar los parámetros característicos del audio de la imagen fuente en la imagen destino;

- si el audio se inserta con una imagen diferente, los medios de procesamiento están configurados para borrar los parámetros característicos del audio que tuviera la imagen. Opcionalmente, si el video y el audio proceden de distintas fuentes de video y de audio, los medios de procesamiento están configurados para realizar adicionalmente las siguientes etapas:

- asociar, en cada entrada de vídeo, al menos una señal de audio;

- procesar las entradas de audio de cada entrada de vídeo extrayendo los parámetros característicos de cada entrada de audio;

- introducir, en cada una de las señales de video, los parámetros característicos como valor de referencia en el flujo de datos de las entradas de vídeo en las que esté asociadas;

- asociar, en cada entrada de video, al menos una señal de vídeo para introducir los parámetros característicos de las señales de audio de los dispositivos visualizadores que entren dentro del campo de la imagen.

De manera preferente, los medios de procesamiento están configurados para introducir los parámetros extraídos de la fuente de audio en el video dentro del campo de datos especificado en cada uno de los estándares.

Adicionalmente, el retardo de la señal de audio puede comprender las siguientes etapas:

- comprobar si el valor de retardo calculado en f) difiere del retardo almacenado de la ejecución anterior del método; - seleccionar un valor de salto de retardo si el valor de retardo calculado en f) difiere del retardo almacenado;

- enviar el valor de retardo a la línea de retardo de audio;

- actualizar el valor de retardo almacenado aumentando o disminuyendo dicho retardo un valor igual al valor de salto de retardo seleccionado.

Adicionalmente, el comparador de audio puede estar configurado para seleccionar el salto de retardo entre los divisores del tiempo de cuadro.

Y también, de manera preferente el comparador de audio estará configurado para:

- establecer un margen de identificación correspondiente a la diferencia máxima admitida para considerar que los parámetros característicos son idénticos;

- buscar, dentro de un margen temporal de corrección configurable, los parámetros característicos recibidos en la señal de audio, ordenando a la línea de retardo un retardo de la señal de audio si el comparador de audio obtiene los parámetros característicos insertados en el video correspondientes, bajo un margen de identificación, a los parámetros característicos recibidos en la señal de audio.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

A continuación, para facilitar la comprensión de la invención, a modo ilustrativo pero no limitativo se describirá una realización de la invención que hace referencia a una serie de figuras.

La figura 1 muestra el diagrama de bloques de los procesos que comprende la presente invención.

La figura 2 muestra el diagrama de bloques de los procesos que comprende una realización de la invención. En concreto, el caso en el que un presentador habla con un redactor remoto y mostrando en pantalla al redactor en el mismo estudio en el que se encuentra el presentador. DESCRIPCIÓN DETALLADA DE UN MODO DE REALIZACIÓN

Una realización de la invención sería el caso en el que, desde el control de realización, se muestra en una pantalla un presentador dialogando al lado de un redactor realmente situado en un sitio remoto pero que figura como si dicho redactor estuviera en el mismo estudio que el presentador.

En este caso, en la imagen se aprecia notablemente la diferencia de sonido, puesto que la presentación de la imagen del redactor lleva asociada un retardo, no presente en el sonido, ya que éste va directamente a la mesa de mezclas de audio. Normalmente, en estas circunstancias, se suele mantener poco tiempo la imagen de ambos en pantalla y se suele pasar a la señal que llegue con el fin de que el espectador no note la baja calidad de emisión.

La forma de sincronizar estos sonidos se muestra en la figura 2. La señal del redactor remoto 6 es transmitida a la sede central mediante enlaces 7. En la recepción 8, se divide el audio y el vídeo para sacar las características del audio 12, que posteriormente se añaden al vídeo 9 (este proceso se puede realizar en el origen de forma que el vídeo pueda llegar con los datos del audio). La imagen del redactor pasará como mínimo por un preselector o por un mezclador 10 por lo que habrá un retardo variable que se añadirá al retardo que presente la pantalla del estudio 1 1 , mientras que el audio va directamente al mezclador de audio del estudio 15.

La cámara del presentador 18 estará captando la imagen del presentador mientras que la pantalla del estudio 1 1 tendrá al redactor remoto en imagen. El micrófono del estudio 13 estará asociado a la misma entrada del mezclador de vídeo 20, de forma que se procesa su señal 14 y se inserta en la imagen 19 procedente de la cámara del presentador 18. El mezclador de vídeo 20 tiene asociada la entrada de la cámara del presentador 18 y la señal de video de la pantalla y del audio incluido en ella. El mezclador principal 20 con tiene la posibilidad de retardar un tiempo preestablecido para ajusfar el retardo procedente de la pantalla del estudio 1 1. Así, el vídeo de salida del mezclador de vídeo 20 tendrá embebidas las características de los audios del redactor remoto y la del presentador en el estudio cuando se pinche la entrada de la cámara del presentador 18. Las salidas de los mezcladores de audio 15 y de vídeo 20 son procesados mediante el método que se propone en la presente invención con el procesado de audio 16, el comparador 21 que detecta los retardos y la línea de retardo de audio 17 gobernado por el comparador 21. De esta forma, cuando esté hablando el presentador en el estudio, el comparador 21 ajustará el retardo a la señal que le llegue mientras que cuando hable el redactor remoto ajustará el retardo al retardo de toda la cadena de la fuente generada por el redactor remoto 6.

Una vez descrita de forma clara la invención, se hace constar que las realizaciones particulares anteriormente descritas son susceptibles de modificaciones de detalle siempre que no alteren el principio fundamental y la esencia de la invención.