TíTULO

PROCEDIMIENTO DE RESTAURACIóN DE IMáGENES AFECTADAS POR IMPERFECCIONES, DISPOSITIVO PARA LLEVARLO A CABO Y SUS APLICACIONES

SECTOR DE LA INVENCIóN

Esta invención se enmarca en el tratamiento de imágenes, y de forma más particular, del post-procesamiento de imágenes obtenidas con dispositivos de captación (típicamente opto-electrónicos), para cualquier banda del espectro electromagnético (visible, infrarrojos, etc.).

ESTADO DE LA TéCNICA

En Ia actualidad, son muchos los dispositivos de captación de imágenes digitales que se encuentran al alcance de los usuarios. Desde cámaras profesionales de gran precisión, en infrarrojo o en visible, hasta pequeñas webcams, PDA's, teléfonos móviles, etc.

La restauración de imágenes es un problema clásico en el cual se trata de estimar una imagen original a partir de una observación degradada, asumiendo habitualmente que ésta proviene de realizar un filtrado lineal de Ia original con un kernel y sumarle ruido independiente al resultado. En Ia literatura [R. Molina, J. Mateos, A.K. Katsaggelos, and M. Vega, "Bayesian multichannel image restoration using compound gauss-markov random fields," IEEE Trans. Image Proa, vol. 12, no. 12, pp. 1642-1654, Dec. 2003; M. Figueiredo and R. Nowak, "A bound optimization approach to wavelet-based image deconvolution," in IEEE Int'l Conf on Image Proc, 2005, vol. 2, pp. 782- 785.; J. Bioucas-Dias, "Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors," IEEE Trans. Image Proc, vol. 15, no. 4, pp. 937-951 , Apr. 2006; M. R. Banham and A. K. Katsaggelos, "Spatially adaptive wavelet-based multiscale image restoration," IEEE Trans. Image Proc, vol. 5, pp. 619-634, Apr. 1996.; R. Neelamani, H. Choi, and R. G. Baraniuk, "ForWaRD: Fourier-wavelet regularized deconvolution for ¡II- conditioned systems," IEEE Trans. Signal Proc, vol. 52, no. 2, pp. 418-433, Feb. 2004.; J. Kalifa and S. Mallat, "Mini-max restoration and deconvolution," in

Bayesian inference in wavelet based methods. Springer, 1999.; A. Jalobeanu, N. Kingsbury, and J. Zerubia, "Image deconvolution using hidden markov tree modeling of complex wavelet packets," in IEEE Int'l Conf on Image Proc, vol. 1 , pp. 201-204, 2001.], se encuentran multitud de métodos que atacan este problema, los cuales, en algunos casos, como el que se trata aquí, presuponen conocidas las fuentes de degradación.

En el ámbito científico, Ia mayoría de los algoritmos que proporcionan buenos resultados tienen un carácter iterativo y computacionalmente intensivo, Io que limita en Ia práctica su aplicación en condiciones de procesamiento de tiempo real y por Io que suelen ser aplicados a imágenes degradadas simuladas, que son procesadas "off-line". [R. Molina, J. Mateos, A. K. Katsaggelos, and M. Vega, "Bayesian multichannel image restoration using compound gauss-markov random fields," IEEE Trans. Image Proc, vol. 12, no. 12, pp. 1642- 1654, Dea 2003; M. Figueiredo and R. Nowak, "A bound optimization approach to wavelet-based image deconvolution," in IEEE Int'l Conf on Image Proc, 2005, vol. 2, pp. 782 - 785.; J. Bioucas-Dias, "Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors," IEEE Trans. Image Proc, vol. 15, no. 4, pp. 937-951 , Apr. 2006.]. Otros algoritmos, buscando una mayor eficiencia en el procesamiento, separan el problema en dos pasos [M. R. Banham and A. K. Katsaggelos, "Spatially adaptive wavelet-based multiscale image restoration," IEEE Trans. Image Proc, vol. 5, pp. 619-634, Apr. 1996.; R. Neelamani, H. Choi, and R. G. Baraniuk, "ForWaRD: Fourier-wavelet regularized deconvolution for ¡II- conditioned systems," IEEE Trans. Signal Proc, vol. 52, no. 2, pp. 418-433, Feb. 2004.; J. Kalifa and S. Mallat, "Mini-max restoration and deconvolution," in Bayesian inference in wavelet based methods. Springer, 1999.; A. Jalobeanu, N. Kingsbury, and J. Zerubia, "Image deconvolution using hidden Markov tree modeling of complex wavelet packets," in IEEE Int'l Conf on Image Proc, vol. 1 , pp. 201-204, 2001.], uno que compensa el emborronamiento y un segundo que trata de eliminar el ruido resultante.

En el ámbito técnico, existen algunas patentes relacionadas con Ia presente invención. Por un lado, Biggs y Meichle [Biggs David and Meichle Michael, "Realtime 2D deconvolution system and method", US2005265621 ,

2005-12-01 ; Pohle Richard and Reiley Michael, "Three-dimensional imaging with multiframe blind deconcolution", WO2005076774-2005-08-25.] proponen distintos sistemas de estimación de Ia función de dispersión de un punto (en adelante, Point Spread Function, PSF), para Ia posterior utilización en Ia restauración de imágenes en distintos ámbitos, imágenes de microscopía en el caso de Biggs y Meichle [Biggs David and Meichle Michael, "Realtime 2D deconvolution system and method", US2005265621 , 2005-12-01] e imágenes atmosféricas en el caso de Pohle y Reiley [Pohle Richard and Reiley Michael, "Three-dimensional imaging with multiframe blind deconcolution", WO2005076774-2005-08-25.]. Una aproximación similar se presenta en [Kitamura Yoshiro, "Method, apparatus, and program for image processing", US2005249429, 2005-11-10] en Ia cual se reivindica principalmente una metodología de medida de PSF's, para su posterior uso en Ia restauración.. Por otro lado, Atherton [Atherton Timothy, "Deconvolution of a digital image", EP1522961 -2005-04-13] reivindica un sistema que utiliza meta-datos del dispositivo de captación en cuestión (información del fabricante de Ia cámara, modelo, configuración de apertura de lentes (número f), valor de apertura, longitud focal, resolución focal en ambas direcciones (x,y), etc.), en combinación con Ia función de transferencia óptica (OTF) para restaurar las imágenes capturadas con dichos dispositivos. En este aspecto, Ia filosofía de esta anterior patente es muy parecida a Ia presente invención, en tanto que se utiliza una caracterización previa del dispositivo de captación (aunque con un conjunto de parámetros diferente) y posteriormente se utiliza esta información para el post-procesado de Ia imagen. Es en este procesado donde se encuentran importantes diferencias, como por ejemplo el esquema de procesado, global en su caso y basado en un esquema de dos pasos (global o local el primero, local el segundo) en el de Ia presente invención. Además, nuestra invención, a diferencia de Ia patente referida, realiza Ia compensación de emborronamiento espacialmente variante. Un campo especial de aplicación del procedimiento de Ia presente invención, donde Ia PSF es conocida a priori y puede ser utilizada, junto con Ia caracterización del ruido, para restaurar Ia imagen captada, es el denominado "wavefront coding" [George Nicholas, Chi Wanli, "Extended depth of field using a multi-focal lenth lens with a controlled

range of spherical aberration and centrally obscurecí aperture", WO2006028527-2006-03-16]. Este tipo de aplicaciones utilizan una óptica de coste reducido con Ia peculiaridad de que su PSF varía muy poco en un intervalo extenso de foco en el eje óptico. De esta forma se consigue una gran profundidad de campo, a costa de introducir una PSF que debe ser compensada numéricamente.

DESCRIPCIóN DE LA INVENCIóN Descripción Breve Un objeto de Ia invención Io constituye un procedimiento de restauración de imágenes para sistemas de captación de imágenes que introducen ruido y emborronamiento en las imágenes, en adelante procedimiento de Ia invención, que, dado un método de eliminación de ruido en imágenes y el propio dispositivo de captación en cada uno de sus posibles modos de funcionamiento, está caracterizado por: a) Ia medida de Ia degradación que introduce el dispositivo de captación, mediante dos conjuntos de parámetros: PSFs (PSF: Función de Dispersión de un Punto, Point Spread Function) y PSDs de ruido (PSD: Densidad Espectral de Potencia, Power Spectral Density). b) Ia captación de Ia imagen, c) el cálculo del prefiltrado óptimo para los parámetros de degradación caracterizados en (a) y para Ia imagen captada en (b) o, en promedio, para un conjunto de imágenes de entrenamiento, que minimiza el error cuadrático medio a Ia salida del método de eliminación de ruido aplicado a las imágenes pre-filtradas, d) el almacenamiento en memoria no volátil, de forma previa a Ia operación del dispositivo, de dos conjuntos de parámetros que caracterizan Ia degradación que introduce el dispositivo de captación, según las siguientes alternativas: i) parámetros de degradación medidos en (a), PSFs y PSD de ruido (en este caso el cálculo del prefiltrado óptimo de (c) se hace en tiempo de operación y no se almacena en memoria no volátil), o

ii) pre-filtros óptimos calculados según (c) usando imágenes de entrenamiento, y PSDs de ruido correspondientes, e) Ia aplicación del prefiltrado calculado en (c) a Ia imagen obtenida en

(b), y f) Ia aplicación del método de eliminación del ruido a las imágenes pre- filtradas obtenidas en (e).

Un objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que el método de cálculo del pre-filtrado óptimo de c), está basado en Ia existencia de un modelo de predicción del error cuadrático del método de eliminación de ruido, que aproxima el error cuadrático como suma de dos errores cuadráticos, el primero correspondiente al emborronamiento residual del resultado (estimable por técnicas estándar) y el segundo correspondiente al error residual del resultado respecto de Ia imagen a Ia salida del pre-filtrado, este último calculable mediante el modelo de error cuadrático del método de eliminación de ruido.

Otro objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que Ia obtención de una aproximación al método de pre-filtrado óptimo de (c) comprende las siguientes etapas: a) uso de un pre-filtrado dependiente de un único parámetro libre, y b) una etapa de entrenamiento, donde dada una o varias condiciones de degradación expresadas como parejas (PSF/PSDs de ruido) y un conjunto de parejas de imágenes originales/degradas, obtención, para cada pareja de imágenes original/degradada, del valor del parámetro libre que minimiza el error cuadrático en Ia restauración, y de un intervalo de seguridad en torno a este valor dentro del cual el error cuadrático cae menos que un determinado nivel de fidelidad (típicamente alrededor de 0.1 decibelios) respecto del óptimo hallado, y c) elección del parámetro óptimo en promedio como aquel valor del parámetro libre que maximiza el número de experimentos para los que dicho valor no se sale del intervalo de seguridad correspondiente a cada experimento.

Otro objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que se utiliza, en cada uno de los posibles modos de

funcionamiento del dispositivo de captación de imágenes, una única PSF (típicamente Ia correspondiente al eje óptico y al plano imagen de mejor foco, en sistemas ópticos), y una única PSD de ruido.

Otro objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que se utiliza, en cada uno de los posibles modos de funcionamiento del dispositivo de captación de imágenes, una única PSD de ruido y varias PSFs correspondientes a distintas posiciones espaciales del campo, que reflejan el comportamiento espacialmente variante del dispositivo de captación y que dan lugar a un pre-filtrado diferente para cada localización espacial dentro de Ia imagen captada.

Otro objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que se añaden a Ia caracterización del dispositivo las PSFs correspondientes a distintas posiciones de foco, para cada posición considerada en el plano de Ia imagen, junto con Ia PSD del ruido, Io que da lugar a un pre-filtrado diferente para cada posición de foco y cada localización espacial considerada dentro de Ia imagen captada.

Otro objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que el cálculo del pre-filtrado óptimo es realizado con imágenes de entrenamiento en lugar de con Ia imagen captada, y en el que, para cada uno de los posibles modos de funcionamiento del dispositivo de captación de imágenes, se almacenan en memoria: a) pre-filtros calculados para un conjunto de imágenes de entrenamiento, en lugar de las PSFs, y b) PSDs resultantes del pre-filtrado del ruido con sus correspondientes pre-filtros, en lugar de Ia PSD original.

Otro objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que Ia selección de los parámetros almacenados de forma previa en memoria no volátil y su acceso y utilización en tiempo de operación se realiza según a) el modo de funcionamiento del dispositivo de captación b) Ia posición espacial en el plano de Ia imagen c) Ia información disponible sobre el estado de enfoque del dispositivo de captación.

Otro objeto de Ia presente invención Io constituye un dispositivo genérico del sistema híbrido opto-electrónico que albergue los elementos necesarios para el desarrollo del procedimiento de Ia invención, en adelante dispositivo de

Ia invención, que comprende: A) El dispositivo opto-electrónico o cuerpo de captación, el cual está formado por un sistema óptico de lentes (A1 ), un sensor electrónico de adquisición (A2) que incluye una matriz de detectores (A21 ) y Ia electrónica de lectura (A22), y un sistema de grabación digital (A3).

B) una unidad de proceso hardware-firmware (B1), Ia cual posee una memoria (B12), donde se almacenan los datos necesarios, y un microprocesador digital

(B11 ) que ejecuta las instrucciones sobre los datos previamente almacenados

(caracterización de las fuentes de degradación) y los captados por el sensor.

Nótese que el dispositivo de captación y el sistema de proceso no tienen por qué estar en un mismo dispositivo físico. C) Periférico de visualización de Ia imagen final obtenida.

Descripción detallada

La presente invención se enfrenta al problema de proporcionar nuevas herramientas para Ia restauración de imágenes de dispositivos opto- electrónicos.

La presente invención se basa en que los inventores han observado que es posible aumentar Ia calidad de las imágenes digitales capturadas con dispositivos opto-electrónicos, equipados con una óptica de coste reducido que se encuentran afectados (los dispositivos) por las imperfecciones de Ia óptica así como por el ruido generado por el dispositivo opto-electrónico de captación, utilizando un post-procesado numérico realizado a partir de Ia caracterización tanto de Ia óptica como de los parámetros estadísticos del ruido generado por el sensor (por ejemplo, CCDs) y/u otras fuentes de ruido foto-electrónico (ver Ejemplo 2 y 3). Para ello se cuenta con Ia descripción de Ia óptica partiendo de Ia caracterización de Ia degradación de las imágenes mediante Ia función de dispersión de un punto (Point Spread Function, en adelante PSF), en una o varias posiciones del plano del objeto, y, posiblemente, para una o varias

posiciones de enfoque; y de Ia densidad espectral de potencia (Power Spectral Density, en adelante PSD) del ruido introducido por el dispositivo de captación (Ejemplo 1 ). Para Ia estimación de Ia PSF de Ia óptica y Ia PSD del ruido para cada modo de funcionamiento del dispositivo de captación, es necesaria Ia caracterización del equipo de captación en unas condiciones controladas y Io más fieles posibles a sus condiciones de uso real. De Ia calidad de Ia calibración dependerá en gran parte Ia calidad final de las imágenes procesadas.

La estrategia de Ia presente invención está en línea con los procedimientos descritos anteriormente de dos pasos -compensación del emborronamiento y eliminación posterior del ruido resultante- con dos importantes novedades: (1 ) ambos pasos se encuentran formalmente ligados, a través de Ia estimación de un filtro de compensación del emborramiento optimizado que minimiza el error cuadrático a Ia salida del segundo paso (eliminación de ruido), y (2) se proporciona un método para compensar degradaciones ópticas que varíen de acuerdo a Ia posición espacial [J.A. Guerrero-Colon and J. Portilla, "Two-level adaptive denoising using Gaussian scale mixtures in overcomplete oriented pyramids," in IEEE Int'l Conf on Image Proc. Italy, Sep.2005, vol. I, pp. 105-108; J.A. Guerrero-Colon and J. Portilla, "Deblurring-by-denoising using spatially adaptive Gaussian scale mixtures in overcomplete pyramids," in IEEE Int'l Conf on Image Proc. Atlanta, Oct.2006, Publicación a partir de Octubre-2006].

En concreto, el procedimiento de restauración de Ia invención se apoya en el siguiente modelo de degradación: y _o = H x + W ₀ , (1 ) donde H es una matriz circulante que realiza Ia convolución de h (Ia respuesta al impulso que típicamente modela Ia respuesta óptica, o PSF, inicialmente considerado espacialmente invariante), con Ia imagen original x, en este caso, Ia escena capturada. El vector Wo representa ruido independiente de Ia señal, de media cero y de densidad espectral de potencia (PSD) P _w o conocida. En el dominio de Fourier Ia observación tiene Ia siguiente expresión:

Y ₀ (U ₁ V)= H(U ₁ V) X(U ₁ V) + IV ₀ (U ₁ V) (2) con H(u,v) Ia transformada de Fourier del filtro h.

El objetivo planteado consiste en obtener una estimación Io más fidedigna posible de x a partir de y ₀ , en términos de error cuadrático, considerando conocidas Ia PSF (filtro h) y Ia PSD del ruido P _w o- Para ello se utiliza el esquema que se muestra en Ia Figura 2. El primer paso del procedimiento consiste en una compensación global del emborronamiento, mediante Ia aplicación de un pre-filtro G. Este filtro es una aproximación regularizada al filtro inverso de H, es decir, GH es aproximadamente 1 excepto en las frecuencias donde Ia amplitud del ruido supera ampliamente Ia de Ia señal. El segundo paso trata de eliminar el ruido de Ia observación filtrada con G, utilizando típicamente para ello métodos no lineales (por ejemplo, [J. Portilla, V. Strela, M. Wainwright, and E. P. Simoncelli, "Image denoising using scale mixtures of Gaussians in the wavelet domain," IEEE Trans. Image Proa, vol. 12, pp. 1338-1351 , Nov. 2003.; J. A. Guerrero-Colon and J. Portilla, "Two-level adaptive denoising using Gaussian scale mixtures in overcomplete oriented pyramids," in IEEE Int'l Conf on Image Proc. Italy, Sep.2005, vol. I, pp. 105- 108.]). Aplicando Ia primera etapa del método a Ia expresión (2) se obtiene, en el dominio de Ia frecuencia espacial (descartando, para aligerar Ia notación, los índices de frecuencia u,v):

Y ₁ = G Y ₀ = G HX + G W ₀ = G HX + W ₁ (3) Nótese que el nuevo termino de ruido, W ₁ , se encuentra afectado por el pre-filtro G de compensación, por Io que no se estará en general tratando con ruido blanco (aunque Io fuese inicialmente) y por tanto se necesitará métodos de eliminación de ruido capaces de tratar PSDs no planas (como por ejemplo [J. Portilla, V. Strela, M. Wainwright, and E. P. Simoncelli, "Image denoising using scale mixtures of Gaussians in the wavelet domain," IEEE Trans. Image Proc, vol. 12, pp. 1338-1351 , Nov. 2003.; J.A. Guerrero-Colon and J. Portilla, "Two-level adaptive denoising using Gaussian scale mixtures in overcomplete oriented pyramids," in IEEE Int'l Conf on Image Proc. Italy, Sep.2005, vol. I, pp. 105-108.]). La nueva PSD del ruido (P _w i) posee Ia siguiente expresión: Pwi = |G| ² -P _w o. (4)

Una vez que se ha aplicado el primer paso, Ia imagen mejorada se obtiene como resultado de aplicar el algoritmo de eliminación de ruido a Ia

observación pre-filtrada Y? La densidad espectral de potencia del ruido pre- filtrado, P _w i, es un parámetro de entrada al algoritmo de eliminación de ruido.

Para optimizar los resultados en términos de error cuadrático se propone acoplar ambos pasos de tal forma que el filtro G se elija de forma que minimice en promedio el error cuadrático a Ia salida del método de eliminación de ruido con respecto a Ia señal original. Así, se puede expresar el pre-filtro óptimo G como:

G = arg min{E{II X - /(G- 7) ll ² }} ₍₅₎

G donde f(G ^• Y) es el resultado de aplicar el método de eliminación de ruido / (paso 2), a Ia observación (Y) filtrada con el pre-filtro G (paso 1 ). G, por tanto es el pre-filtrado que minimiza Ia esperanza matemática de Ia distancia euclídea al cuadrado entre Ia imagen original X y Ia estimación final f(G ^• Y) .

La esperanza matemática de Ia Ecuación (5) puede expresarse de forma equivalente:

E{ Il X - /(G • F) II ² } - E{ Il [X - G • H • X] + [G • H • X - /(G • F)] II ² } (6)

Considerando que el error debido al emborronamiento esta aproximadamente des-correlacionado del error debido al ruido residual a Ia salida del paso 2 (esto se ha comprobado empíricamente en varios ejemplos usando simulaciones, datos no mostrados), se puede aproximar el error cuadrático total como suma de dos errores cuadráticos, el primero correspondiente al emborronamiento residual del resultado (estimable usando técnicas estándar) y el segundo al error residual del resultado respecto de Ia imagen obtenida pre-filtrada:

E{ II X - /(G - F) II ² } ≡ E{ II X - G - H - X II ² } + E{ IIG H • X - /(G - F) II ² J (7)

Se podrá aplicar esta solución, por tanto, si se cuenta con un método de estimación del error cuadrático a Ia salida del algoritmo de eliminación de ruido empleado (segundo sumando en el término de Ia derecha de Ia Ecuación 7),

que sea función de Ia imagen a Ia que se aplica y de Ia densidad espectral de potencia del ruido que afecta a dicha imagen.

Para los casos en que no se disponga de tal modelo, se puede proponer una metodología alternativa aproximada de minimización del error cuadrático global basada en entrenamiento que consta de:

• Uso de un pre-filtro o filtro de compensación, G, dependiente de un único parámetro libre, y

• Entrenamiento y elección del parámetro libre.

En lugar de estimar el filtro sin restricciones, como en Ia aproximación anterior, en este caso se reducen los grados de libertad a un solo parámetro libre, simplificando así el proceso de entrenamiento. En particular se ha escogido como punto de partida un filtro de Wiener generalizado (Ecuación 8).

Este filtro es muy utilizado en técnicas de restauración, no solo como compensación previa [R. Neelamani, H. Choi, and R. G. Baraniuk, "ForWaRD: Fourier-wavelet regularized deconvolution for ill-conditioned systems," IEEE

Trans. Signal Proa, vol. 52, no. 2, pp. 418-433, Feb. 2004.], sino también como solución global [Biggs David and Meichle Michael, "Realtime 2D deconvolution system and method", US2005265621 , 2005-12-01].

O= ^fí ' _P (8) ι H ι ² +« -^

Este filtro realiza una inversión regularizada con el parámetro α que controla Ia supresión de ruido/emborronamiento. Para valores del parámetro cercanos a cero, Ia imagen intermedia es muy ruidosa (en el extremo, α = 0, tenemos un filtro inverso puro). Para valores cercanos a 1 el filtro destruirá demasiadas componentes de frecuencias alta y media, proporcionando imágenes demasiado suaves desde el punto de vista de un filtrado de ruido no lineal. De hecho α = 1 corresponde con el filtrado de Wiener, que sólo es adecuado cuando tanto Ia señal como el ruido son aproximadamente gaussianos. Cabe esperar pues valores de parámetros comprendidos en el intervalo (0,1 ). Para el entrenamiento se selecciona un conjunto de imágenes "tipo" libres de degradación que se suponen representativas de las escenas que

capturará el dispositivo. Cada imagen del conjunto es degradada (típicamente de forma numérica) de acuerdo a una determinada PSF y a un ruido aditivo de estadística dada. Nótese que, dado que en este caso Ia optimización se hace de forma empírica, no se exige al ruido ninguna condición previa, excepto su independencia de Ia señal y su media nula. Con Ia información de Ia observación y Ia original, para cada experimento se calcula el valor del parámetro que minimiza el error cuadrático entre Ia original y Ia degradada. Para ello se utiliza el algoritmo clásico de búsqueda basado en Ia sección áurea. Adicionalmente se calcula un intervalo de seguridad, dentro del cual el nivel de fidelidad no desciende por debajo de un umbral determinado (0.05-0.1 dBs por ejemplo) respecto al resultado del α óptimo obtenido. El parámetro óptimo en promedio es aquel valor de α que maximiza el número de experimentos para los que se obtiene un resultado cuasi-óptimo, es decir, un resultado dentro de Ia tolerancia fijada respecto al óptimo del experimento [J .A. Guerrero-Colon and J. Portilla, "Deblurring-by-denoising using spatially adaptive Gaussian scale mixtures in overcomplete pyramids," in IEEE Int'l Conf on Image Proc. Atlanta, Oct.2006, Publicación a partir de Octubre-2006].

La idea más inmediata para el procesamiento de Ia imagen captada es tener, para cada modo de funcionamiento del dispositivo de captación, Ia PSF de Ia óptica y Ia PSD del ruido (P _w o) almacenadas en memoria no volátil. El dispositivo de Ia invención utilizaría esta información en tiempo de operación del dispositivo de captación, junto con una estimación de las densidad espectral de potencia de Ia señal original (P _x ) a partir de Ia observada para obtener el prefiltro óptimo G adaptado a cada imagen específica. Una vez obtenido el prefiltro se puede procesar Ia imagen observada utilizando el esquema propuesto. Sin embargo, y teniendo en cuenta que Ia velocidad de proceso es crítica en esta aplicación, es preferible considerar una PSD de Ia señal original (P _x ), genérica o estimada a partir de un conjunto de imágenes representativas de las escenas que típicamente capturará el dispositivo, y así poder realizar "off-line" Ia optimización de G para una PSD del ruido (P _w o) y una PSF de Ia óptica dadas. De esta forma, para cada modo de funcionamiento del dispositivo de captación, se almacena el pre-filtro G ya optimizado, así como Ia

PSD del ruido afectada por este pre-filtrado (P _w i, Ecuación 4) en lugar de almacenar directamente los parámetros de degradación (PSF y PSD de ruido).

La solución descrita hasta ahora modela Ia degradación que introduce Ia óptica como espacialmente invariante, a través de una convolución. Sin embargo, esto es sólo una aproximación que, en ciertos sistemas ópticos como en [George Nicholas, Chi Wanli, "Extended depth of field using a multi-focal lenth lens with a controlled range of spherical aberration and centrally obscured aperture", WO2006028527 -2006-03-16], no es aplicable. La PSF va variando suavemente según nos alejamos del eje óptico hacia posiciones excéntricas en distintos ángulos, llegando en ocasiones a ser el cambio con respecto a Ia posición del eje muy significativo. En Ia Figura 3 se muestra Ia PSF de un ejemplo de sistema óptico real en distintas posiciones espaciales. En este caso, el eje óptico se encuentra en Ia esquina superior derecha (PSF más parecida a un punto) y va variando de forma gradual a medida que nos alejamos de este punto. Para mejorar Ia calidad de imágenes degradadas de forma espacialmente variante, se propone, en lugar de almacenar en el dispositivo una sola PSF (normalmente Ia correspondiente al eje óptico y al plano imagen de mejor foco), almacenar una malla bidimensional de PSFs, que corresponderían, en un caso extremo, a cada una de las posiciones espaciales (cada píxel de Ia imagen). Sin embargo, normalmente, no es necesario este nivel de muestreo espacial, ya que las PSFs varían suavemente (ver Figura 3, por ejemplo) y es suficiente dividir Ia imagen en bloques y usar una PSF para cada bloque, dentro del cual Ia PSF se asume invariante. El dispositivo restaurará localmente cada región de acuerdo a Ia PSFs correspondientes almacenadas en memoria. De forma análoga a Io dicho para el caso espacialmente invariante, resulta mucho más eficiente en Ia práctica calcular "off-line" y almacenar en memoria no volátil los pre-filtros G optimizados, esta vez para cada posición espacial. La estadística del ruido, al verse afectada por el pre-filtrado espacialmente variante, será también diferente para cada bloque, por Io que se almacenarán en memoria también las PSDs locales de ruido pre- filtrado. Así, aplicando Ia Ecuación 4, cada PSD correspondiente a Ia región centrada en Ia posición (m,n) posee Ia siguiente expresión:

P _w i(m,n) = |G(m,n)| ² - P _w0 , (9)

siendo G(m,n) el pre-filtro optimizado para Ia posición espacial (m,n), que compensa parcialmente Ia PSF correspondiente a dicha posición. La restauración que se ha propuesto mejora Ia calidad de las imágenes capturadas, asumiendo que estas se encuentran en foco. Es decir, las PSFs almacenadas caracterizan a Ia óptica del dispositivo cuando ésta enfoca perfectamente Ia escena (se asume en esta patente que los objetos de Ia escena guardan una distancia mínima suficientemente grande al dispositivo de captación de imágenes, por Io que, de haber desenfoque, éste es aproximadamente constante espacialmente). Si se posee una fuente de información acerca del estado del enfoque, el procedimiento es aplicable a imágenes capturadas fuera de foco, sin más que almacenar las PSF's de los distintos planos de enfoque (estructura de datos 3D, donde Ia tercera dimensión corresponde al enfoque). De nuevo, resulta mucho más conveniente en Ia práctica almacenar los filtros de compensación calculados "off-line" para cada PSF local y cada desplazamiento de foco, y sus correspondientes PSDs de ruido prefiltrado, que almacenar las PSFs y Ia PSD de ruido originaL

En resumen, dependiendo de las condiciones de trabajo y Ia naturaleza del dispositivo de captación, se podrá calcular y almacenar en memoria de forma previa a Ia operación de captura: i) Un solo filtro de compensación: Si se supone que Ia óptica del dispositivo tiene un comportamiento que se puede aproximar o definir como espacialmente invariante y que Ia imagen está permanentemente en foco. ü) Una cuadrícula 2D de filtros de compensación: Si se quiere compensar un comportamiento diferente de Ia óptica en cada posición espacial. iü) Una cuadrícula 3D de filtros de compensación: Si además de tener Ia descripción de Ia óptica espacialmente variante, se posee información acerca del estado del enfoque y se desea compensar el desenfoque numéricamente

Por tanto, un objeto de Ia invención Io constituye un procedimiento de restauración de imágenes para sistemas de captación de imágenes que introducen ruido y emborronamiento en las imágenes, en adelante procedimiento de Ia invención, que, dado un método de eliminación de ruido en imágenes y el propio dispositivo de captación en cada uno de sus posibles modos de funcionamiento, está caracterizado por: a) Ia medida de Ia degradación que introduce el dispositivo de captación, mediante dos conjuntos de parámetros: PSFs (PSF: Función de Dispersión de un Punto, Point Spread Function) y PSDs de ruido (PSD: Densidad Espectral de Potencia, Power Spectral Density) b) Ia captación de Ia imagen, c) el cálculo del pre-filtrado óptimo para los parámetros de degradación caracterizados en (a) y para Ia imagen captada en (b) o, en promedio, para un conjunto de imágenes de entrenamiento, que minimiza el error cuadrático medio a Ia salida del método de eliminación de ruido aplicado a las imágenes pre-filtradas, d) el almacenamiento en memoria no volátil, de forma previa a Ia operación del dispositivo, de dos conjuntos de parámetros que caracterizan Ia degradación que introduce el dispositivo de captación, según las siguientes alternativas: i) parámetros de degradación medidos en (a), PSFs y PSD de ruido (en este caso el cálculo del prefiltrado óptimo de (c) se hace en tiempo de operación y no se almacena en memoria no volátil), o ii) pre-filtros óptimos calculados según (c) usando imágenes de entrenamiento, y PSDs de ruido correspondientes,

e) Ia aplicación del prefiltrado calculado en (c) a Ia imagen obtenida en (b), y f) Ia aplicación del método de eliminación del ruido a las imágenes pre- filtradas obtenidas en (e).

Un objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que el método de cálculo del pre-filtrado óptimo de c), está basado en Ia existencia de un modelo de predicción del error cuadrático del

método de eliminación de ruido, que aproxima el error cuadrático como suma de dos errores cuadráticos, el primero correspondiente al emborronamiento residual del resultado (estimable por técnicas estándar) y el segundo correspondiente al error residual del resultado respecto de Ia imagen a Ia salida del pre-filtrado, este último calculable mediante el modelo de error cuadrático del método de eliminación de ruido.

Otro objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que Ia obtención de una aproximación al método de pre-filtrado óptimo de (c) comprende las siguientes etapas: a) uso de un pre-filtrado dependiente de un único parámetro libre, y b) una etapa de entrenamiento, donde dada una o varias condiciones de degradación expresadas como parejas (PSF/PSDs de ruido) y un conjunto de parejas de imágenes originales/degradas, obtención, para cada pareja de imágenes original/degradada, del valor del parámetro libre que minimiza el error cuadrático en Ia restauración, y de un intervalo de seguridad en torno a este valor dentro del cual el error cuadrático cae menos que un determinado nivel de fidelidad (típicamente alrededor de 0.1 decibelios) respecto del óptimo hallado, y c) elección del parámetro óptimo en promedio como aquel valor del parámetro libre que maximiza el número de experimentos para los que dicho valor no se sale del intervalo de seguridad correspondiente a cada experimento.

Otro objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que se utiliza, en cada uno de los posibles modos de funcionamiento del dispositivo de captación de imágenes, una única PSF

(típicamente Ia correspondiente al eje óptico y al plano imagen de mejor foco, en sistemas ópticos), y una única PSD de ruido.

Otro objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que se utiliza, en cada uno de los posibles modos de funcionamiento del dispositivo de captación de imágenes, una única PSD de ruido y varias PSFs correspondientes a distintas posiciones espaciales del campo, que reflejan el comportamiento espacialmente variante del dispositivo

de captación y que dan lugar a un pre-filtrado diferente para cada localización espacial dentro de Ia imagen captada.

Otro objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que se añaden a Ia caracterización del dispositivo las PSFs correspondientes a distintas posiciones de foco, para cada posición considerada en el plano de Ia imagen, junto con Ia PSD del ruido, Io que da lugar a un pre-filtrado diferente para cada posición de foco y cada localización espacial considerada dentro de Ia imagen captada.

Otro objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que el cálculo del pre-filtrado óptimo es realizado con imágenes de entrenamiento en lugar de con Ia imagen captada, y en el que, para cada uno de los posibles modos de funcionamiento del dispositivo de captación de imágenes, se almacenan en memoria: a) pre-filtros calculados para un conjunto de imágenes de entrenamiento, en lugar de las PSFs, y b) PSDs resultantes del pre-filtrado del ruido con sus correspondientes pre-filtros, en lugar de Ia PSD original.

Otro objeto particular de Ia invención Io constituye el procedimiento de Ia invención en el que Ia selección de los parámetros almacenados de forma previa en memoria no volátil y su acceso y utilización en tiempo de operación según a) el modo de funcionamiento del dispositivo de captación b) Ia posición espacial en el plano de Ia imagen c) Ia información disponible sobre el estado de enfoque del dispositivo de captación.

Por otro lado, Ia presente invención permite el diseño de hardware pre- programable genérico que es fácilmente integrable en los dispositivos de captación de imágenes, con el objetivo de proporcionar imágenes de mayor calidad para un mismo coste, medida ésta tanto visualmente, como en términos de error cuadrático medio respecto a un original (ver resultados de simulaciones en [J.A. Guerrero-Colon and J. Portilla, "Deblurring-by-denoising using spatially adaptive Gaussian scale mixtures in overcomplete pyramids," in IEEE Int'l Conf on Image Proc. Atlanta, Oct.2006, Publicación a partir de

Octubre-2006]). De esta forma se puede conseguir Ia fabricación de un dispositivo opto-electrónico de captación de imágenes con un significativo abaratamiento y reducción de peso manteniendo una calidad similar a dispositivos con un aparato óptico más sofisticado. Así, otro objeto de Ia presente invención Io constituye un dispositivo genérico del sistema híbrido opto-electrónico que albergue los elementos necesarios para el desarrollo del procedimiento de Ia invención, en adelante dispositivo de Ia invención, que comprende:

A) El dispositivo opto-electrónico o cuerpo de captación está formado por un sistema óptico de lentes (A1 ), un sensor electrónico de adquisición (A2) que incluye una matriz de detectores (A21 ) y Ia electrónica de lectura (A22), y un sistema de grabación digital (A3).

B) una unidad de proceso hardware-firmware (B1) posee una memoria (B12), donde se almacenan los datos necesarios, y un microprocesador digital (B11 ) que ejecuta las instrucciones sobre los datos previamente almacenados (caracterización de las fuentes de degradación) y los captados por el sensor. Nótese que el dispositivo de captación y el sistema de proceso no tienen por qué estar en un mismo dispositivo físico. (C) un periférico para Ia visualización de Ia imagen final obtenida. En Ia presente invención se parte de Ia base de que se conocen las características de Ia óptica del dispositivo de captación (PSF), centrándose en el procedimiento de restauración y no limitándose en ningún momento a un tipo determinado de dispositivo de captación de imágenes, ni a un rango de longitudes de onda, ni a un tipo de degradación particular. Las únicas condiciones que se exigen al dispositivo de captación de imágenes es que (1 ) el emborronamiento de Ia imagen captada sea el efecto de una función lineal (y por tanto, caracterizable por una PSF, aunque ésta varíe en cada posición espacial); y (2) el ruido generado sea modelable como aditivo

Tal como se utiliza en Ia presente invención el término "dispositivo de captación de imágenes" se refiere a un dispositivo, preferentemente opto- electrónicos tipo CCD o CMOS, para cualquier banda del espectro electromagnético, por ejemplo visible o infrarrojos, perteneciente, a título

ilustrativo y sin que limite el alcance de Ia invención, al siguiente grupo: cámaras digitales, pequeñas webcams, PDA's y teléfonos móviles.

Por otro lado, no es necesario que Ia electrónica de procesamiento esté integrada en el mismo dispositivo de captación de imágenes. Por ejemplo, el dispositivo de captación podría estar localizado en un satélite en órbita y Ia electrónica de procesamiento estar ubicada en el centro de recepción de datos.

BREVE DESCRIPCIóN DE LAS FIGURAS Y TABLAS

Figura 1.- Dispositivo genérico del sistema híbrido opto-electronico. En esta figura se muestra el dispositivo híbrido opto-electrónico que alberga el procedimiento de Ia invención. El dispositivo se divide en dos partes principales, dispositivo de captación y hardware-firmware de procesado. A) El dispositivo opto-electrónico o cuerpo de captación está formado por un sistema óptico de lentes (A1 ), un sensor electrónico de adquisición (A2) que incluye una matriz de detectores (A21 ) y Ia electrónica de lectura (A22), y un sistema de grabación digital (A3). B) La unidad de proceso con su electrónica de proceso (B1 ) posee una memoria (B12), donde se almacenan los datos necesarios, y un microprocesador digital (B11 ) que ejecuta las instrucciones sobre los datos previamente almacenados (parámetros que caracterizan las fuentes de degradación y/o los correspondientes pre-filtrados óptimos) y los captados por el sensor. Nótese que el dispositivo de captación y el sistema de proceso no tienen por qué estar en un mismo dispositivo físico. Finalmente, el dispositivo presenta una salida para Ia visualización de Ia Imagen final (C). Figura 2.- Esquema del procedimiento de Ia invención en dos pasos. Esta figura muestra el esquema básico del procedimiento de restauración de Ia imagen de Ia invención. A partir de una imagen digital degradada (lo), se realiza una compensación previa del emborronamiento o pre-filtrado de Ia imagen degradada (A, Paso 1 ), para posteriormente aplicar una eliminación de ruido de Ia imagen prefiltrada (B, Paso 2). A Ia salida del procedimiento se obtiene Ia imagen restaurada (IF)-

Figura 3.- Descripción de una óptica espacialmente variante. En esta figura se muestra Ia PSF correspondiente a distintas posiciones espaciales. El eje óptico se encuentra, en este caso, en Ia esquina superior derecha.

Figura 4.- índice de optimización para cada valor del parámetro libre (α).

En el contexto de optimización empírica del pre-filtrado, para cada valor del parámetro libre se indica el porcentaje de experimentos para los que dicho valor no se sale del intervalo de seguridad. El eje x representa el parámetro libre α, y el eje y el índice de optimización (%).

Figura 5.- Comparación visual de los resultados sobre dos imágenes test, House y Barbara (Región 80x80 pixeles). De izquierda a derecha y de arriba abajo: Degradada: House filtrada con PSF1 y con ruido añadido de varianza 2; Bárbara con PSF2 y varianza 0.308; Restaurada con método de Portilla y Simoncelli [J. Portilla and E. P. Simoncelli, "Image restoration using Gaussian scale mixtures in the wavelet domain," in Proc IEEE Int'l Conf on Image Proc. September 2003, vol. 2, pp. 965-968] utilizando Ia representación FSP; Restaurada con el método de Figueiredo y Nowak [M. Figueiredo and R. Nowak, "An EM algorithm for wavelet based image restoration," IEEE Trans. Image Proc, vol. 12, no. 8, pp. 906-916, Aug. 2003]; Restaurada con el procedimiento de Ia invención [J.A. Guerrero-Colon and J. Portilla, "Deblurring- by-denoising using spatially adaptive Gaussian scale mixtures in overcomplete pyramids," in IEEE Int'l Conf on Image Proc. Atlanta, Oct.2006, Publicación a partir de Octubre-2006]: House usando THP y Barbara FSP. Los valores numéricos indican Peak Signal-to-Noise Ratio (PSNR). Como se puede observar, tanto en términos de PSNR como visualmente (ver Ia línea del tejado en House y el mantel en Barbara) el procedimiento de Ia invención supera en estos ejemplos a los mejores resultados publicados hasta Ia fecha. Figura 6.- Resultado visual de aplicación real del procedimiento de Ia invención. Imagen de un libro de texto tomada por una cámara CCD Hamamatsu.

Figura 7.- Resultado visual de aplicación real del procedimiento de Ia invención. Imagen de un micro-display mostrando una escena de un avión tomada por una cámara CCD Hamamatsu.

EJEMPLOS DE REALIZACIóN DE LA INVENCIóN

Se describen a continuación casos prácticos de realización de Ia invención, que debe entenderse no tienen carácter limitativo de Ia misma.

Ejemplo 1.- Aplicación del procedimiento a imágenes degradadas simuladas.

En Ia Figura 1 se muestra el esquema típico de un sistema híbrido opto- electrónico digital particular construido en el marco de Ia presente invención donde se ha implementado los elementos electrónicos de hardware y firmware necesarios para ejecutar el procedimiento de Ia presente invención. A grandes rasgos, el sistema se compone de:

- Un componente óptico que incluye un sistema de lentes,

- Un componente de captación digital de imágenes: por ejemplo, CCD o CMOS, y

- Un componente electrónico con los elementos necesarios para el procesamiento que contiene, al menos una memoria y un microprocesador digital.

En este ejemplo el procedimiento de Ia invención de restauración de imágenes descrito se aplicó en condiciones de simulación numérica de Ia degradación a un conjunto de imágenes de prueba estándar ("House", "Cameraman", "Boats" y "Barbara"), a un conjunto de PSFs gaussianas con desviaciones típicas de 1 , 2, 4, 8 y 16, y una PSD plana para ruido blanco gaussiano de media nula, con valores de desviación típica de 0.4, 0.8, 1.6 y 3.2. El método de eliminación de ruido utilizado fue el descrito en [J.A. Guerrero-Colon and J. Portilla, "Two-level adaptive denoising using Gaussian scale mixtures in overcomplete oriented pyramids," in IEEE Int'l Conf on Image Proc. Italy, Sep.2005, vol. I, pp. 105-108], que es una versión espacialmente adaptativa (por bloques) del potente algoritmo no-lineal descrito en [J. Portilla, V. Strela, M. Wainwright, and E. P. Simoncelli, "Image denoising using scale mixtures of Gaussians in the wavelet domain," IEEE Trans. Image Proc, vol. 12, pp. 1338-1351 , Nov. 2003]. Se utilizaron bloques de 32x32 píxeles, y dos representaciones piramidales diferentes, una con 3 orientaciones (THP) Ia otra con 8 orientaciones (FSP), ambas con 4 escalas (más detalles en [J.A. Guerrero-Colon and J. Portilla, "Deblurring-by-denoising using spatially adaptive Gaussian scale mixtures in overcomplete pyramids," in IEEE Int'l Conf on Image Proc. Atlanta, Oct.2006, Publicación a partir de Octubre-2006]).

La optimización del pre-filtrado se hizo de forma empírica conjuntamente para todas las PSFs consideradas, para el conjunto de imágenes utilizadas y para todos los niveles de ruido, dando lugar a un total de 80 experimentos (4 imágenes x 5 PSFs x 4 PSDs de ruido). En este caso se buscaba una solución de prefiltrado único y genérico. Nótese que se podría haber obtenido un menor error cuadrático promedio en Ia estimación de las imágenes originales si se hubiera realizado el entrenamiento de forma separada para cada PSF y PSD de ruido consideradas (a costa de perder generalidad en Ia solución). Los valores del parámetro libre α se tomaron equi-espaciados en intervalos de anchura 0.1 , y el intervalo de seguridad entorno a cada óptimo individual se eligió al correspondiente a una caída de 0.05 decibelios en Ia relación señal a ruido (SNR, Signal-to-Noise Ratio) del resultado con respecto al que se obtiene con el α óptimo. La Figura 4 muestra el índice de optimización, es decir, el porcentaje de experimentos que proporcionaron un resultado cuasi-óptimo (según Ia tolerancia descrita) para cada valor de α. El valor óptimo del parámetro libre del pre-flitrado resultó ser α = 0,3, para el que se obtuvo un índice de optimización del 84%. Este porcentaje tan alto se considera un dato positivo en términos de Ia robustez y generalidad del método, dada Ia gran variabilidad introducida en este caso tanto en anchuras de Ia PSF como en niveles de ruido.

La Tabla 1 muestra el aumento promedio, para el conjunto de imágenes utilizado en SNR obtenido (en decibelios) respecto a Ia SNR de Ia observación degradada simulada, para las distintas condiciones de degradación utilizadas. Aunque en esta simulación se ha utilizado las mismas imágenes test para el entrenamiento que para Ia medida del rendimiento del método, se ha comprobado que el valor óptimo del parámetro libre del pre-filtrado no variaba, para los intervalos de muestreo utilizados, si se excluía cada vez Ia imagen de prueba en el entrenamiento. Es decir, queda demostrado que el resultado no está afectado por sobre-entrenamiento ("over-fitting").

Tabla 1.- Se muestra el incremento de Ia relación señal a ruido (ISNR) promedio, para los experimentos del conjunto de entrenamiento.

Cada experimento es una combinación de:

• Imagen: House, Cameraman, Barbara, Boat y Lena

• PSF: Gaussianas con una anchura (σ): 0.4, 0.8 1.6 y 3.2.

• Ruido: Blanco Gaussiano de una desviación estándar: 1 , 2, 4, 8 y 16.

Para poner aún más a prueba Ia robustez del método descrito, se ha comprobado Ia aplicabilidad del anterior resultado de optimización empírica del pre-filtrado a otras condiciones de degradación diferentes de las utilizadas en dicha optimización. Para ello, se ha realizado un conjunto adicional de experimentos con tres de las cinco imágenes de prueba usadas anteriormente y unas PSFs y PSDs de ruido utilizados en Ia literatura de restauración de imágenes, Io que nos ha permitido realizar una comparación objetiva con otros métodos en términos del error cuadrático medio de Ia restauración. Todas las PSDs de ruido consideradas son constantes (ruido blanco), y se ha utilizado ruido aditivo gaussiano. La primera PSF (PSF1 ) tiene Ia forma 1/(1 + i ² + j ² ), con i,j = -7...7, normalizada a 1 en volumen, y se ha aplicado junto a ruido de varianzas 2 y 8. PSF2 es uniforme en un soporte cuadrado de 9x9 píxeles y se ha aplicado con ruido de varianza 0,308. PSF3 es un filtro binomial 5x5, y se ha usado con ruido de varianza 49. En Ia Tabla 2 se muestran los resultados obtenidos por el procedimiento de Ia invención comparado con los mejores resultados de eliminación de ruido en simulaciones que se han encontrado en Ia literatura reciente [M. Figueiredo and R. Nowak, "A bound optimization approach to wavelet-based image deconvolution," in IEEE Int'l Conf on Image

Proc, 2005, vol. 2, pp. 782 - 785.; J. Portilla and E. P. Simoncelli, "Image restoration using Gaussian scale mixtures in the wavelet domain," in Proc IEEE Int'l Conf on Image Proc, Barcelona, Spain, September 2003, vol. 2, pp. 965- 968;M. Figueiredo and R. Nowak, "An EM algorithm for wavelet based image restoration," IEEE Trans. Image Proc, vol. 12, no. 8, pp. 906-916, Aug. 2003.; J. Bioucas-Dias, "Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors," IEEE Trans. Image Proc, vol. 15, no. 4, pp. 937-951 , Apr. 2006.]. En Ia Tabla 2 también se han incluido, por comparación, dos de las PSFs gaussianas utilizadas en Ia etapa de optimización del pre-filtrado: PSF4 y PSF5 son filtrados gaussianos con desviaciones típicas de 1.6 y 0.4, respectivamente, y se han aplicado con varianzas de ruido de 4 y 64, respectivamente. Según estos resultados, el procedimiento de Ia presente invención de restauración proporciona los mejores resultados en 2 de cada 3 (66,7%) de estos experimentos de restauración.

Tabla 2.- Se muestra una comparativa del nuestro método (E) con otros métodos del estado (A, B, C, D) del arte en términos de ISNR.

Método A: M. Figueiredo and R. Nowak, "A bound optimization approach to wavelet-based image deconvolution," in IEEE Int'l Conf on Image

Proc, 2005, vol. 2, pp. 782 - 785.;

Método B: J. Portilla and E. P. Simoncelli, "Image restoration using

Gaussian scale mixtures in the wavelet domain," in Proc IEEE Int'l Conf on Image Proc. September 2003, vol. 2, pp. 965-968;

Método C: M. Figueiredo and R. Nowak, "An EM algorithm for wavelet based image restoration," IEEE Trans. Image Proc, vol. 12, no. 8, pp.

906-916, Aug. 2003.;

Método D: J. Bioucas-Dias, "Bayesian wavelet-based image deconvolution: a gem algorithm exploiting a class of heavy-tailed priors,"

IEEE Trans. Image Proc, vol. 15, no. 4, pp. 937-951 , Apr. 2006.

Método E: J.A. Guerrero-Colon and J. Portilla, "Deblurring-by-denoising using spatially adaptive Gaussian scale mixtures in overcomplete

pyramids," in IEEE Int'l Conf on Image Proc. Atlanta, Oct.2006, Publicación a partir de Octubre-2006

En Ia Figura 5 se muestran dos ejemplos visuales de los resultados obtenidos con el procedimiento de Ia invención (cuadrante inferior derecho), junto con Ia imagen degradada (cuadrante superior izquierdo) y los resultados con otros procedimientos competidores inmediatos (los otros dos cuadrantes). Se aprecia una significativa mejora visual en ambos casos con respecto a los resultados de los procedimientos competidores.

Ejemplo 2.- Aplicación del procedimiento a imágenes degradadas reales

En este tercer ejemplo se aplica el procedimiento de restauración a imágenes tomadas con dispositivos de captación que tienen elementos ópticos de baja calidad o no perfectamente ajustados (enfoque, alineamiento, etc.). Se utilizó una cámara CCD Hamamatsu. Para simular una fuerte degradación óptica se utilizó un doblete acromático, proveniente de unos prismáticos, centrado y alineado manualmente. Se experimentó con dos imágenes: Ia primera proveniente de una página de texto y Ia otra de un micro-display mostrando una escena de un avión. Ambas imágenes eran efectivamente de luz monocromática, Ia primera por estar iluminada con una fuente de luz filtrada con un filtro interferencial de 500 nm (verde) y Ia segunda por haber colocado el mismo filtro enfrente del micro-display. Para reducir el efecto del ruido, se tomaron 30 fotografías de cada imagen, que fueron promediadas posteriormente. Asimismo, Ia PSF se estimó utilizando un "pinhole" retro- iluminado con luz monocromática de Ia misma longitud de onda referida. Se tomaron 15 fotografías, que se promediaron y normalizaron para Ia estimación. La PSD del ruido se aproximó en ambos casos como plana (ruido blanco) y su varianza se estimó seleccionando zonas uniformes en las imágenes y tomando Ia varianza muestral. Aplicando el método empírico de optimización del parámetro libre de pre-filtrado se obtuvo un valor para alfa de 0.48. Para Ia eliminación de ruido se utilizó el método descrito en [J.A. Guerrero-Colon and J. Portilla, "Two-level adaptive denoising using Gaussian scale mixtures in overcomplete oriented pyramids," in IEEE Int'l Conf on Image Proc. Italy,

Sep.2005, vol. I, pp. 105-108], con una pirámide de Haar trapezoidal (THP) para Ia representación, con 4 escalas, y usando vecindades de 3x3 coeficientes, sin coeficiente padre. La Figura 6 muestra Ia imagen del micro- display antes y después de ser procesada. Este resultado demuestra Ia potencia del procedimiento de Ia invención aplicado en condiciones reales. En este caso Ia imagen subtendía un ángulo pequeño, por Io que basta con caracterizar el sistema óptico con una única PSF (aproximación espacialmente invariante). Sin embargo, en el caso de Ia imagen de texto, ésta ocupaba un ángulo mucho mayor, Io que se traduce (ver Figura 7) en que el resultado no tiene una calidad uniforme espacialmente, sino que proporciona Ia máxima calidad en el centro de Ia imagen, donde se estimó Ia PSF. Esto demuestra Ia necesidad de utilizar una caracterización espacialmente variante de Ia PSF en algunos casos.