Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DEVICE FOR ESTIMATING OPTICAL FLOW IN IMAGES USING FPGAS
Document Type and Number:
WIPO Patent Application WO/2005/050342
Kind Code:
A2
Abstract:
The invention relates to a device which is designed to estimate the dense optical flow of a video sequence in real time and which supplies the velocities of the movement of the grey levels present in the sequence. According to the invention, the digitised images are used as input for the system. As shown in the figure, the processing is performed by the inventive device using an architecture that is based on a computation of the space-time gradients of the sequence (derivatives module). The invention also comprises a control unit (control module) which can be used to configure the operation of the unit. In addition, the device supplies the velocity of each pixel (velocity computation module). The device is suitable for systems that are used for mobile object segmentation, tracking, 3D scene reconstruction, video compression, etc., in which all of the processing is performed in real time, said system being embedded and, consequently, portable.

Inventors:
ROS VIDAL EDUARDO (ES)
MOTA FERNANDEZ SONIA (ES)
DIAZ ALONSO ANTONIO JAVIER (ES)
Application Number:
PCT/ES2004/000523
Publication Date:
June 02, 2005
Filing Date:
November 23, 2004
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
UNIV GRANADA (ES)
ROS VIDAL EDUARDO (ES)
MOTA FERNANDEZ SONIA (ES)
DIAZ ALONSO ANTONIO JAVIER (ES)
International Classes:
G06T7/00; G06T7/20; H04N7/36; G06F; (IPC1-7): G06F/
Foreign References:
US6215898B12001-04-10
US20020106120A12002-08-08
DE19712017A11998-09-17
Attorney, Agent or Firm:
Aguilar Peña, David (Universidad de Granada Cuesta del Hospicio s/n, Granada, ES)
Download PDF:
Claims:
REIVINDICACIONES
1. Dispositivo para la estimación de flujo óptico en imágenes mediante FPGAs caracterizado por comprender los siguientes elementos : Circuito de procesamiento de imágenes en tiempo real para estimación de flujo óptico mediante FPGA. Entradas y/o salidas para el control del sistema, valores de los píxeles de la imagen, memorias externas y resultados obtenidos. Unidad de transferencia de datos entre el dispositivo y la memoria externa. Unidad de procesamiento para realizar el suavizado de las imágenes. Unidad de procesamiento para estimación de las derivadas de la imagen. Unidad de procesamiento para el cómputo de las velocidades de los píxeles de la imagen. Unidad de control del sistema. Todo ello en un mismo chip (Sistema en Chip, SoC). Esto facilita cómputos complejos y evita cuellos de botella debidos a las comunicaciones. El circuito se ha desarrollado utilizando tecnología FPGA, lo cual provee de gran versatilidad al sistema, pudiendo ser particularizado fácilmente para distintas aplicaciones.
2. Dispositivo para estimación de flujo óptico según reivindicación 1 caracterizado por que la unidad de procesamiento para suavizado de imágenes realiza un suavizado recursivo de la imagen mediante un filtro tipo IIR.
3. Dispositivo para estimación de flujo óptico según reivindicaciones anteriores caracterizado por que la unidad de procesamiento para cómputo de velocidades estima las mismas de manera recursiva, utilizando los valores obtenidos en las imágenes anteriores.
4. Dispositivo para estimación de flujo óptico según reivindicaciones caracterizado por que la unidad de control del sistema permite seleccionar la escala espacial para el cómputo de flujo óptico, así como modificar los umbrales de velocidades computables y de fiabilidad en su estimación.
5. Dispositivo para estimación de flujo óptico según reivindicaciones anteriores caracterizado por que el computo de flujo óptico es realizado utilizando una técnica basada en cómputo de gradientes de la imagen, obteniéndose un flujo óptico denso.
Description:
DISPOSITIVO PARA LA ESTIMACIÓN DE FLUJO ÓPTICO EN IMÁGENES MEDIANTE FPGAS

SECTOR DE LA TÉCNICA La presente invención se encuadra dentro de los dispositivos para procesamiento de imágenes en tiempo real. Más concretamente dentro de los dispositivos digitales para estimación de flujo óptico en imágenes digitales en niveles de intensidad.

ESTADO DE LA TÉCNICA El flujo óptico en secuencias de imágenes consiste en, mediante diferentes métodos, estimar el desplazamiento de los niveles de gris de una imagen. Este desplazamiento es medido a nivel subpíxel y nos permite determinar la velocidad del desplazamiento de los píxeles de una imagen. Esta información permite la determinación de objetos en movimiento mediante visión y su segmentación o seguimiento.

El conocimiento de este mapa de velocidades de la imagen es utilizado en la actualidad en sistemas de segmentación de objetos móviles, seguimiento, reconstrucción 3-D de escenas y codificación/compresión de video, siendo sus potenciales utilidades muy numerosas.

Acorde a esta situación, existen numerosas metodologías patentadas, principalmente en Estados Unidos, que describen nuevos métodos de cómputo del flujo óptico. En ellos se describen básicamente diferentes implementaciones computacionales del sistema, cada una intentando mejorar algunos de los problemas típicos que padecen las demás.

Como ejemplo y referencia tenemos el documento WO 01/96982 A2, que describe un método basado en gradiente y pirámide multiescala para estimación de flujo óptico mediante el algoritmo de Horn & Schunck (descrito en el artículo "Determining Optical flow"publicado en"Artificial Intelligence"1981, vol 17, pp 185-203). Otros documentos basados en los métodos multiescala son US 6.370. 196 Bl, US 5680487 (basado en gradiente) y FR2729811 (cómputo de velocidades mediante interpolación polinomial). Diferentes aproximaciones son los documentos que pretenden mejorar la estimación del flujo óptico mediante aproximaciones más robustas. Podemos usar un mapa disperso de rasgos fiables basados en la geometría epipolar de la cámara, documento US 20030086590 A1, o estimaciones multihipótesis, documento US 20030076982 Al. También existen métodos basados en estimaciones de la fiabilidad del flujo óptico como el descrito en US 20030058945 Al. Finalmente podemos encontrar documentos como el US 20030086590 Al que resuelve la estimación de flujo óptico mediante la solución de la ecuación de Poisson y un método de relajación.

Los sistemas anteriormente descritos, si bien presentan métodos y "dispositivos"para la estimación del flujo óptico, no persiguen el desarrollo de sistemas en tiempo real. El principal problema es la estimación del flujo óptico es la elevada potencia de calculo requerida para su procesamiento lo que, normalmente relega a los dispositivos basados en procesamiento de imágenes a un segundo plano en las aplicaciones reales. Además no son sistemas portables, lo que limita significativamente su utilidad para aplicaciones reales, o su utilización como sistemas embebidos.

Existe una metodología para la estimación del movimiento de los niveles de gris basado en correlación entre bloques de la imagen y conocido en la terminología anglosajona como métodos de"blockmaching". Basados en esta técnica sí que existen diferentes dispositivos hardware que son capaces estimar el moviendo de los bloques de la imagen en tiempo real. La principal utilidad de esta técnica es la compresión de video, siendo muy usada en estándares tales como el mpeg y afines.

Ejemplos de ello son los dispositivos descritos en W09526539, US 5969772 (permite además detección de objetos en movimiento), EP0577418 A2 (para codificación de video), Patente US 5627591 (usa un mapa disperso basado en bordes para estimar el movimiento y codificar video), US 20030123551 (para codificación mpeg).

El problema de la técnica anterior es que si bien es muy adecuada para la compresión de video, la información del movimiento que proporciona no se corresponde siempre con los desplazamientos reales de los objetos en la imagen.

Esto, que es un problema general de todas las aproximaciones para la estimación de flujo óptico, se hace especialmente crítico en los métodos de"blockmaching". Es por ello que para otras aplicaciones, en especial reconstrucción 3-D de la escena, los métodos basados en otras aproximaciones, típicamente métodos basados en cómputo del gradiente, son más apropiados. El problema de estos sistemas es su complejidad lo que hace poco frecuente la existencia de sistemas de procesamiento en tiempo real basados en ello. Un ejemplo destacable y que incluimos aquí como referencia es el descrito en el documento US5627905. En él se describe un dispositivo de estimación de flujo óptico basado en gradiente y procesado de selección de patrones de movimiento. El dispositivo permite también el seguimiento de objetos. En lo referente a su implementación hardware utiliza un sistema mixto procesador-PGAs así como diferentes chip de memoria.

DESCRIPCIÓN DETALLADA DE LA INVENCIÓN El dispositivo inventado tiene por objeto la estimación de flujo óptico denso en secuencias de video digital. El sensor digital podrá ser de cualquier tipo, video estándar, infrarrojos, radar etc. El procesamiento será realizado en tiempo real utilizando un método de estimación de flujo óptico basado en los gradientes de las imágenes. Como hemos visto en el apartado anterior, la existencia de circuitos capaces de realizar tal operación es muy reducida, siendo aún menos numerosos los que pueden ser utilizados como sistemas embebidos. La presente invención es capaz

de realizar tal tarea basándose en una estructura para circuitos tipo FPGA de gran paralelismo.

La entrada de datos del sistema serán las imágenes capturadas con cualquier sensor opto-electrónico y digitalizadas. La imagen de entrada es almacenada en una memoria externa para su posterior lectura, tal y como muestra el modulo denominado "Frame-Grabber" (o módulo capturador) de la figura 1. El dispositivo computa la derivada temporal a partir de imágenes suavizadas espacio-temporalmente, utilizando para ello un filtrado temporal con filtros IIR.

El dispositivo puede operar en diferentes configuraciones que se determinan mediante una señal entrada especialmente existente para ello. El modulo de la figura 1 denominado CONTROL es el encargado de modificar la operación de los restantes elementos del circuito de acuerdo con el estado del mismo. Las diferentes configuraciones modifican los tamaños de imagen de trabajo, pudiendo realizarse la estimación de flujo a diferentes escalas espaciales. También es posible modificar diferentes parámetros del modelo como los umbrales de confianza en la estimación de velocidades o de derivadas. La elección de estos parámetros permitirá elegir la densidad de estimaciones presentes en la imagen y como consecuencia el umbral de fiabilidad de los mismos.

Por último, se computa la velocidad. El dispositivo usa memoria externa para el almacenamiento de resultados previos, utilizado para estimar la velocidad recursivamente de manera más estable.

BREVE DESCRIPCIÓN DE LA FIGURAS La única figura utilizada, figura 1, muestra un esquema básico de los principales elementos de procesamiento realizados dentro de circuito de la invención, indicando también las líneas de entrada y salida de datos. Los bloques mostrados

informan de las unidades básicas de procesamiento y control descritas en el apartado anterior.

MODOS DE REALIZACIÓN DE LA INVENCIÓN Para la realización del circuito de la presente invención, descrita ya su función en el apartado anterior, utilizamos un circuito tipo FPGA que cumpla las restricciones de tiempo real y capacidad de procesamiento descritas en la presente invención, sin perjuicio de otras soluciones como son las basadas en circuitos de uso especifico (ASIC).

El circuito realizado posee las entradas mostradas en la figura 1, los valores de los niveles de gris de la imagen digital, la entrada de control y las interconexiones con la memoria externa. La salida proporciona las estimaciones de velocidad de los píxel de la imagen.