OPERACIÓN DE DICHO DISPOSITIVO D E S C R I P C I Ó N

OBJETO DE LA INVENCIÓN La presente invención pertenece al campo de la inteligencia artificial, y más concretamente a aplicaciones de múltiple tacto (multi-touch) para el tratamiento de datos e imágenes por el tacto humano.

El objeto principal de la presente invención es un dispositivo de múltiple tacto, o "multi-touch", que emplea la proyección de imágenes y datos sobre superficies planas, de modo que el usuario puede interactuar con dicha superficie. Asimismo otro objeto de la invención lo constituye el procedimiento de operación de dicho dispositivo. ANTECEDENTES DE LA INVENCIÓN

Actualmente, las técnicas de interactuación y comunicación hombre-máquina están evolucionando básicamente en dos grupos:

- un primer grupo relativo a dispositivos electrónicos de pantalla táctil o "touchscreen", (p.ej. computadoras de mano como un PDA o

Asistente Digital Personal, las tabletas digitalizadoras multi-touch, teléfonos móviles), los cuales interactúan con lápices o con los dedos de la mano del usuario, y

- un segundo grupo, referente a las técnicas de visión por ordenadores o "computer visión", en el que a través de una cámara de color o infrarroja es posible el reconocimiento de diversos objetos proyectados sobre una superficie; haciendo uso de la denominada "Realidad Aumentada" (AR) para, por medio del seguimiento de los dedos, inspeccionar y modificar la posición y orientación de los objetos virtuales, y con ello poder mostrar, examinar y manipular la información. En todos estos desarrollos, se permite al usuario interactuar con la superficie de forma espontánea y sin accesorios artificiales.

A nivel científico, destacan los trabajos de ANDREW D.WILSON, expuesto en UIST'05: "Proceedings of the 18th anual ACM symposium on user interíace software and technology", páginas.83-92. Editado por ACM. Nueva York (2005), donde a través de la utilización de una cámara infrarroja se consigue discernir si el usuario está tocando o no físicamente la superficie proyectada, lo que supone la base de la interactuación por proyección.

El problema técnico que aquí se plantea es que los dispositivos multi-touch existentes actualmente en el mercado están limitados a las dimensiones y características propias de los medios donde se incorporan, lo cual limita su funcionalidad y portabilidad. Por ejemplo, una mesa o "table-top" con sistema multi-touch presenta un tamaño condicionado al diseño y destino de la misma, como igual sucede con las pantallas táctiles de ordenadores. Además, el hecho de que la interactuación se produzca sobre una superficie física que sirve a la vez de medio de trabajo y de medio funcional, hace mucho mayor el riesgo de roturas o averías por desgaste.

Dichos dispositivos conocidos en la actualidad, únicamente son capaces de reconocer objetos básicos, tales como hojas de papel, marcas o figuras geométricas, etc. Además, presentan una falta de descripción en la manera de resolver posibles errores generados por sombras o por indefinición de los elementos que interactúan.

DESCRIPCIÓN DE LA INVENCIÓN Mediante la presente invención se resuelven los inconvenientes anteriormente citados proporcionando un dispositivo de múltiple tacto basado en la proyección de imágenes y datos sobre una superficie, sin limitación de extensión, longitud, ubicación de destino o características físicas de la misma, de modo que un usuario puede interactuar de manera táctil con dicha superficie, favoreciendo el uso y manipulación de los objetos proyectados (objetos virtuales), así como de objetos reales situados sobre la superficie. Asimismo, otro objeto de la invención lo constituye el procedimiento de operación de dicho dispositivo, a través del cual, mediante un tratamiento de computación de tales datos e imágenes se posibilita a un usuario ejecutar todo tipo de aplicaciones (acceso a Internet, visualización de vídeos, fotos, reproducción de música, etc.).

El dispositivo de múltiple tacto objeto de invención, destaca fundamentalmente por presentar una clara diferenciación entre "medio de trabajo" y "medios funcionales", lo cual permite dotar al dispositivo de una gran funcionalidad y aplicabilidad, favoreciendo una mayor portabilidad, manejo y transporte del mismo con respecto a los dispositivos existentes anteriormente. El medio de trabajo comprende una superficie, preferentemente plana y rígida, sin limitación de dimensiones, tipo o composición de la misma, sobre la cual son proyectadas imágenes o datos con los cuales un usuario interactúa de manera táctil. Dicha superficie puede ser de cualquier material, ya sea madera, plástico, metal, mármol, etc. Por su parte, los medios funcionales comprenden principalmente un proyector adaptado para la proyección de datos e imágenes sobre la superficie arriba citada, y al menos una cámara que capta la interacción del usuario con dicha superficie.

Además, dicha cámara es capaz de detectar también la presencia de objetos físicos reales situados sobre la superficie de trabajo. Preferentemente se dispone de dos cámaras, las cuales actúan de forma sincronizada en la captura de información procedente de la interactuación entre usuario y superficie de trabajo. Estas cámaras son las encargadas de recibir e interpretar correctamente los movimientos y gestos realizados por el usuario sobre las imágenes y datos proyectados en la superficie de trabajo.

De acuerdo con una realización preferente de la invención el dispositivo de múltiple tacto objeto de invención comprende adicionalmente unos medios de iluminación, adaptados para proporcionar nitidez y claridad sobre la superficie de trabajo, de manera que la cámara reconozca claramente si el usuario está interactuando con dicha superficie o no. De acuerdo con otro objeto de la invención, se describe a continuación el procedimiento de operación del dispositivo arriba descrito, comprendiendo dicho procedimiento las siguientes fases:

- segmentación del color de piel, en la cual al menos una cámara es capaz de identificar el contorno de la mano del usuario, localizar la punta de sus dedos y detectar la existencia o no de contacto entre usuario y superficie de trabajo,

- detección de marcas matriciales, mediante la cual la cámara realiza una calibración y enfoque adecuados para una correcta captación de la información procedente de la interactuación usuario-superficie,

- detección de "folios", en la cual la cámara detecta todo tipo de imágenes rectangulares planas proyectadas en la superficie de trabajo, y

- envío de datos mediante protocolo UDP (User Datagram Protocol) a una CPU (Central Processing Unit) donde se aloja la aplicación de alto nivel que explota y procesa la información recibida.

Asimismo se ha previsto la disposición de una CPU externa conectada al dispositivo de múltiple tacto objeto de invención, ya sea por cable o de forma inalámbrica.

Es importante señalar que al encontrarse separados tanto el medio de trabajo (superficie sobre la que se interactúa), como los medios funcionales (proyección-captación de información) se minimiza el desgaste y/o posibles defectos o averías de la superficie de trabajo, evitando el uso de protectores de pantallas o elementos de seguridad varios, los cuales resultan muy costosos.

Finalmente, cabe mencionar que mediante el dispositivo de la presente invención se alcanzan unos niveles de precisión muy altos, reduciendo considerablemente los errores en la interactuación sobre la orden dada por el usuario, (por ejemplo, en un dispositivo táctil donde están solidarizados el medio de trabajo y el medio funcional, puede suceder que accionando en un punto determinado de la superficie se produzca una orden o evento incorrecto, ya sea por presión excesiva, estado de la pantalla indebida etc.

DESCRIPCIÓN DE LOS DIBUJOS

Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, de acuerdo con un ejemplo preferente de realización práctica de la misma, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:

Figura 1.- Muestra una vista general del dispositivo de múltiple tacto objeto de invención donde se aprecia a un usuario interactuando y visualizando imágenes proyectadas sobre una superficie. Figura 2.- Muestra una vista en perspectiva del interior del dispositivo de múltiple tacto objeto de invención, donde se aprecian sus distintos elementos componentes.

Figura 3.- Muestra una vista explotada del dispositivo de múltiple tacto por proyección de imágenes y datos sobre superficies, objeto de invención.

Figura 4.- Muestra un diagrama de flujo del procedimiento de operación del dispositivo de múltiple tacto objeto de invención.

REALIZACIÓN PREFERENTE DE LA INVENCIÓN

Se describe a continuación un ejemplo de realización preferente haciendo mención a las figuras arriba señaladas, sin que ello limite el ámbito de protección de la presente invención.

En la figura 1 se aprecia a un usuario (20) interactuando y visualizando imágenes (1 1 ) proyectadas sobre una superficie (10) plana, empleando el dispositivo de múltiple tacto objeto de invención, el cual comprende:

- un proyector (1 ), mostrado en la figura 2, adaptado para proyectar imágenes (1 1 ) y datos sobre una superficie (10) plana dispuesta inferiormente, sobre la cual un usuario (20) interactúa de manera táctil, - dos cámaras (2) dispuestas bajo el proyector (1 ) y separadas entre sí una cierta distancia, las cuales se encuentran orientadas en un ángulo determinado, estando adaptadas para la captación de los movimientos y gestos del usuario (20) sobre las imágenes (11 ) proyectadas sobre la superficie (10),

- un obturador (3) situado a continuación del foco del proyector (1 ), que controla la claridad y nitidez con que se van a ver las imágenes (1 1 ) y datos proyectados sobre la superficie (10),

- una caja (4) en cuyo interior se encuentran el proyector (1 ), las cámaras (2) y el obturador (3), proporcionando soporte y protección, y - un bastidor (5), destinado a fijarse a una pared o similar, que sujeta y mantiene la caja (4), y que presenta unas guías verticales (6) para el desplazamiento y regulación en altura de dicha caja (4), así como unas guías horizontales (7) para el desplazamiento de las cámaras (2) permitiendo su alejamiento o acercamiento entre sí.

Tal y como se puede observar en las figuras 1 y 3, el dispositivo de múltiple tacto objeto de invención comprende adicionalmente unos ventiladores (8) y orificios vinculados a la caja (4), los cuales están adaptados para una óptima refrigeración del proyector (1 ), evitando así el calentamiento del mismo.

Además, se ha previsto que el dispositivo aquí descrito disponga adicionalmente de unos medios de iluminación (9), representados en las figuras 1 y 3, adaptados para evitar cualquier tipo de sombra o variaciones de luz que se puedan originar durante la interactuación del usuario (20) con las imágenes (1 1 ) proyectadas en la superficie (10), eliminando así posibles errores producidos en la captación de información por parte de las cámaras (2). Esto conlleva además un menor coste de desarrollo de software, el cual se simplifica considerablemente.

Cabe señalar que la captura hecha por las cámaras (2) ha de ser independiente de lo emitido por el proyector (1 ), de forma que sea posible independizar el conjunto de imágenes (1 1 ) proyectadas con lo captado por las cámaras (2). Es necesario que las dos cámaras (2) estén sincronizadas mutuamente de tal forma que la acción de captura de imágenes (1 1 ) realizadas por ambas cámaras (2) se produzca en el mismo instante de tiempo. En este punto es donde entran en acción el obturador (3) y un circuito de sincronización. El objetivo de estos dos elementos es hacer que el momento de captura de las cámaras (2) coincida exactamente con el punto en que el obturador (3) ocluye completamente el foco del proyector (1 ).

Se ha previsto que dicho obturador (3) admita diferentes soluciones técnicas, como pueden ser, un obturador óptico con paneles LCD, un obturador mecánico, un obturador electrónico que opera a nivel de señal de video, o cualquier otra solución técnica que permita independizar el proceso de captura de imagen y el de proyección.

Por su parte, en la figura 4 se muestra un diagrama de bloques en el que se detalla el procedimiento de operación del dispositivo de múltiple tacto arriba descrito, tras la proyección de imágenes (1 1 ) por el proyector (1 ) y la captación de información por parte de las cámaras (2). Las fases de este procedimiento se realizan de forma paralela y tienen como objetivo reconocer, hacer un seguimiento y establecer la interactuación entre los objetos situados sobre la superficie (10) de trabajo y la aplicación final. Dichas fases son: a) segmentación del color de piel (100), en la cual al menos una cámara (2) es capaz de identificar el contorno de la mano del usuario (20), localizar la punta de sus dedos y detectar la existencia o no de contacto entre usuario (20) y superficie (10) de trabajo,

b) detección de marcas matriciales (200), mediante la cual la cámara (2) realiza una calibración y enfoque adecuados para una correcta captación de la información procedente de la interactuación entre usuario (20) y superficie (10), y

c) detección de "folios" (300), en la cual la cámara (2) detecta todo tipo de imágenes (1 1 ) rectangulares y objetos planos texturizados y no texturizados proyectados sobre la superficie (10) de trabajo. Posteriormente se realiza una última fase d) de envío de datos mediante protocolo UDP a una CPU donde se aloja la aplicación de alto nivel que explota y procesa la información recibida. Cabe señalar que el término "objetos planos texturizados" empleado en el párrafo de la fase c) se refiere a aquellos objetos planos con multitud de formas, colores y curvaturas, presentando unos trazados y contornos complejos. Por consiguiente, un objeto plano "no texturizado" es aquel cuyo trazado es sencillo, presentando pocas curvaturas y detalles, en apenas uno o dos colores. De acuerdo con la presente realización preferente, la fase a) de segmentación del color de piel (100) se realiza mediante la siguiente secuencia: e) se establece una segmentación de la imagen (11 ) por color de piel, f) se hallan y discretizan los contornos para el consiguiente descarte de contornos no coherentes respecto a área,

g) de los contornos que pasan la criba, se localizan los puntos de máxima y mínima curvatura y además, se averigua la transformada de la distancia y se parametriza esta transformada, y

h) a partir de la información obtenida, se localizan las puntas de los dedos como los puntos que tienen un máximo local en la curvatura y además cumplen ciertos parámetros de la transformada de la distancia. Por otra parte, el caso particular de la detección de folios (300), imágenes (3) rectangulares y objetos planos "no texturizados", necesita en un primer paso la detección de los contornos de los objetos que se sitúan sobre el medio de trabajo. En un segundo paso se estudia la geometría y el área de dichos contornos y se determina qué forma geométrica se corresponde mejor con los contornos de los objetos.

La detección de objetos planos "texturizados" necesita un estudio previo de los objetos que se van a detectar. Este estudio previo consiste en la búsqueda y localización precisa de un conjunto de puntos característicos invariantes a la escala y a la orientación. Una vez estos puntos característicos están hallados y convenientemente organizados, se procede a la búsqueda de estos puntos característicos en la imagen capturada. Cuantos más puntos característicos de una imagen sean detectados, más precisa será la detección de los objetos planos texturizados.