Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DEVICE FOR VIEWING VIRTUAL AND/OR MULTIMEDIA INFORMATION SUPERIMPOSED ON A REAL-WORLD IMAGE
Document Type and Number:
WIPO Patent Application WO/2010/146217
Kind Code:
A1
Abstract:
The invention relates to a device for viewing virtual and/or multimedia information superimposed on a real-world image, in a position and direction calculated in real time by various mechanisms included in said device, comprising a base platform (1), anchored to the floor, which supports the user interacting with the system as well as the set of elements that form the viewing device integrated in a column (2), which can rotate 360º about the axis thereof and comprises a mechanism for controlling the angle of horizontal rotation and automatically controlling the tilt angle of a camera for capturing images that is installed on a structure (3), said structure being located on said column (2), above the latter and attached thereto so as to ensure that the two elements rotate at the same time.

Inventors:
ACIEN MARTINEZ, Fatima (C/Ivan Pavlov, 8Campanilla, Campanillas, E-29590, ES)
RUIZ AGUILAR, Alberto (C/Ivan Pavlov, 8Campanilla, Campanillas, E-29590, ES)
VAZQUEZ FERNANDEZ-BACA, Jose Luis (Ivan Pavlov, 8Campanilla, Campanillas, E-29590, ES)
Application Number:
ES2010/070406
Publication Date:
December 23, 2010
Filing Date:
June 17, 2010
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ARPA SOLUTIONS, S.L. (C/Ivan Pavlov, 8Campanilla, Campanillas, E-29590, ES)
ACIEN MARTINEZ, Fatima (C/Ivan Pavlov, 8Campanilla, Campanillas, E-29590, ES)
RUIZ AGUILAR, Alberto (C/Ivan Pavlov, 8Campanilla, Campanillas, E-29590, ES)
VAZQUEZ FERNANDEZ-BACA, Jose Luis (Ivan Pavlov, 8Campanilla, Campanillas, E-29590, ES)
International Classes:
G02B23/18; G06F3/048; G07F17/02; H04N13/00
Attorney, Agent or Firm:
URIZAR ANASAGASTI, Jesus Maria (Paseo Castellana, 72Ipamar, S.L. Madrid, E-28046, ES)
Download PDF:
Claims:
REIVINDICACIONES

1.- Equipo para visualización de información virtual y/o multimedia superpuesta sobre una imagen del entorno real, en una posición y orientación calculada en tiempo real por diversos dispositivos que se incluyen en dicho equipo, caracterizado porque comprende: a) una plataforma base (1 ), anclada al suelo, que soporta al usuario que interactúa con el sistema y/o a un grupo de observadores, así como al conjunto de los elementos que conforman el equipo de visualización integrados en una columna (2); b) una columna (2) que puede girar sobre sí misma 360° al manejarla el usuario por medio de un volante o asa (5), que está asociada a un dispositivo de control del ángulo de giro e integra los diversos dispositivos hardware que conforman el equipo: una unidad central de proceso (CPU), una pantalla táctil (4) en Ia que se visualiza Ia imagen real del entorno y/o una imagen compuesta a partir de Ia superposición de objetos virtuales posicionados y orientados de forma coherente sobre Ia imagen real de dicho entorno, sendos dispositivos de detección de Ia orientación que determina el ángulo de giro horizontal y de control automático del ángulo de inclinación de Ia cámara de captación de imágenes ubicada en una estructura (3), situada sobre esta columna (2), un dispositivo de reproducción de audio, así como una fuente de alimentación de todos estos dispositivos y un sistema de refrigeración y/o calefacción y/o ventilación para los mismos; y c) una cámara de captación de imágenes ubicada en una estructura (3), comunicada mediante otra estructura (6) de tubos a Ia columna (2), situada por encima de ésta y fijada en ella de forma que giran al unísono, que dispone de un mecanismo de inclinación arriba y/o abajo accionado por un motor de pasos controlado por Ia aplicación implementada en el equipo.

2.- Equipo, según Ia reivindicación 1 , caracterizado porque integra un dispositivo de determinación del posicionamiento y orientación del punto vista de Ia cámara, en función del giro realizado por el usuario de Ia columna (2), consistente en un sensor de rotación magnético, conectado a una placa de control electrónico que determina y transmite a Ia CPU el ángulo de giro horizontal que se ha movido Ia columna (2) cuando el usuario Ia gira en cualquier sentido.

3.- Equipo, según las reivindicaciones 1 y 2, caracterizado porque integra un dispositivo de determinación de Ia inclinación de Ia cámara, que es movida por un motor paso a paso, accionado desde una placa controladora, que a través de Ia CPU permite el envío de comandos para inclinarla arriba o abajo y en consecuencia determinar en todo instante su orientación para, en conjunción con el dispositivo que determina el giro efectuado por Ia columna (2) y del factor de zoom aplicado en Ia cámara (3), determinar con exactitud Ia zona enfocada, así como el grado de ampliación de Ia imagen real y de escalado de Ia información virtual.

4.- Equipo, según las reivindicaciones anteriores, caracterizado porque Ia unidad central de proceso (CPU) integra una aplicación que: a) realiza el control de Ia inclinación de Ia cámara y Ia comunicación con el sistema de giro de Ia columna (2) así como los cálculos necesarios para determinar Ia zona enfocada por dicha cámara para cada orientación e inclinación de Ia cámara detectada, b) crea una escena que es el resultado de Ia superposición de una figura virtual y/o multimedia sobre una primera escena real de una posición determinada por el sistema global de posicionamiento y orientación, ofreciendo al usuario una realidad mezclada o compuesta de ambas escenas, e c) incluye un interfaz gráfico que permite el usuario interactuar con Ia aplicación a través de Ia pulsación en una pantalla de tipo táctil (4) y/o un ratón y, entre otras funciones, seleccionar el modo de funcionamiento del dispositivo: mirador convencional, multimedia o mirador con realidad compuesta.

Description:
DESCRIPCIÓN

Equipo para visualización de información virtual y/o multimedia superpuesta sobre una imagen del entorno real.

Objeto de Ia invención

La invención consiste en un equipo que permite Ia visualización de todo tipo de información virtual creada con un ordenador (modelos tridimensionales, textos, imágenes o vídeos) posicionada, orientada y escalada en función del punto de vista determinado por el usuario, sobre una imagen de vídeo de un entorno real, permitiéndole a éste Ia posibilidad de observar, por ejemplo, un modelo tridimensional virtual de Ia reconstrucción de cómo era en sus orígenes un yacimiento arqueológico, solapada sobre Ia imagen real del estado actual del yacimiento. También permite Ia reproducción de archivos de audio, que se activa de forma automática en función de determinadas acciones realizadas por el usuario.

Antecedentes de Ia invención

Actualmente existen sistemas de visualización de información multimedia basados en realidad virtual, donde todo el escenario es ficticio, es decir, es una tecnología de tipo inmersiva, en Ia que el usuario no tiene referencias sobre el entorno real que Ie rodea.

También se conocen sistemas denominados de realidad aumentada, en los que se superponen imágenes del mundo real con elementos virtuales diseñados por ordenador. Esta tecnología ofrece un amplio abanico de posibilidades en áreas tan diversas como Ia cultura, Ia medicina, Ia educación, Ia promoción turística e inmobiliaria, Ia decoración de interiores o Ia industria. En los sistemas de realidad aumentada o compuesta, el usuario puede interactuar con Ia información virtual que se mezcla con el mundo real de una forma natural. Además, Ia visión que se tiene del mundo real exterior queda complementada mediante Ia superposición o composición de los objetos virtuales tridimensionales, audio, vídeo, textos, imágenes planas, y en general cualquier tipo de información multimedia que permita recrear una "realidad" ampliada del mundo real.

La realidad aumentada ha tenido un importante desarrollo gracias a los trabajos publicados en 1999, bajo el título "Recent Advances in Augmented Reality", por los doctores: Ronald Azuma, Yohan Baillot, Reinhold Behringer, Steven Feiner, Simón Julier y Blair Maclntyre.

En Ia literatura de patentes, el documento WO-2006112743 describe un dispositivo de visualización basado en esta tecnología, que permite mejorar Ia visita turística virtual de lugares históricos o escénicos de otro tipo, añadiendo elementos multimedia al paisaje real y componiendo una imagen combinada que se representa al usuario. Este sistema incluye un único volumen todos los equipos que Io integran: bases de datos locales o remotas; mecanismos que miden Ia posición y Ia orientación del sistema; un sistema para capturar las imágenes reales por medio de una cámara de vídeo; un ordenador para procesamiento de Ia imagen y composición de los elementos virtuales; y una pantalla de presentación Ia imagen final. Este sistema dispone de dos sensores que son los que determinan Ia posición de Ia cámara o el lugar hacia el que enfoca: un sensor de Ia rotación, unido al eje horizontal, y otro que mide el ángulo de inclinación de las cámaras de vídeo que proporcionan las imágenes reales del escenario.

Descripción de Ia invención

La invención propone un sistema o equipo mejorado que permite Ia visualización multimedia de forma independiente, o combinada con Ia realidad del escenario. A diferencia del sistema anterior, en el que el usuario mueve Ia cámara manualmente y en consecuencia es necesario determinar Ia posición hacia Ia que ésta enfoca, en este caso, no hay ningún sensor para medir Ia posición vertical, ya que Ia cámara se inclina arriba y abajo controlada por el software del equipo en función de donde el usuario indique, de forma tal que el proceso es inverso, es el equipo el que controla dónde enfoca Ia cámara y Ia posición exacta de Ia misma según los comandos introducidos por pantalla por el usuario. Lo mismo sucede con el zoom de Ia cámara, se acciona desde el equipo y no en Ia propia cámara, con Io cual, el programa que Io controla conoce perfectamente el zoom establecido. Estas operaciones las realiza el usuario por medio de botones que puede pulsar a través de Ia pantalla táctil.

El equipo de Ia presente invención comprende: a) Una plataforma base, anclada o apoyada en el suelo, que sirve de medio de apoyo para el usuario que interactúa con el sistema. En escenarios de gran tamaño, como pueden ser lugares de interés arqueológico, se ha previsto también Ia disponibilidad de un espacio para un grupo de observadores. Esta plataforma soporta así mismo el conjunto de los elementos que conforman el equipo de visualización que están integrados en una columna o estructura de orientación vertical.

b) La mencionada columna vertical, o bien está articulada en Ia plataforma de Ia base, o bien gira en su mitad superior sobre Ia mitad inferior. El giro que puede efectuar es de 360° y puede dar infinitas vueltas, sin que sea necesario establecer una orientación predefinida. El giro sobre sí mismo

Io efectúa manualmente el usuario, estando su eje asociado a un dispositivo de control del ángulo de giro, consistente en un sensor de rotación magnético que, conectado a una placa de control electrónico, determina y transmite al sistema, en tiempo real, el ángulo preciso de giro horizontal que se ha movido Ia columna cuando el usuario Ia gira en cualquier sentido. Esta columna integra los diversos dispositivos hardware que conforman el equipo: una unidad central de proceso (CPU), una pantalla táctil en Ia que se visualiza Ia imagen real del entorno y/o una imagen compuesta a partir de Ia superposición de objetos virtuales posicionados y orientados de forma coherente sobre Ia imagen real de dicho entorno, así como los dispositivos de detección de Ia orientación que determinan el ángulo de giro horizontal y de control automático del ángulo de inclinación de Ia cámara de captación de imágenes situada sobre esta columna, un dispositivo de reproducción de audio, así como una fuente de alimentación de todos estos dispositivos y un sistema de refrigeración y/o calefacción y/o ventilación para los mismos.

c) Una cámara de captación de imágenes colocada sobre una estructura, situada por encima de Ia columna giratoria y fijada en ella de forma que giran al unísono, que dispone de un mecanismo de inclinación arriba y/o abajo, accionado por un motor paso a paso, controlado por el sistema a través de Ia CPU que envía los comandos necesarios para movilizar Ia cámara, inclinándola arriba o abajo y en consecuencia puede determinar en todo instante su orientación para, en conjunción con el dispositivo que determina el giro horizontal de Ia columna y del factor de zoom aplicado en Ia cámara, calcular con exactitud Ia zona enfocada, así como el grado de ampliación de Ia imagen real y de escalado de Ia información virtual.

Descripción de las figuras

Para complementar Ia descripción que se está realizando y con objeto de facilitar Ia comprensión de las características de Ia invención, se acompaña a Ia presente memoria descriptiva un juego de dibujos en los que, con carácter ilustrativo y no limitativo, se ha representado Io siguiente:

La figura 1 muestra sendas vistas en planta, alzado y perfil de un equipo de visualización realizado de acuerdo a Ia invención. Las figuras 2 y 3 se corresponden con sendas vistas en perspectiva, respectivamente desde Ia zona orientada al escenario y desde el lugar en el que se coloca el usuario subido en Ia plataforma (1 ).

Realización preferente de Ia invención

A continuación se describen con más detalle los elementos que componen el sistema:

Un dispositivo de captura de imágenes en tiempo real que obtiene información de Ia primera escena, es decir, del entorno real. Dicho dispositivo es cualquier tipo de vídeo cámara, que opcionalmente incluye una lente con focal variable motorizada y una placa electrónica que permite controlar el zoom, focus e iris a través de una CPU, o una lente con focal fija. Este elemento se ubica en una estructura (3) que a través de una estructura (6) de tubos, enlaza con el cuerpo principal de este equipo constituido por Ia columna (2).

Una plataforma sobre Ia que se coloca el equipo de captación de imágenes, que está conectada mecánicamente a un motor de pasos y éste a su vez a una placa controladora, que a través de Ia CPU de control, permite el envío de comandos para inclinar Ia plataforma sobre Ia que se encuentra

Ia cámara arriba o abajo. La plataforma que sustenta a Ia cámara, junto con el motor de pasos y Ia electrónica de control, se ubican en Ia misma estructura (3) que aloja al dispositivo de captación de imágenes.

Un dispositivo de giro formado por un sensor de rotación de tipo magnético, conectado a una placa con Ia electrónica de control necesaria para determinar y transmitir a Ia CPU, el dato del ángulo de giro horizontal que se ha movido el dispositivo físico a través de Ia manipulación del asa por parte del usuario. Para ello, Ia columna (2), o bien gira sobre Ia plataforma base (1 ), o por un plano intermedio como se aprecia en las figuras 2 y 3. El usuario es el que efectúa manualmente el giro en el plano horizontal de Ia parte superior de Ia columna (2), por medio de un volante o asa (5), situado preferentemente debajo de Ia pantalla (4) en Ia que se representan las imágenes virtuales y/o reales.

Un ordenador o una UCP con una serie de periféricos, entre los que se incluye una unidad de procesamiento gráfico, en el que se ejecuta el software de Ia aplicación, en el que se realiza el control de Ia inclinación de Ia cámara, ubicada en una estructura (3), y en el que se realiza Ia comunicación con el sistema de giro.

Una aplicación software que está formada por un interfaz gráfico de ventanas, en el que se puede acceder a un menú principal, a través del cual se puede seleccionar el idioma y el modo de funcionamiento del dispositivo: modo mirador convencional, modo multimedia y modo mirador con realidad compuesta. En los modos mirador convencional y con realidad compuesta, Ia aplicación software permite al usuario, como funcionalidad mínima, hacer zoom más o zoom menos en Ia imagen de Ia escena real y/o en Ia imagen de Ia escena compuesta (imagen real complementada con objetos virtuales), así como inclinar Ia cámara arriba o abajo. El usuario interactúa con Ia aplicación a través de Ia pulsación de determinados botones de una aplicación gráfica mediante una pantalla (4) de tipo táctil . En el modo multimedia, el dispositivo actúa de forma que Ia aplicación software se encarga de ofrecer al usuario Ia posibilidad de visualizar imágenes, vídeos y/o escuchar archivos de audio relacionados con el enclave en el que se sitúa el dispositivo.

Una unidad central de proceso (CPU) que debe ser configurada para generar un contenido multimedia específico (modelado en 3D, texto, imagen o vídeo) para cada orientación e inclinación de Ia cámara detectada, así como para crear una segunda escena como resultado de Ia superposición del objeto multimedia sobre Ia primera escena en una posición determinada por el sistema global de posicionamiento y orientación, de forma que se Ie ofrezca al usuario Ia experiencia de Ia realidad mezclada o compuesta. Una pantalla (4), a modo de dispositivo de salida, que permite Ia apreciación por parte del usuario de Ia realidad mezclada, es decir, Ia visualización de Ia imagen de Ia escena compuesta (para el caso de los modos de funcionamiento mirador convencional y mirador de realidad mezclada), formada por Ia señal de vídeo de Ia escena real sobre Ia que se superpone Ia información virtual posicionada y orientada en cada instante en función de cuál sea el punto de vista de Ia cámara determinado por el usuario. Dicho punto de vista se obtiene a partir de los datos que se obtienen del sistema global de cálculo de posicionamiento y orientación que incluye el sistema.

Un dispositivo global del cálculo del posicionamiento y orientación del punto vista del usuario, es decir, Ia obtención del punto exacto al que enfoca Ia cámara en cada fotograma de vídeo. Dicho dispositivo se encarga de Ia obtención de los datos exactos de orientación y posicionamiento que serán utilizados para calcular Ia matriz de proyección del sistema, determinados en función del giro realizado por el usuario, Ia inclinación de Ia cámara y el factor de zoom aplicado.

El usuario puede interactuar con el sistema de diferentes formas:

- A través de Ia pantalla táctil (4) para seleccionar distintos modos de funcionamiento de Ia aplicación.

- A través de Ia pantalla táctil (4) para seleccionar distintos idiomas para el funcionamiento de Ia aplicación.

- A través del giro de Ia columna (2), mediante Ia manipulación del asa (5) que tiene integrado dicho dispositivo en Ia parte exterior. De esta forma, el usuario gira horizontalmente el dispositivo, seleccionando el campo de visión que capta Ia cámara en un rango de 360°. - A través de Ia pantalla táctil para inclinar Ia cámara arriba o abajo, de forma que se selecciona el campo de visión de Ia cámara. - A través de Ia pantalla táctil (4) para realizar zoom más o zoom menos en Ia imagen de Ia escena real y/o en Ia imagen de Ia escena compuesta (imagen real complementada con información virtual).

- A través de Ia pantalla táctil para seleccionar o activar distintas capas de información virtual sobre Ia imagen compuesta como: modelos tridimensionales, textos, imágenes, vídeos, audio, etc.

- Con cualquier tipo de botón del interfaz gráfico, a través de Ia pantalla táctil, para una funcionalidad auxiliar y que complemente a los puntos previamente descritos.

Se ha previsto dotar a este equipo de un trackball o ratón antivandálico, oculto bajo una placa de forma que permanece inaccesible por el usuario siempre y cuando no haya un malfuncionamiento de Ia pantalla táctil.

Así mismo se ha previsto que Ia base de datos que contiene Ia información multimedia, puede estar ubicada de forma local en el ordenador que se incluye en el dispositivo o bien, puede ubicarse en un servidor externo y descentralizado del dispositivo.

El dispositivo de giro también puede estar compuesto por un sensor de giro horizontal de tipo magnético o por cualquier otro elemento medidor del ángulo de giro horizontal realizado. Por su parte, el mecanismo de inclinación de Ia cámara arriba o abajo puede estar implementado por un motor de pasos y una controladora para el control de dichos movimientos a través del PC o puede resolverse mediante cualquier otro tipo de solución electro-mecánica que aporte el mismo resultado.

El dispositivo de captación de imágenes puede ser un bloque único que incluya cámara, lente motorizada o no motorizada, con focal variable o con focal fija y controladora para manejar desde Ia CPU el zoom, el focus y el iris. También puede estar compuesto por bloques totalmente independientes para Ia cámara, Ia lente y el dispositivo controlador. Así mismo, el dispositivo de visualización de imágenes puede estar compuesto de tres partes: pantalla, lámina táctil y cristal antivandálico. Igualmente, puede estar compuesto por dos partes: pantalla y lámina táctil de un grosor tal que no se precise Ia utilización de un cristal de protección antivandálico.

El dispositivo incluye una tarjeta de de conexión a Internet, de forma que el software del dispositivo puede ser monitorizado desde un PC remoto para labores de mantenimiento, testeo o recopilación de estadísticas respecto a formas de uso del dispositivo por el usuario.

Una vez descrita suficientemente Ia naturaleza de Ia invención, así como un ejemplo de realización preferente, se hace constar a los efectos oportunos que los materiales, forma, tamaño y disposición de los elementos descritos podrán ser modificados, siempre y cuando ello no suponga una alteración de las características esenciales de Ia invención que se reivindican a continuación:

REIVINDICACIONES

1.- Equipo para visualización de información virtual y/o multimedia superpuesta sobre una imagen del entorno real, en una posición y orientación calculada en tiempo real por diversos dispositivos que se incluyen en dicho equipo, caracterizado porque comprende: a) una plataforma base (1 ), anclada al suelo, que soporta al usuario que interactúa con el sistema y/o a un grupo de observadores, así como al conjunto de los elementos que conforman el equipo de visualización integrados en una columna (2); b) una columna (2) que puede girar sobre sí misma 360° al manejarla el usuario por medio de un volante o asa (5), que está asociada a un dispositivo de control del ángulo de giro e integra los diversos dispositivos hardware que conforman el equipo: una unidad central de proceso (CPU), una pantalla táctil (4) en Ia que se visualiza Ia imagen real del entorno y/o una imagen compuesta a partir de Ia superposición de objetos virtuales posicionados y orientados de forma coherente sobre Ia imagen real de dicho entorno, sendos dispositivos de detección de Ia orientación que determina el ángulo de giro horizontal y de control automático del ángulo de inclinación de Ia cámara de captación de imágenes ubicada en una estructura (3), situada sobre esta columna (2), un dispositivo de reproducción de audio, así como una fuente de alimentación de todos estos dispositivos y un sistema de refrigeración y/o calefacción y/o ventilación para los mismos; y c) una cámara de captación de imágenes ubicada en una estructura (3), comunicada mediante otra estructura (6) de tubos a Ia columna (2), situada por encima de ésta y fijada en ella de forma que giran al unísono, que dispone de un mecanismo de inclinación arriba y/o abajo accionado por un motor de pasos controlado por Ia aplicación implementada en el equipo.

2.- Equipo, según Ia reivindicación 1 , caracterizado porque integra un dispositivo de determinación del posicionamiento y orientación del punto vista de Ia cámara, en función del giro realizado por el usuario de Ia columna (2), consistente en un sensor de rotación magnético, conectado a una placa de control electrónico que determina y transmite a Ia CPU el ángulo de giro horizontal que se ha movido Ia columna (2) cuando el usuario Ia gira en cualquier sentido.

3.- Equipo, según las reivindicaciones 1 y 2, caracterizado porque integra un dispositivo de determinación de Ia inclinación de Ia cámara, que es movida por un motor paso a paso, accionado desde una placa controladora, que a través de Ia CPU permite el envío de comandos para inclinarla arriba o abajo y en consecuencia determinar en todo instante su orientación para, en conjunción con el dispositivo que determina el giro efectuado por Ia columna (2) y del factor de zoom aplicado en Ia cámara (3), determinar con exactitud Ia zona enfocada, así como el grado de ampliación de Ia imagen real y de escalado de Ia información virtual.

4.- Equipo, según las reivindicaciones anteriores, caracterizado porque Ia unidad central de proceso (CPU) integra una aplicación que: a) realiza el control de Ia inclinación de Ia cámara y Ia comunicación con el sistema de giro de Ia columna (2) así como los cálculos necesarios para determinar Ia zona enfocada por dicha cámara para cada orientación e inclinación de Ia cámara detectada, b) crea una escena que es el resultado de Ia superposición de una figura virtual y/o multimedia sobre una primera escena real de una posición determinada por el sistema global de posicionamiento y orientación, ofreciendo al usuario una realidad mezclada o compuesta de ambas escenas, e c) incluye un interfaz gráfico que permite el usuario interactuar con Ia aplicación a través de Ia pulsación en una pantalla de tipo táctil (4) y/o un ratón y, entre otras funciones, seleccionar el modo de funcionamiento del dispositivo: mirador convencional, multimedia o mirador con realidad compuesta.