Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SYSTEM FOR ADAPTING VIRTUAL REALITY GLASSES FOR SURROUND STEREOSCOPIC AUGMENTED REALITY VISUALISATION
Document Type and Number:
WIPO Patent Application WO/2016/120510
Kind Code:
A1
Abstract:
The invention relates to a system for adapting virtual reality glasses for stereoscopic augmented reality visualisation, consisting of a device (2) for capturing the environment, comprising two built-in video cameras (7), said cameras being positioned in parallel with a gap therebetween similar to that between the human eyes, connected to a central processing unit (34) and coupled to virtual reality glasses (1) that are also connected to the central processing unit which contains a piece of software that can process the stereoscopic video stream for capturing the environment and generate a video stream with said environment and virtual elements added to the glasses, generating an augmented reality experience on virtual reality glasses.

Inventors:
ABAD RUBIO PABLO (ES)
GOMIS QUINTO LUIS MANUEL (ES)
Application Number:
PCT/ES2016/070041
Publication Date:
August 04, 2016
Filing Date:
January 25, 2016
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
ABAD RUBIO PABLO (ES)
GOMIS QUINTO LUIS MANUEL (ES)
International Classes:
G02B27/00; G06T19/00; H04N13/00
Foreign References:
GB2376397A2002-12-11
US20120327196A12012-12-27
US20080266386A12008-10-30
US20140098186A12014-04-10
Download PDF:
Claims:
REIVINDICACIONES

SISTEMA DE ADAPTACIÓN DE GAFAS DE REALIDAD VIRTUAL PARA VISUALIZACIÓN DE REALIDAD AUMENTADA ESTEREOSCÓPICA ENVOLVENTE

compuesto de un dispositivo de captación del entorno conectado a una unidad de proceso central y acoplado a unas gafas de realidad virtual también conectadas a la unidad de proceso central que contiene un software capaz de procesar el flujo de video estereoscópico de captación del entorno y generar un flujo de video hacia las gafas con elementos virtuales añadidos caracterizado por un dispositivo (2) que consta de una carcasa que se acopla a unas gafas de realidad virtual (1) en la cual se integran dos cámaras de video (7) posicionadas de manera paralela con una separación entre ellas similar a la del ojo humano que permite una percepción con un gran ángulo de visión del entorno en tiempo real y están conectadas mediante sendas conexiones (5) a una unidad de proceso central (CPU) a la que transmite un flujo de video estereoscópico que es procesado en esta unidad por un software que mediante la identificación de marcas especialmente diseñadas para su reconocimiento o de la identificación de puntos visualmente significativos en la imagen recibida determina la posición del dispositivo en el entorno y es capaz de integrar elementos virtuales en las imágenes tal y como aparecerían si la imagen fuera tomada con esos elementos en la realidad y que transmite este flujo de video estereoscópico aumentado a unas gafas de realidad virtual (HMD), para proporcionar una visualización natural del entorno con los elementos virtuales insertados acorde al movimiento de la cabeza y del ojo del usuario.

SISTEMA DE ADAPTACIÓN DE GAFAS DE REALIDAD VIRTUAL PARA VISUALIZACIÓN DE REALIDAD AUMENTADA ESTEREOSCÓPICA ENVOLVENTE

según la reivindicación 1 caracterizado porque el dispositivo de captación del entorno está acoplado a las gafas de realidad virtual mediante una placa (13) que se atornilla (16) a unos insertos de rosca (35) en la parte trasera de la carcasa (3) y dispone de dos tornillos sobre el extremo superior de la placa (36) para ejercer presión sobre las gafas de realidad virtual, y cuyo extremo inferior (37) se apoya sobre la parte inferior de las gafas de realidad virtual para de esta manera anclarse a las mismas.

SISTEMA DE ADAPTACIÓN DE GAFAS DE REALIDAD VIRTUAL PARA VISUALIZACIÓN DE REALIDAD AUMENTADA ESTEREOSCÓPICA ENVOLVENTE

según la reivindicación 1 caracterizado porque el dispositivo de captación del entorno está acoplado a las gafas de realidad virtual mediante una placa (17) que se atornilla (21) a unos insertos de rosca (35) en la parte trasera de la carcasa (3) y consta de dos pinzas en C a los lados (18) para sujetarse mediante la presión ejercida sobre la parte superior e inferior del dispositivo de realidad virtual.

SISTEMA DE ADAPTACIÓN DE GAFAS DE REALIDAD VIRTUAL PARA VISUALIZACIÓN DE REALIDAD AUMENTADA ESTEREOSCÓPICA ENVOLVENTE

según la reivindicación 1 caracterizado porque el dispositivo de captación del entorno está acoplado a unas gafas de realidad virtual concretas (Oculus Rift DK2) mediante una placa (27) que se atornilla (30) a unos insertos de rosca (35) en la parte trasera de la carcasa (3) con una forma específica que consta de unos enganches de plástico (28) que se acoplan perfectamente a 4 ranuras (29) existentes en el diseño del dispositivo de realidad virtual.

Description:
SISTEMA DE ADAPTACIÓN DE GAFAS DE REALIDAD VIRTUAL PARA

VISUALIZACIÓN DE REALIDAD AUMENTADA ESTEREOSCÓPICA ENVOLVENTE SECTOR TÉCNICO

La presente invención pertenece a los campos de la realidad virtual y de la realidad aumentada (también conocida como realidad mixta) y más concretamente, al campo de los dispositivos de visualización de realidad virtual y realidad aumentada. El objeto de la presente invención es un nuevo dispositivo que se acopla a unas gafas de realidad virtual, capta las imágenes del entorno y mediante un software específico es capaz de fusionar modelos virtuales con las imágenes captadas y reproducirlas en la pantalla de las propias gafas de realidad virtual, obteniendo así una visión estereoscópica en primera persona de un entorno de realidad aumentada. Dado que el ángulo de visión que el sistema es capaz de presentar es de 90° o más por ojo, se denomina envolvente debido a que envuelve o abarca en gran medida el campo de visión del usuario sin que el mismo perciba que está viendo el entorno con un campo de visión reducido.

TÉCNICA ANTERIOR

El auge de la tecnología ha promovido la aparición de numerosos dispositivos de realidad virtual y aplicaciones de realidad aumentada que se adaptan a otros dispositivos para ejercer la función de herramientas de visualización de realidades alternativas en las que la captación de la información que recibirá el usuario se configura a voluntad del creador.

El objeto de la presente invención tendrá por tanto varios campos diferenciados de antecedentes, de los que se nutre para generar la innovación, de un lado la realidad virtual, del otro la realidad aumentada.

Lo que se expone a continuación es una síntesis del estado de la técnica conocido por el titular de los dos campos mencionados, de forma que sirva para marcar el punto de partida para la posterior defensa de la innovación inherente en el objeto de invención. En cuanto a la realidad virtual, el dispositivo utiliza como base unas gafas de realidad virtual, producto del que ya existen diferentes versiones de varias compañías en el mercado: - Oculus Rift (Patente US D701.206 S). Gafas de realidad virtual (Head-mounted display, HMD) envolvente que otorgan visión tridimensional estereoscópica, consistente en una pantalla que muestra imágenes estereoscópicas virtuales en paralelo para cada ojo asociadas a un sistema que reconoce los movimientos de la cabeza para mostrar imágenes en concordancia con el punto de vista asociado al usuario. Este dispositivo otorga un campo de visión de más de 90° por cada ojo.

- ANT VR. Gafas de realidad virtual (HMD) envolvente de funcionamiento muy similar a las Oculus Rift, con la inclusión de sistemas para la conexión inalámbrica y la incorporación de diferentes mandos para interactuar enfocado en su origen directamente al mundo del videojuego.

Project Morpheus. Gafas de realidad virtual (HMD) en desarrollo por Sony Computer Entertainment diseñado para su funcionamiento junto con el dispositivo de entretenimiento Sony Playstation 4.

Todos estos dispositivos incorporan de fábrica una pantalla que proyecta las imágenes de forma estereoscópica y es capaz de generar la sensación de profundidad en la visualización de los elementos virtuales.

Otra vertiente de gafas de realidad virtual se da en los modelos que funcionan como visores adaptadores de dispositivos gráficos móviles, consistentes en aparatos dependientes de la incorporación de un dispositivo móvil (generalmente un Smartphone) que ejercerá la función de pantalla del sistema. En la actualidad se tiene constancia entre otros de los siguientes: - Samsung Gear VR. Visor adaptador de dispositivos gráficos móviles para visión virtual estereoscópica, entendido como accesorio de un Smartphone concreto, Samsung Galaxy Note 4, que permite transformarlo en la pantalla de unas gafas de realidad virtual confiriendo propiedades muy similares a las del dispositivo Oculus Rift.

Google Cardboard. Accesorio de cartón que permite acoplar un Smartphone y mediante una aplicación software convertirlo en un visor de realidad virtual. Cualquier Smartphone que soporte la aplicación es susceptible de instalarse en este accesorio para convertirse en una herramienta de realidad virtual.

Otros dispositivos con un funcionamiento similar a Google Cardboard basados en el uso de diversos móviles para realidad virtual, tales como Lakento MVR,

Immersion VRelia, Durovis Dive, vrAse, 360specs.

Todos estos visores, necesitan de un Smartphone (con un software de realidad virtual instalado) que funcione como pantalla.

La invención, como se explicará en el apartado correspondiente, preconiza la posibilidad de transformación de estos sistemas de realidad virtual en herramientas de realidad aumentada, incorporando un dispositivo totalmente nuevo y por tanto supone una sustancial mejora en el estado de la técnica actual.

En el campo de la realidad aumentada, debemos separar entre dispositivos que por medio de herramientas de software adquieren capacidades para utilizarse como una herramienta de realidad aumentada sin haber sido esta la finalidad de su creación y aparatos diseñados y fabricados directamente como dispositivos de realidad aumentada.

En el primer grupo se ubicarían los Smartphones o Tablets con capacidad suficiente para ejecutar aplicaciones de software que permiten utilizar la cámara incorporada por defecto para registrar imágenes del mundo real y mediante algoritmos de procesado basados en la identificación de marcas con un diseño especial o de la identificación automática de puntos visualmente característicos del entorno mostrar en la pantalla esas imágenes con objetos virtuales posicionados en el mundo real que se ven de manera similar a como se verían si realmente estuvieran allí, transformándolos así en dispositivos de realidad aumentada. Todos estos dispositivos adquieren funciones de realidad aumentada en el momento que se ejecuta un determinado software mientras que el resto del tiempo tienen funcionalidades diferentes.

En el segundo grupo se encuentran diseños de gafas de realidad aumentada que funcionan mediante tecnología de visualización semitransparente, en la que las gafas no ocluyen la visión del entorno por parte del usuario, sino que la complementan proyectando sobre ella mediante distintas tecnologías imágenes virtuales de manera similar a la realidad aumentada para dispositivos móviles. Entre estos dispositivos se encuentran: Google Glass. Dispositivo de visualizacion tipo gafas de realidad aumentada basada en una tecnología que proyecta imágenes a través de un prisma sobre la retina, creando imágenes en el ojo del portador que se combinan con las imágenes que percibe del mundo real. Dispone de control por voz y un touchpad para su control y además, incorporan gran parte de las funcionalidades de un

Smartphone. Sólo proyecta imágenes para uno de los ojos, siendo su campo de visión de 14° monoculares.

Jet de Recon Instruments. Dispositivo de visualizacion tipo gafas de realidad aumentada semitransparente que dispone de una pequeña pantalla de alta resolución que muestra al portador la información. Orientadas al deporte, sólo se visualizan contenidos virtuales por un ojo.

Vuzix M100. Dispositivo de visualizacion tipo monóculo de realidad aumentada semitransparente que presenta una pantalla HD que ocupa 15° del campo de visión monocular y es capaz de transmitir información en tiempo real, además de grabar videos en HD. No incorpora cristales ni montura que le otorguen la calificación de gafa.

Telepathy One. Dispositivo de visualizacion tipo monóculo de realidad aumentada semitransparente con una pequeña pantalla HD que muestra en tiempo real imágenes remotas, e incorpora una cámara capaz de retransmitir por grabación en HD en directo. No incorpora cristales ni montura que le otorguen la calificación de gafa.

Lumus. Dispositivo de visualizacion tipo gafas de realidad aumentada semitransparente con visión estereoscópica que proyecta imágenes en los cristales.

META AR. Dispositivo de visualizacion tipo gafas de realidad aumentada semitransparente con visión estereoscópica que puede llegar a un campo de visión de 35°.

Microsoft Hololens. Dispositivo en desarrollo de visualizacion tipo gafas de realidad aumentada semitransparente que consta igualmente de un panel transparente que no cierra la visión del usuario y proyecta sobre el mismo elementos virtuales. Todos estos dispositivos presentan una importante diferencia con el objeto de invención, y es que se basan en la tecnología semitransparente explicada anteriormente, a diferencia del objeto de invención que transforma completamente la visión del usuario a la proyectada en las gafas de realidad virtual. La tecnología de realidad aumentada basada en gafas de visión semitransparente tiene el inconveniente de que sólo es capaz de proyectar imágenes de reducida dimensión y ángulo de visión, no pudiendo entrar en el denominado concepto de realidad aumentada envolvente. A su vez, debido a las latencias inherentes al proceso de localización de la cámara y generación de elementos virtuales, los elementos virtuales añadidos al entorno suelen tener un desfase en su posición que no ocurre en los dispositivos de realidad aumentada basados en cámaras. Esta vía de funcionamiento es totalmente diferente a la diseñada para el objeto de invención, como se explica en el apartado siguiente.

DIVULGACIÓN DE LA INVENCIÓN

La presente invención consiste en un dispositivo diseñado para transformar unas gafas de realidad virtual (HMD) envolvente en un sistema de realidad aumentada: un visor que permite la visualización de cualquier objeto virtual integrado en el espacio real donde se encuentre el usuario. El dispositivo captura el entorno en tiempo real, posiciona en su caso objetos virtuales dispuestos de manera integrada en el entorno y lo muestra en unas gafas de realidad aumentada (HMD) de manera que el usuario del sistema tiene la sensación de visualizar su entorno de manera natural y acorde a los movimientos de su cabeza y ojos con elementos virtuales añadidos. De este modo, se entiende por parte del titular que esta herramienta será de aplicación en áreas relacionadas con el diseño y la arquitectura, el entretenimiento, la formación, la educación, la cultura, el patrimonio, la publicidad y multitud de campos susceptibles de aprovechar la tecnología generada. La invención consiste en la unión de varios elementos para la creación de un sistema de realidad aumentada con un gran campo de visión (superior a 90°) para conseguir un efecto de visualización natural y envolvente. El sistema consiste en:

Un dispositivo dotado de dos cámaras para la captura en tiempo real del entorno conectado a un dispositivo de procesamiento (CPU), con un sistema de acople a unas gafas de realidad virtual. El dispositivo consta de una carcasa en cuyo interior se encuentran dos sensores de video con lentes dotadas de un gran ángulo de captura expuestas al exterior mediante agujeros en la carcasa. Los sensores están separados a una distancia semejante a la del ojo humano para capturar una imagen estereoscópica del entorno similar a la visualizada por el sistema ocular humano.

Los sensores están conectados a una unidad central de procesamiento (CPU) a través de sendas conexiones de alta velocidad que transmiten el flujo de video capturado por los sensores en tiempo real.

Un dispositivo de procesamiento conectado por un lado a los sensores de video y por otro a unas gafas de realidad virtual (HMD) capaz de ejecutar un software que procesa en tiempo real el flujo de video añadiendo elementos virtuales al flujo de video del entorno y enviando este flujo de video procesado a un dispositivo de realidad virtual.

Un software capaz de procesar el flujo de entrada en paralelo de dos cámaras de alta definición, reconocer marcas especialmente diseñadas para ser reconocidas o puntos especiales en la imagen para lograr un posicionamiento preciso de las cámaras en el entorno, añadir elementos virtuales en posiciones concretas de este entorno simulando que realmente existen y enviar el nuevo flujo de video procesado a las gafas de realidad virtual con la menor latencia posible. El software procesa la imagen de video capturada por los sensores buscando:

O bien marcadores diseñados especialmente para este objetivo (marker- based augmented reality) que constan de un diseño geométrico específico y pueden ser identificados unívocamente mediante un código de barras matricial.

O bien puntos visualmente característicos del entorno que han sido identificados previamente de manera automática mediante un análisis previo del entorno (markerless augmented reality).

Estos puntos o marcadores son utilizados como referencias por el software para identificar la posición precisa de las cámaras respecto a ellos. Esto permite la creación de elementos virtuales en tres dimensiones y su correcta superposición en la imagen de las cámaras obteniendo el efecto de tener una imagen tal y como se captaría si estos elementos existiesen en el mundo real. Al crearse una pareja de imágenes en cada momento, una para cada ojo, se dispone de una visualización estereoscópica del entorno y de los elementos virtuales que permite percibir también su profundidad mediante el efecto de paralaje óptico.

Unas gafas de realidad virtual (HMD) con un gran campo de visión que muestran la imagen estereoscópica (una distinta para cada ojo) con las imágenes reales y virtuales entremezcladas, permitiendo al usuario una visualización aumentada con percepción de profundidad de su entorno.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:

Figura 1.- Perspectiva del conjunto de las gafas de realidad virtual y el dispositivo objeto de invención.

Figura 2.- Vista frontal del dispositivo objeto de invención.

Figura 3.- Sección del dispositivo objeto de invención. Figura 4.- Vista en planta del dispositivo objeto de invención.

Figura 5.- Axonometría explosionada frontal del despiece de los componentes del dispositivo objeto de invención. Figura 6.- Axonometría explosionada trasera del despiece de los componentes del dispositivo objeto de invención.

Figura 7.- Vista frontal del sistema de acople A.

Figura 8.- Sección del sistema de acople A. Figura 9.- Vista frontal del sistema de acople B. Figura 10.- Sección del sistema de acople B. Figura 1 1.- Vista frontal del sistema de acople C. Figura 12.- Sección del sistema de acople C.

Figura 13.- Esquema de funcionamiento y transmisión de datos entre el dispositivo base (gafas de realidad virtual), el dispositivo objeto de invención (adaptador de gafas de realidad virtual a gafas de realidad aumentada) y CPU (unidad de procesado central)

MEJOR MANERA DE REALIZAR LA INVENCIÓN Conforme a las figuras referidas, se ilustra a continuación el dispositivo que se acopla a las gafas de realidad virtual (HMD) (1) para la captura del entorno en tiempo real, así como el esquema general de la integración del sistema.

El dispositivo (2) consta de una carcasa de plástico dividida en dos partes (3, 4) unidas mediante varios tornillos (11). La parte frontal de la carcasa (4) consta de dos agujeros (10) para permitir la exposición al exterior de las lentes (8) de sendas cámaras situadas en el interior. En la parte interna de la pieza trasera de la carcasa (3) se disponen varios soportes (6) con insertos de rosca que sirven para soportar mediante tornillos (12) dos placas electrónicas con sensores de imagen (7) capaces de adquirir y transmitir en tiempo real un flujo de video. Los sensores se disponen paralelamente en el interior de la carcasa a una distancia semejante a la de la separación media de los ojos en los humanos para obtener una visión estéreo del entorno.

Los datos de los sensores son enviados al procesador a través de una conexión (5) por cables USB o Gige (Ethernet) de alta velocidad con los conectores (9) en el interior de la carcasa. Los cables están unidos al procesador (CPU) a través de un conector USB o Gige (Ethernet) de alta velocidad. Por encima de cada uno de los dos sensores se adapta una lente (8) de corta distancia focal y por tanto gran campo de visión para la formación correcta de las imágenes en el sensor (7) y la captación del entorno. Los agujeros de la pieza exterior (10) de la carcasa permiten el paso de la luz a través de las lentes. El acople del dispositivo a las gafas de realidad virtual tiene como propósito la captura de la imagen del entorno alineada en todo momento a la posición de los ojos del usuario, lo que adapta la visualización del entorno a la posición de la cabeza y los ojos del usuario. Existen tres diseños del sistema de acople utilizados dependiendo del dispositivo virtual usado para la visualización:

Sistema de acople A: Un sistema de acople que consiste en una placa (13) que se atornilla (16) a unos insertos de rosca (35) en la parte trasera de la carcasa (3) y dispone de dos tornillos (14) a los lados, similares a bridas de marquetería, sobre el extremo superior de la placa (36). El extremo inferior de la placa (37) se apoya sobre la parte inferior de las gafas de realidad virtual. De esta manera, al ejercer presión sobre las paredes superiores e inferiores del dispositivo de realidad virtual (1) la carcasa con las cámaras (2) queda sujeta a él. Los topes de los tornillos (14) que ejercen presión sobre las gafas de realidad virtual están insertados en una barra plana (15) con cierres a los lados que recorre la parte superior del dispositivo de realidad virtual de manera que la presión sobre las gafas se distribuye sobre un área más grande. El dispositivo puede acoplarse también de manera inversa respecto a la horizontal, es decir con los tornillos (14) en la parte inferior del dispositivo de realidad virtual (1).

Sistema de acople B: Un sistema de acople que consiste en una placa (17) que se atornilla (21) a unos insertos de rosca (35) en la parte trasera de la carcasa (3) y dispone de dos pinzas en forma de C (18) a los lados de la misma con sus respectivos extremos (19, 20) dispuestos perpendicularmente a esta placa y unidos por varillas (25, 26) para sujetar el dispositivo ejerciendo presión sobre la parte superior e inferior del dispositivo de realidad virtual. Las pinzas se componen internamente de un muelle (23) unido por un lado a la parte inferior de un tubo hueco (22) y por otro a la parte inferior de un pistón (24) que termina en un brazo (19) orientado perpendicularmente al tubo (22). Los extremos de esta pinza ejercen presión sobre las gafas de realidad virtual para que la carcasa con las cámaras (2) quede sujeta a él. El dispositivo puede acoplarse también de manera inversa respecto a la horizontal.

Sistema de acople C: Un sistema de acople que consiste en una placa (27) que se atornilla (30) a unos insertos de rosca (35) en la parte trasera de la carcasa (3) y con una forma específica diseñada para un tipo concreto de gafas de realidad virtual (Oculus Rift DK2) que consta de unos enganches de plástico (28) que se acoplan perfectamente a ranuras existentes (29) en el diseño del dispositivo.

Los dos conectores de los sensores, uno de cada cámara, se conectan (31) a una unidad de procesamiento (CPU) (34) a la que transmiten el flujo de video de entrada. La unidad de procesamiento (CPU) contiene el software de procesamiento capaz de calcular la posición de las cámaras y de generar la imagen compuesta real/virtual. Esta unidad de procesamiento (CPU) está conectada a su vez como mínimo mediante una conexión de salida de video (32) (como HDMI) a las gafas, y opcionalmente mediante una conexión de datos adicional (33) (como USB) para recibir datos tales como información de sensores giroscópicos o inerciales que el software de procesamiento puede utilizar para los cálculos que lleva a cabo.

APLICACIÓN INDUSTRIAL

La presente invención tiene aplicaciones en los sectores de la visualización de diseños, tales como mobiliario, diseño de interiores, diseño arquitectónico, diseño industrial, configuradores virtuales de coches, barcos u otros elementos o visualización de planificación de líneas de producción industriales, en la creación de montajes digitales interactivos para marketing, eventos, cultura o divulgación del patrimonio, y en el ocio, sin detrimento de otros campos de aplicación basados en la realidad aumentada.




 
Previous Patent: IMPROVED EXPRESS POT

Next Patent: COVER FOR LIGHTER AND GRINDER