Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SYSTEM FOR CREATING IMAGES, VIDEOS AND SOUNDS IN AN OMNIDIMENSIONAL VIRTUAL ENVIRONMENT FROM REAL SCENES USING A SET OF CAMERAS AND DEPTH SENSORS, AND PLAYBACK OF IMAGES, VIDEOS AND SOUNDS IN THREE-DIMENSIONAL VIRTUAL ENVIRONMENTS USING A HEAD-MOUNTED DISPLAY AND A MOVEMENT SENSOR
Document Type and Number:
WIPO Patent Application WO/2016/029283
Kind Code:
A1
Abstract:
The invention relates to a system for creating images, videos and sounds in an omnidimensional virtual environment from real scenes using a set of cameras and depth sensors, and to the playback of images, videos and sounds in three-dimensional virtual environments using a head-mounted display and a movement sensor, for enabling the creation and playback of images, videos, sounds and films in a virtual omnidirectional environment from real scenes, allowing the spectator to control autonomously the position and direction of viewing during playback of the digital file, said system comprising a set of image positioning cameras (2) including image cameras (8) parallel to depth cameras (9), sound capture devices (13) and an inner computer (18). The images of the inner environment formed by the image positioning cameras can thus be captured and positioned in a virtual environment by a central computer (35). An example is the playback of a virtual environment file by a head-mounted display (14) coupled to a movement sensor (15) and a computer program for decoding the data received from the movement sensor (15) and transmitting the data to the sound emitter and to the user display screen, with a remote depth control (19) that allows the spectator to determine autonomously the desired virtual position during playback of the files, giving the user the sensation of total immersion in the virtual environment.

Inventors:
MUNIZ, Samuel (Rua Antonio Zanotello, N° 165Cidade Nova, -522 Jundiai SP, CEP-13219, BR)
Application Number:
BR2015/000128
Publication Date:
March 03, 2016
Filing Date:
August 26, 2015
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
MUNIZ, Samuel (Rua Antonio Zanotello, N° 165Cidade Nova, -522 Jundiai SP, CEP-13219, BR)
International Classes:
G06T1/00; G02B27/01; G06F3/0481; G06T19/00; H04N13/02; H04R5/027; H04S7/00
Foreign References:
US5495576A1996-02-27
US7463280B22008-12-09
US8279418B22012-10-02
US20140146132A12014-05-29
US8723118B22014-05-13
US8264536B22012-09-11
US20140111608A12014-04-24
Download PDF:
Claims:
mwmmcAÇÃQ

1) Uma câmera de posicionamento de imagem panorâmica caracterizado por compreender câmaras de imagem paralelas a câmaras de profundidade ligadas a um computador. Caracterizado por possibilitar o computador a formar uma Imagem panorâmica e posicionar cada pixel dessa imagem panorâmica de acordo com a distancia captada na eârnera de profundidade,

2) O método da reivindicação 1 em u é Incluso um: oy mais dispositivos de captação sonora apoiada m um pedestal ou remoto a câmara de posicionamento. Caracterizado por digitalizar as vibrações sonoras ao computador Interno da câmera de posicionamento,

3) O método da reivindicação 1 caracterizado por conter m computador interno a câmera de posicionamento de imagem compreendendo por; processador, bateria, memória RAM, memória de armazenamento^ Interface para câmara de Imagem, interface para câmera de profundidade, interface para dispositivos de captação sonora,

4) O método da i¾ ndtoaçâo 3 composto também por um relógio, caracterizado por permitir a sincronização da captura das imagens com a profundidade do ambiente, e permitir também a alternância de emissão de infravermelho da câmera de profundidade.

5) O método da reivindicação 3 composto também por um sistem de posicionamento (GPS)» caracterizado por possioitar ao computador definir seu próprio posicionamento dentro de um ambiente e. em relação a outros elementos externos que também possuam GPS,

6) Um sistema de criação de dados de um &mbi< t& wrtm a partir de cenas reais, caracterizado por um conjunto de cámeras de posicionamento de imagem distribuídas de modo a formar uma área entre elas,

7) o método da reivindicação 6 ^ contendo um computador central composto por: interface da câmera de posicionamento de imagem, bateria, memória RAM, interface para comunicação externa, memória de armazenamento, relógio e processador, caracterizado por receber os dados de cada câmera de posicionamento, criar um ambiente virtual a partir desses dados, sifKjfõnizar as câmeras de posíc onaniento alternar a emissão de infmvermeffcos do sistema,

8) Reprodução de arquivos do ambiente vlrl ai em Head Mounted Display com sensor de movimento, caracterizado por adequar a imagem transmitida na tela do Head Mounted Display com os movimentos executados pelo usuário,

9} Reprodução de arquivos do ambiente . virtual em televisor çomums caracterizado por adequar o controle remoto usual comandos de posicionamento e direção de imagem, possibilitando assim que o televisor comum reproduza Imagens do ambiente virtual com autonomia de direção e posicionamento de visyaltzaçio*

10) Dispositivo de control de positíonamemo para reprodução de arquivos de ambiente virtual com autonomia de posicionamento, caracteriza pelo fato de permitir ao usuário uma movimentação virtual dentro do ambiente criado através de comandos contidos no contr íe remoto ao visor de reprodução,

11) Sistema de reprodução sonora em ambiente virtual, caracterizado pelo fato do sistema controlar a emissão sonora alimentando ou diminuindo proporcionalmente sua intensidade de acordo com, o posidonamenfo do usuário em relação ao emisso sonoro.

Description:
"SISTEMA DE CRIAÇÃO DE IMAGENS, VÍDEOS E SONS £ AMBIENTE VIRTUAL ONI DI ENSIONAL A PARTIR DE CENAS REAIS COM CONJUNTO DE CAM ERAS E SENSORES DE PROFUNDIDADE, REPRODUÇÃO DE IMAGENS, VÍDEOS È SQf^S EM AMBIENTES VIRTUAIS TRí D S ENCIONAIS COM HEAD MOUNTED DÍSPL Y E SENSOR DE MOVIMENTO,"

1 - A presente patente de invenção tem por objatives um "SISTEMA DE CRIAÇÃO DE IMAGENS, VÍDEOS £ SONS E AMBIENTE VIRTUAL ONIDIMENSIONAL A PARTIR DE CENAS REAIS COM CONJUNTO DE CAMERAS E SENSORES DE PROFUNDIDADE » .. REPRODUÇÃO DE IMAGENS, VÍDEOS E SONS EM AMBIENTES VIRTUAIS TRIDIMENCfONAIS COM HEAD MOUNTED DISPLAY E SENSOR DE MOVIMENTO" tornando possível a Imersão completa dentro de cenas gravadas, possibilitando ao espectador total autonomia de controle de posicionamento e controle d© direção da visão.

2 ~Ã Patente 5495576 emitida em 27 de fevereiro de 1096 divulga um sistema áudio visual no qual um conjunto de càmeras munidos com sensores de forma e um dispositivo par captura sonora; 1 Conforme descrito os dispositivos são posicionados em torno de ym elemento alvo, onde cada câmara ger a imagem d um lado deste elemento © os sensores definem formato de soa superfície, possibilitando assim a reprodução do elemento eompíeto de formâ tridimensional, porém eese invento se limita a reprodução tridimensional de um elemento alvo e não de todo o ambiente da cens em uestio qm ê reproduzido de modo 2D.

posse ser capturado mm roais de uma i ag , ocasionando uma duplicação deste elemento no produto final da imagem.

4 - Solucionando o problema acima citado a Patente US 2001/001055$, publicada em 2 de agosto de 2001 fel incluído um espelho convexo m câmara panorâmica e adequando digitalmente a imagem panorâmica captada sem a diferença de tempo entre as Imagens individuais.

5 - Conforme publicado na Patente US20Q1/0020976 em 13 d setembro de 2001 , foi desenvolvido a eâmera panorâmica estéreo, qual trata » se de duas câmaras panorâmicas utilizando espelhos apropriados ligadas a um estereoscópio, Proporcionando este Invento a produção de imagens panorâmicas em 3 Dim nsões

6 - a Patente EP26144Q5 Publicada $m de pino de 2013, foi apresentado um câmara de profundidade a partir da luz estruturada coro; visio estéreo, tal invento capacita uma câmera a captar a distância entre ela e os obfetGS em seu campo de visio atuâíízândo esses dadcs em tempo real, possibilitando assim a reprodução de imagens estéreos e captação de dados de profundidade da cena.

7 - É de conhecimento comum a captação de imagens de modo tridimensional e com alcance panorâmico das eâmeras, assim podemos reproduzir imagens, vídeos e similares com qualidade estéreo e proporcionar ao usuário autonomia de direção de visto a partir de comandos externos, seja por um arrastar de mouse, um botão de algum controle ou simplesmente girar a cabeça quando equipado com um Heasl ounted Dispiay- porém nenhuma das técnicas apresentadas proporciona a autonomia de posicionamento virtual dentro da imagem ou cena captada, em todos os casos o usuário necessariamente ficará virtualmente estático -na cena do ponto de onde a câmera pos onou-se durante a gr ção. Tal inconveniente prejudica a imersão do usuário a cena virtual, pois diferente do mundo real s técnicas comuns o usuário é sempre um elemento imóvel.

8 » Tendo em vista esses problemas e no propósito de superá-los foi des nvolvido o : - ' ^T¾^;, E,O ' íeçÁ0 D : E f AQE S^ VÍDEOS E ' SONS E â BIE É Vl TUÃi 0NlDIM«SiÕMAL Á PiM¾f IR E SENÁS REAIS -COM CONJUNTO DE CAMERAS E SENSORES DE PROFUNDIDADE, REPRODUÇÃO DE IMAGENS, VÍDEOS E SONS EM AMBIENTES VIRTUAIS TftiDIMENCIO AlS COM HEAD MOUHTEO DISFLAY E SENSOR DE MOVIMENTO", ohjeto da presente patente, o qual consiste em produzir arquivos de vídeos, imagens, filmes ou similares m um ambiente onidlreclonal virtual a partir de um conjunto de câmeras panorâmicas convencionais posicionais de forma a criar uma área entre elas, cada câmara captura o ambiente em tomo d si enquanto câmesas de profundidade paralelas as çâmeras panorâmicas passam a digitalizar a istância entre as câmeras panorâmicas e os pkeis da imagem panorâmica e dispositivos para captação sonora do ambiente posicionados preferencialmente no mesmo ponto e posicionamento das câmeras de modo que tanto as vibrações sonoras do ambiente quanto o ponto de posicionamento do dispositivo de captação sonora façam parte dos arquivos de dados digital criado. Deste modo possibilita a criação de um: arquivo contendo informações como » imagens panorâmicas de pontos diferentes de um mesmo ambiente, distância de cada pixel da imagem com a câmera, vibrações sonoras ocasionadas na cena do ambiente no momento da captação das imagens sua localizações em relação as imagens panorâmicas. Visto que o arquivo digita! de ambiente virtual criado possui todas as informações pertinentes a cena capturada, a reprodução desse arquivo pode ser realizada em televisores comuns, computadores pessoais e preferencialmente em um Head Wounted Display utilizando um sensor de movimento embutido ou não, que capta o movimentos de Inclinação e de rotação que o usuário fizer no HMD, fazendo o som e a imagem transmitida na teia sofrer os mesmos movimentos simultaneamente, © um controle de dispositivos podem esse ser acoplado ao MMD ou um dispositivo de controle remoto.

9 - Esse novo sistema soluciona todos os inconvenientes já citados.,, visto que a criação do ambiente virtual tridimensional juntamente com o reprodutor adequado, r fcionâ ao espectador a possibilidade completa, e controle de direção de visuaikâçâQ e posicionamento virtual durante a reprodução dos arquivos, oferecendo ao- espectador a sensação de imersão com leta ao ambiente reproduzido.

10 - Os desenhos anexos Hu&tram o sistema de capitação de dados {imagens, distancias e sons) do ambiente e a sua reprodução por mato da um HMD com alcance orskiífeeional, nos quais,

11 - A Fíg. 1 mostra em vista isométrica, um modelo sim lifica o de câmara de osicionament de imagem com cimeras panorâmicas e câmeras de profundidade com alcance panorâmico neste caso adjacentes a um únic elm.

12 - A Fig, Ia mostra em vista isométrica, um - modelo simplificado de câmera de posicionamento de imagem com câmeras -.panorâmicas e câmeras de profundidade com alcance panorâmico, neste caso adjacentes a um único eixo, com detaihamertio do alcance de cada câmera e a sobreposição de imagens,

13 - Â Fig. 2 mostra em vista isométrica, um modelo de câmera de posicionamento de imagem com câmeras panorâmicas e câmeras de profundidade com alcance panorâmico global, ou seja, alcance unidíreciortai,

14 - A Fig, 3 mostra em vista lateral um exemplo do sistema de criação de arquivos captando os dados do ambiente real para a criação do arquivo de ambiente virtual.

15 - A Fig, 4 mostra m planta o exemplo citado na Fig. 3,

16 - A Fig. 5 mostra em vista lateral um usuário utilizando um Head foynt d Display para reprodução do arquivos de ambiente virtual, bem com a tela de visão reproduzida no Head ounted Display,

17 - Â Fig;, 8 mostra em perspectiva um modelo¾ó sistema de criação de arquivos captando os dados do ambiente real em um . octógorto de lutas

18 - A Fig, ? mostra um exemplo de proporcionalidade de intensidade sonora para reprodução do ambiente de acordo., com o posicionamento virtual do espectador em relação a distância da captação sonora,

- A Fig, 8 mostra um .exemplo, sim les de um dispositivo de controle dè.-pò^-íciònàmeniò ' -resnòtD,

20 - A Fig, 9 mostra um squema de fundonamenlQ de ma câmara de posicionamento d® imagem, bem como os dispositivos ue a co põ ,

21 - Â Fig, 10 meeira um esquema de funcfotlamenfo do sistema de transmissão de dâdos das câmeras de posicíonarnersto de imagem para o computador central.

22 - De conformidade com o quanto ilustram s figuras ciladas, o "SlSTEi A DE CRIAÇÃO DE IMAGENS, VÍDEOS E SONS EM AMBIENTE VIRTUAL ONÍDIMENSiONAL A PARTIR DE CENAS REAIS COM CONJUNTO DE CAME AS E SENSORES DE PROFUNDIDADE, REPRODUÇÃO DE IMAGENS, VÍDEOS E SONS EM AMBIENTES VIRTUAIS TRIDJMENCfONAIS COM HEAD MOUNTED DISPLAY E SENSOR DE pVIMENTO w s objeto da presente patente, consiste em eâmerâs de posidot amenfo d© imagem conforme ilustrado rias Fig, 1 e fsg. 2 posicionadas de modo a forma uma área interna entre elas conforme demonstrado «as Fig. 3- Fig, 6, a câmera de posicionamento de irnagem é composta por detemiteda quantidade câmaras de imagem (8) sobre o mesmo posicionamento a direoões diferentes de modo a formar um alcance panorâmico sobre um único eixo éonforme ilustra a Fig. 1 ou sobre vários eixos formando um alcance panorâmico ' global conforme ilustra a Fig.. 2, paralela a cada câmera de imagem (8) uma câmera de profundidade (&) com o mesmo ângulo de alcance e na mesma direção da câmera de imagem (8) assim a câmera de profundidade (9) possui também um alcance panorâmico, preferencia imante a câmera de profundidade (9) pode ser do tipo emissor e receptor Infravermelho, que como é de ' conhecimento comum determina a distância dos elementos ao seu alcance com base na. raftetância do infravermelho atingida no receptor, mas. este Intento não se Imita a um único tipo de câmaras de profundidade , visto que este método se adequa a " qualquer tipo de câmeras de profundidade. Um computador interno (1$) na câmera de posieionam nío de imagem (2) Ilustrado na Fig. 9. compreendido por; inter ace para comunicação de. dados sendo elas, interface para câmeras de reagem (25), interface para diapositivo de .captação sonora Ç2 ■■ interface ára ci eras dè: ' prÁ dídadè- essa ínferfaoes poclem ser t las soo medid o utísad os modelos .oon eRcidnais çomo ; m fi ré, podendo: ainda ser reduzido essas três interfaces (25 f 26 e 27) a uma única interface de comunicação uma bateria interna (28), uma memória RAM (29), ym sistema de poskâona ento (30), um relógio (31), uma memória de si azenamento (32) » um processador (34) uma interface para comunicação externa (33) podendo ser qualquer tipo de Interface utilizando comyrtlcâ io por meio de cabos ou comunicação sem fio, O computador interno (18) sincroniza as câmaras de imagem (8) com as câmeras de profundidade cada câmera de imagem (8) captura de forma individua! a imagem de acordo com seu ângulo de alcance (11), o computador interno (18) compara a imagem gerada de cada câmera com a imagem (8) das câmeras adjace tes deíé mirtandô . a área de sobreposição de Imagem, após a determinação das áreas de sobreposição o computador interno (18) exclui essas áreas da imagem, alinha e uni as imagens adjacentes de cada câmera de forma -a criar uma imagem panorâmica. Câmeras de profundidade (9) captam s digitalizam a distância de todo ambiente e n relação as câmeras. de imagem (8) e a eias mesma Já que se encontram no mesmo posicionamento, o computador Interno (18) com auxilio de um relógio (31) sincroniza os procedimentos de . captação de imagens @ digitalização da distância dos elementos/Baseado na área de sobreposição determinada na captação das imagens, o computador interno (18) exclui os dados de distancia referentes a esta área, Um sistema de posidortamento global GPS (30) è utizado para informar ao oom^utador interno (16) a locaitzacão da câmera de posicionamento da imagem (2). A câmera de posicionamento de Imagem é compreendida ainda por um pedestal (3) para apoio a regulâgem de altura e um dispositivo para captação sonora (13) co o, por exemplo, um ou mais microfones fixados ao pedestal, cada dispositivo de captação sonora (1 ) capta as vibrações sonoras do ambiente de modo individuai sincronizada pelo computador interno (18) . com as câmeras de profundidade (9) e de imagem (8), . . . ¾

23 - A área formada entre as câmeras de posicionamento de imagem 2} s ,ê delimitada pelo perímetro limite do ambiente de movimentação (1). como Ilustram as Fi , 3¾ :f¾ 6 cada ci ra d ; posíc^namento : de Imagem Ç2) capta soa im gem: panorâmica, s dados d© - ro||ndldade s vibraçõ^-sònoraé- do ambiente de modo indivi uai s si© processados peto computador interno (18) em cada uma delas, essas dados podem ser armazenados na memória de armazenamento (32) interna de cada computador ou emitidos em tempo real a um computador central por melo da interface para comunicação externa (33), essa comunicação pode ser feita por cabo .ou via comunicação, sem fio,

24 - Os computadores internos (18) enviam por meio da interface de comu icaçã externa (33) os dados gerados a um computador central (35), ilustrado a Fig. 10 composto por: Interface para câmera da posicionamento de imagem (42) odendo ser feitas sob medida ou utilizado os modelos convencionais como USB ou Firewire, uma bateria (36), memória RAM (37) s relógio (39) ? memória de armazenamento (40), . processador {41} e interface para comunicação externa (38) podendo ser u quer tipo d interface utilizando comunicação por meio de cabos ou comunicação sem fio. O Computador centrai (35) faz a união dos dados recebidos pelos computadores internos (18) um único arquivo, define o perímetro Jiniite do ambiente de movimentação (1) traçando uma linha de perímetro virtual entre as câmaras d posicionamento de imagem (2) de acordo com as informações fornecidas peto

çâmera rofurididadé -(9), s vibrações s nôras serão emlidai dê- cordo ©0:5 o posici namenl de ca a dispositivo de: capta l ^nor : (1.3) durante- a gfá âçfo da cena s sendo que o ioeaf de captação sonsfá passa a ser o focal de B fesio sonora nóamblentev ríuai

¾ - Ocasionalmente a e i$sio de infraverme no uma câmera de profundidade (9) pode interferir m recépçld de uma outr câroera de p lli didadê: {©) s j pe iOi ό© ' · intuito de . sol cionar esse. pAIèma opcionalmente apôs slribuldas as câm s: de posicionamento , de imag m (¾ no m iente d g arão e- ntes de pfée;ncrter .ambiénfecom elemsntos móveis, acbrsar iodo o sistema em um modo d© tese, assim o computador central (35) aciona primeiramente uma câmera de posicionamento de Imagem (2) individuai e depois outra e assim sucessivamente até que todas tenham registrado os dados do ambiente de teste, féíto isso o oõmpyíador aciona todas as câmaras da posicionamento de Imagem (2) de uma sé vez» qualquer leitura com interferência ou se| s que não coincida com a primeira feitura, é r cess da pelo oomputa óf ceptral 3S . qpe por sua vez e ab í¾ um p!ar¾o d sincfQfíízaçio- dai: êâmems dè: ; profundidad ($), ye,. 8ssarn « trabalhar de-- ferro : ate ada sempre coi¾ dr¾çençj '" mínima a ponto ; e nio serem, ercebidas durante repro uçi o do rquivo. Outra so ução viável é ex^ulr o emissor infra v¾rmelèO: ciai câmeras $ t í (¾ e tne uir dli ossfeo^ e

câmera de profundidade (9) desde que atinjam toda área de alcanc na câmera de posicon amento d Imagem (2) evitando assim a sobreposição da área alça nçedâ peio infravermelho, O computador central pode ser um elemento externo ao ambiente, ou um dos computadores interno âe uma das câmaras de posicionamento de Imagem.

em bulido as BMP , com um com putâdo r que é ¾spc¾sãvef por decodifica r as informações recebidas do sensor de movimento e transmiti-la a teia do HMD (14), Ao iniciar o HMD (14) o programa de..computador registra a Inclinação Iniciai nos eixos iniciais {23} do sensor (14), a partir deste momento quando o usuário inclina a cabeça forma uma nova inclinação para o eixos (24) que consequentemente cria-se ângulos cia diferença de inclinação para os

então reproduzida uma nova imagem na tela do usuário após Inclinação ou rotação (17), para autonomia de posicionamento pode ser utilizado o contrate de profundidade (19) embutido ao ΗΜΡ ou remoto conforme ilustra a Fig< 8 contando um botão de ligar e desligar (22) uni otão de sincronização (20) para sincroniza-lo a seu respectivo HMD (14) e botões de autonomia (21) como controle de movimentação, volume, pause e similares,, quando utilizado um controle remoto antes do início de reprodução do arquivo digita! de ambiente virtual o usuário sincroniza seu controle remoto de profundidade (19) com seu HIVID e Já pode inidalizsr a reprodução do arquivo, durante a reprodução quando o usuário desejar mudar ¾su ..posicionamento virtual dentro do ambiente, basta cllcar nos botões de autonomia. (2 ) ! que os dados recebido pelo controle serio emitidos para o programa do HMÚ por meio de comunicação reiess que por sua vez ajustará a imagem onrdiracionaí (12) de acordo com o novo posicionamento virtual do espectador, o ajuste de reprodução de sons festa peio programa s é a. partir das linhas de proporcionalidade sonoras do eixo " " (?) das linhas de proporcionalidades sonoras do esxo y (6), que contraiam a intensidade de reprodução sonora de acordo com a distanci virtual que o usuário está em relação aos locais d© emissão sonora no ambiente virtual, como ilustra o exemplo na Hg, ? de reprodução de sons referente ao locai de emissã sonora no ambiente virtual (43) indicado.