Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SYSTEM AND METHOD FOR SENSING MULTI-TOUCH SURFACES BY DETECTION OF LIGHT SCATTER VIA A FRONTAL IMAGE
Document Type and Number:
WIPO Patent Application WO/2012/139182
Kind Code:
A1
Abstract:
System and method for sensing multi-touch surfaces by detection of light scatter via a frontal image, the system (S) being developed more particularly to form a technology especially applied to electronic devices that use screen(s) (T) incorporating touch-screen technology; the system (S) comprises a set of devices that includes one or more video cameras (2) positioned on a screen or interactive surface (T), an image projector (3) arranged at a distance (x) from the screen or interactive surface (T), said projector projecting an image (A) oriented towards said surface (T); the video camera(s) (2) is/are coupled to a dedicated driver board (4), used to activate the LEDs (9), and a method operated by software (5) installed on a dedicated computer or piece of hardware (6), the software (5) being used to apply the method for treating and processing the images captured (7) to determine the position of the multiple touches applied to the surface or screen (T) using the scatter phenomenon of the light present at the touch point arising from interaction of the different surfaces that make up the screen with the optical medium (101) and the synchronism thereof with light emitted by the LEDs (9) positioned on the edge thereof.

Inventors:
GUIMARAES MARCELO FERREIRA (BR)
TURCATO RENATO PARENTI (BR)
TAVARES GEORGE (BR)
Application Number:
PCT/BR2011/000109
Publication Date:
October 18, 2012
Filing Date:
April 14, 2011
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SABIA EXPERIENCE TECNOLOGIA S A (BR)
GUIMARAES MARCELO FERREIRA (BR)
TURCATO RENATO PARENTI (BR)
TAVARES GEORGE (BR)
International Classes:
G06F3/042
Foreign References:
BRPI0806113A22010-09-21
CN101231450A2008-07-30
US20080029691A12008-02-07
US20080088593A12008-04-17
Attorney, Agent or Firm:
FERRARO E ADVOGADOS ASSOCIADOS (BR)
Download PDF:
Claims:
REIVINDICAÇÕES

1§) "SISTEMA E MÉTODO PARA SENSORIAMENTO DE SUPERFÍCIES MULTITOQUES POR DETECÇÃO DO ESPALHAMENTO DA LUZ VIA IMAGEM FRONTAL", sistema (S) mais particularmente desenvolvido para compor uma tecnologia especialmente aplicada a equipamentos eletrônicos que utilizam tela(s) (T) com sensoriamento embarcado, também conhecido como tecnologia "touch screen"; caracterizado pelo sistema (S) compreender um conjunto de aparelhos que inclui uma ou mais câmeras de vídeo (2) posicionadas sobre uma tela ou superfície interativa (T), um projetor de imagens (3) disposto a uma distância (x) em relação à tela ou superfície interativa (T), projetor este que projeta uma imagem (A) direcionada para a mencionada superfície (T); a(s) câmera(s) de vídeo (2) está(ão) acoplada(s) a um controlador dedicado (4) e a um método operado por programa de computador (software) (5) instalado em um computador ou hardware dedicado (6), sendo que o software (5) é responsável pela aplicação do método de tratamento e processamento das imagens capturadas (7) quando dos múltiplos toques feitos na superfície ou tela (T); mencionado software (5) é responsável por inicializar o processo de aquisição de imagens feito pelo elemento sensor (2a) da câmera (2) num período de tempo nos quadro ("frame") impares que, por sua vez, gera um sinal elétrico (8) que é capturado pela placa controladora (4) do controlador dedicado (4a); dita placa (4) relaciona-se ao acionamento dos Leds (9) por um período pré-programado quando detecta, pela primeira vez, o sinal elétrico (8) emitido pelo sensor (2a) da câmera (2).

29) "SISTEMA", de acordo com a reivindicação 1 e numa opção preferencial para a construção da tela (T), caracterizado pelo fato da referida tela (T) ser configurada por painéis sobrepostos na seguinte sequência (de baixo para cima): (a) membrana refletora (100), (b) meio óptico (101), (c) membrana difusora (102), (d) tela de projeção (103) e (e) membrana de proteção (104) opcional.

3a) "SISTEMA", de acordo com as reivindicações 1 e 2, caracterizado pelo meio óptico (101) ser conformado por chapa rígida e translúcida, e prevê a montagem dos Leds (9) pelas bordas laterais (101a), sendo que referidos Leds (9) iluminam o meio óptico comandados pela placa controladora (4a). 4§) "SISTEMA", de acordo com a reivindicação 4 e numa opção preferencial, caracterizado pelo meio óptico (101) ser constituído em acrílico ou outro polímero com características ópticas apropriadas

5a) "SISTEMA", de acordo com as reivindicações de 1 a 5 e quanto houver toque em pontos (P) na tela (T), caracterizado pelo fato da referida tela (T) ser deformada e transmitir este ponto de contato (P) para a membrana difusora (102) que, por sua vez, interage com o material do meio óptico (101), deixando escapar a luz (L) que estava no seu interior; parte desta luz que escapa do meio óptico (101) para cima (Fl) atravessa a membrana difusora (102), a tela de projeção (103) e a membrana de proteção (104) iluminando o ponto de contato (P); outra parte da luz (L) que escapa para baixo (F2) reflete na membrana refletora (100) e volta para cima (F2') reforçando a quantidade de luz presente na tela (T); esta luz é capturada pela(s) câmera(s) (2), configurando o primeiro momento de geração de imagem.

6^) "SISTEMA", de acordo com as reivindicações de 1 a 5 e quanto houver toque em pontos (P) na tela (T), caracterizado pelo fato de num segundo momento nos quadros ("frames") pares, com os Leds (9) desligados, ocorrer a aquisição ou captura da imagem (7) uma vez que a(s) câmera(s) (2) gera(em) o pulso elétrico que é ignorado pela placa controladora (4), não acionando os Leds (9).

72) "MÉTODO", de acordo com as reivindicações anteriores, caracterizado pelo fato das imagens capturadas (7) nos dois momentos serem recebidas pelo módulo de aquisição de imagem e controle de câmera (200) previsto no programa ou software (5) e tratadas através do seguinte método:

a) aplicam-se os filtros (201) de melhoria da qualidade das imagens e correção de deformação geométrica decorrente do posicionamento da câmera;

b) faz-se o tratamento matemático (202) por software da imagem adquirida no momento (a) usando-se, como referência, a imagem do segundo quadro; c) A imagem tratada é processada em sistema de detecção (203) para gerar as coordenadas na mesa, sendo então entregue para o software da aplicação (204).

8^) "SISTEMA E MÉTODO PARA SENSORIAMENTO DE SUPERFÍCIES MULTI TOQUES POR DETECÇÃO DO ESPALHAMENTO DA LUZ VIA IMAGEM FRONTAL", de acordo com as reivindicações anteriores e numa opção preferencial, caracterizado pelo fato do sistema (S) e método serem aplicados em tela ou superfície interativa (T) de uso coletivo.

Description:
"SISTEMA E MÉTODO PARA SENSORIAMENTO DE SUPERFÍCIES MULTITOQUES POR DETECÇÃO DO ESPALHAMENTO DA LUZ VIA IMAGEM FRONTAL".

CAMPO DE APLICAÇÃO

A presente patente de invenção refere-se a um sistema e método para sensoriamento de superfícies multitoques por detecção do espalhamento da luz via imagem frontal, mais particularmente de uma tecnologia especialmente desenvolvida para ser aplicada a equipamentos eletrônicos que utilizam tela(s) interativa(s) com sensoriamento embarcado, também conhecido como tecnologia "touch screen", com capacidade para processamento de múltiplos e simultâneos toques. O sistema desenvolvido pode ser de uso individual ou coletivo.

FUNDAMENTOS DA TÉCNICA

Os equipamentos que utilizam a tecnologia "touch screen" já estão presentes faz tempo no mercado, principalmente aqueles que tratam eventos de um único toque. Sua aplicação mais comum são os displays de terminais de auto-atendimento.

O surgimento de tecnologia "touch screen" de múltiplos toques é uma tendência mundial que iniciou com a introdução no mercado dos smart-phones de telas sensíveis a dois toques. Este e outros dispositivos utilizam múltiplos sensores discretos, onde cada sensor monitora um respectivo ponto. Normalmente usam sensores capacitivos ou resistivos construídos com material elétrico transparente depositado sobre uma superfície tipo LCD. O sistema de identificação com sensores capacitivos é feito utilizando-se duas placas bem finas, separadas por um afastador. Ao se encontrar na tela, gera-se uma alteração no campo elétrico dos capacitores. Esta mudança é percebida e as coordenadas são enviadas ao computador. Essa informação é traduzida por um programa que transforma o toque em algum comando na tela. Outro tipo de dispositivo atualmente no mercado são equipamentos no formato de mesas e painéis interativos que utilizam sistemas ópticos baseados no princípio de reflexão interna total frustrada (em inglês, Frustrated Total Internai Reflection - FTIR). Nesta tecnologia, uma placa de material translúcido é utilizada como guia óptico para a luz aplicada na sua borda e uma câmera de vídeo colocada sob a superfície é utilizada para capturar uma sequência contínua de imagens da referida superfície. Quando a face da superfície é tocada por um ou mais usuários, o contato da pele deste com a face da superfície, devido a um fenómeno físico, interfere com a reflexão interna da luz. Este fenómeno gera manchas luminosas correspondentes à(s) área(s) de toque, que são detectadas pela câmera de vídeo posicionada sob a superfície. Um software adequado realiza o processamento dos quadros de vídeo em tempo real, identificando as coordenadas do(s) ponto{s) tocado(s), e repassando-as a aplicativos que podem então utilizar a superfície multitoque como um dispositivo de entrada. Esta tecnologia é parcialmente utilizada pela requerente da presente solicitação em seus produtos e podem ser vistas no pedido PCT "Equipamento Eletrônico dotado de módulo de sensoriamento óptico compacto e módulo de projeção articulados entre si e aplicado em equipamentos eletrônicos embarcados com telas sensíveis a pressão superficial e demais dispositivos interativos". O princípio do FTIR já é conhecido há muito tempo sendo primeiramente presente nas patentes U.S. Patent 3,200,701. - "Method for Optical Comparison of Skin Friction- Ridge Patterns" de Agosto de 1965 e U.S. Patent 4,484,179 - "Touch Position Sensitive Surface" de Novembro de 1984. Outras patentes sobre este assunto: U.S. Patent 20080179507 - Application Publication " ulti- touch Sensing Display Through Frustrated Total Internai Reflection".

Outra tecnologia conhecida por "telas de ondas acústicas" permite passar 100% da luminosidade da tela. Diferentemente das outras tecnologias, ela não posiciona nenhuma placa metálica sobre o monitor. Ao invés disso, são posicionados dois transdutores de cada lado da tela, um receptor e um transmissor, tanto dos lados quanto na parte superior e inferior, fechando um quadrado. O transdutor transmissor manda uma pequena onda que é percebida pelo transdutor receptor. Essas informações formam então uma grade de coordenadas. Quando algo encosta na tela, os receptores percebem uma interrupção no envio das informações e informam automaticamente a coordenada do toque, traduzindo isso como um comando na tela.

ANÁLISE DO ESTADO DA TÉCNICA

Diversos são os documentos relacionados à tecnologia "touch screen", tais como, por exemplo, o documento US 2009314621 (Apple), US 2008094356 (Apple), US 2009006991 (Nokia), entre outros.

Face à exposição de alguns documentos acima, tem-se que referidas tecnologias guardam, ainda, alguns inconvenientes, tal como o fato de as tecnologias de sensoriamento capacitivo apresentarem uma limitação técnica para tratamento de mais de 10 toques simultâneos em superfícies com dimensão maior que 20 polegadas. Assim sendo, o uso da tecnologia capacitiva limita o tamanho e o número de toques tratado. Como será visto mais adiante, o fato do produto ora requerido, e outros da requerente, serem para uso coletivo, a tecnologia capacitiva não é adequada para tal e, portanto, tem seu emprego limitado.

Por outro lado as superfícies multitoque que utilizam o princípio óptico do FTIR estão atualmente disponíveis no mercado na forma de mesas ou painéis interativos de difícil portabilidade. A altura das mesas (no caso de superfícies horizontais) e a profundidade dos painéis (no caso de superfícies verticais) é, tipicamente, igual à cerca de metade da dimensão diagonal da superfície. Por exemplo, para um dispositivo multitoque com diagonal de 60 polegadas, a espessura do dispositivo é de cerca de 30 polegadas, ou 75 cm. No caso dos painéis, é possível conseguir uma falsa impressão de finura da superfície, embutindo- a em uma parede ou divisória, porém permanece a dificuldade de manuseio e transporte devido às reais dimensões do dispositivo.

Além do mais, nas mesas e painéis interativos que utilizam a tecnologia ótica, há uma espessura grande devido à necessidade de posicionar-se a câmera na superfície oposta aos usuários. Esta câmera está a uma distância suficiente grande para que a imagem capturada abranja toda a superfície. Mesmo com o uso de lentes grandes-angulares, esta distância, como dito acima, é igual a cerca de metade da dimensão diagonal da superfície. O ângulo de abertura da lente que é possível utilizar é limitado pela introdução de distorções na imagem, com consequente perda de resolução, o que compromete o desempenho do dispositivo.

BREVE DESCRIÇÃO DO INVENTO

O presente sistema ou nova tecnologia ora desenvolvida pela requerente foi motivada pela intenção de reduzir-se a espessura da superfície interativa "touch screen", a ponto de torná-la um tabuleiro extremamente fino. Esta tecnologia baseou-se em hardware composto por câmera(s) de vídeo, posicionado(s) sobre a superfície interativa, que estão acopladas a um controlador dedicado e a um programa de computador (software) para processamento das imagens capturadas, possibilitando o tratamento e discriminação dos múltiplos toques feitos na superfície.

Assim, é objetivo da presente invenção permitir a redução da espessura da mesa interativa a ponto de torná-la um simples tabuleiro. Para isto reposicionou-se a câmera para capturar as imagens na parte superior da superfície interativa e projetou-se um hardware e software apropriados para a captura e o correto tratamento das imagens adquiridas.

É outro objetivo da invenção discriminar e tratar os múltiplos pontos gerados na mesa pelos toques dos usuários, ou seja, não há limite sobre a quantidade de toques que pode ser tratado.

Uma vantagem considerável consiste no fato da tecnologia desenvolvida permitir construir equipamentos com as superfícies horizontais interativas tão finas quanto um tabuleiro e superfícies verticais tão finas quanto quadros de parede.

Diante dos objetivos e vantagens acima descritos, inclui-se o fato de que, através da redução de espessura, obtém-se considerável diminuição de peso do equipamento na forma de tela, e maior facilidade de manuseio e transporte da mesma.

DESCRIÇÃO DOS DESENHOS

A complementar a presente descrição de modo a obter uma melhor compreensão das características do presente invento e de acordo com uma preferencial realização prática do mesmo, acompanha a descrição, em anexo, um conjunto de desenhos, onde, de maneira exemplificada, embora não limitativa, se representou seu funcionamento:

A figura 1 ilustra um esquema do sistema para sensoriamento de superfícies multitoque por detecção do espalhamento da luz via imagem frontal;

A figura 2 representa a opção preferencial para a composição da tela utilizada pelo presente sistema;

A figura 3 mostra o espalhamento da luz no meio óptico que compõe a tela utilizada pelo sistema inovado; e

A figura 4 representa um diagrama de blocos do método de tratamento de imagem empregado pelo programa de computador do presente sistema. DESCRIÇÃO DETALHADA DA INVENÇÃO

De acordo com as ilustrações, a presente invenção se refere a um novo "SISTEMA E MÉTODO PARA SENSORIAMENTO DE SUPERFÍCIES MULTITOQUES POR DETECÇÃO DO ESPALHAMENTO DA LUZ VIA IMAGEM FRONTAL", sistema (S) mais particularmente desenvolvido para compor uma nova tecnologia especialmente aplicada a equipamentos eletrônicos que utilizam tela(s) (T) com sensoriamento embarcado, também conhecido como tecnologia "touch screen".

De acordo com a presente invenção, o sistema (S) compreende um conjunto de aparelhos que inclui, mais especificamente, uma ou mais câmeras de vídeo (2) posicionadas sobre uma tela ou superfície interativa (T), um projetor de imagens (3) disposto a uma distância (x) em relação a superfície interativa (T), projetor este que projeta uma imagem (A) direcionada para a mencionada superfície (T); a(s) câmera(s) de vídeo (2) está(ão) acoplada(s) a um placa controladora dedicada (4) e a um método operado por programa de computador (software) (5) instalado em um computador ou hardware dedicado (6), sendo que o software (5) é responsável pelo processamento das imagens capturadas (7), para o tratamento e discriminação dos múltiplos toques feitos na superfície.

O programa de computador (software) (5) de aquisição de imagem capturada (7) comanda o elemento sensor (2a) da câmera (2) para aquisição da imagem por um intervalo de tempo determinado. Este período de tempo é conhecido como "tempo de abertura do shutter" em analogia ao termo "shutter" que caracteriza o mecanismo de abertura do diafragma das câmeras convencionais. Por sua vez, a câmera (2) gera um sinal elétrico (8) quando o elemento sensor (2a) da câmera (2) inicia a aquisição da imagem deste primeiro quadro ("frame") Este sinal elétrico (8) é capturado pela placa controladora (4) que possuí um controlador dedicado (4a).

O sistema (S) prevê que a placa controladora (4) é responsável por acionar os elementos emissores de luz infra-vermelho - Leds - (9) por um período pré-programado quando detecta, pela primeira vez, o sinal elétrico (8) emitido pelo sensor (2a) da câmera (2), referente à aquisição da imagem. Ou seja, os Leds (9) estão sincronizados através da placa controladora com a aquisição da imagem sendo capturada.

Uma opção construtiva preferencial para a tela (T) (ver figura 2), que integra o presente sistema (S) compreende uma série de painéis sobrepostos na seguinte sequência (de baixo para cima): (a) membrana refletora (100), (b) meio óptico (101), (c) membrana difusora (102), (d) tela de projeção (103) e (e) membrana de proteção (104) opcional.

O meio óptico (101) é conformado por chapa rígida e translúcida, preferencialmente em polímero tal como de acrílico ou de outro material adequado, e prevê a montagem dos Leds (9) pelas bordas laterais (101a), sendo que referidos Leds (9) iluminam o meio óptico comandados pela placa controladora (4).

Enquanto não houver toques na tela (T), a luz gerada pelos Leds (9) reflete internamente dentro do meio óptico (101), o qual possui sua borda (101a) devidamente tratada para este fim. A luz (L) (figura 4) é guiada no interior do meio óptico (101) por reflexão interna devido à diferença do índice de refração entre o material do meio óptico (101), preferencialmente acrílico, e as outras superfícies (100/102) que compõe a tela (T) formando, com isto, uma guia de ondas para a luz (L) gerada pelos Leds (9) na borda (101a).

Quando a tela (T) é tocada pelo usuário, ela deforma e transmite este ponto de contato para a membrana difusora (102) que é confeccionada com material especialmente desenvolvido para interagir com o material do meio óptico (101), deixando escapar a luz (L) que estava no seu interior. Este princípio físico é conhecido como FTIR {Frustrated Total Internai Reflection ou Reflexão interna total frustrada). Parte desta luz que escapa do meio óptico (101) para cima (Fl) atravessa a membrana difusora (102) e a tela de projeção (103) e a membrana de proteção (104) iluminando o ponto de contato (P). Outra parte da luz (L) que escapa para baixo (F2) reflete na membrana refletora (100) e volta para cima (F2') reforçando a quantidade de luz presente na tela (T). Esta luz é capturada pela(s) câmera(s) (2).

Num segundo quadro ("frame") a(s) câmera(s) (2) gera(m) um novo pulso elétrico (8) para a placa controladora (4) quando da aquisição de imagem pelo elemento sensor (2a) da câmera (2), porém a placa controladora (4a) ignora este segundo pulso não acionando os Leds (9). Neste momento, com os Leds (9) desligados, ocorre a aquisição ou captura da segunda imagem (7).

As imagens capturadas (7) nos dois momentos são recebidas pelo módulo de aquisição de imagem e controle de câmera (200) previsto no programa ou software (5). Este processo continua repetitivamente com uma aquisição de imagens dos frames impares sendo sincronizada com os Leds ligados e a captura dos frames pares sincronizada com os Leds desligados. O programa ou software (5) trata as imagens capturadas através do seguinte método (figura 4):

a) Primeiramente são aplicados os filtros (201) de melhoria da qualidade das imagens e correção de deformação geométrica decorrente do posicionamento da câmera;

b) Em seguida é feito o tratamento matemático (202) por software da imagem adquirida no primeiro momento usando-se como referência a imagem do segundo momento; através deste tratamento retira-se da imagem adquirida todos os ruídos na imagem provenientes de sinais espúrios presentes que poderiam gerar falsas aquisições, como por exemplo, as reflexões nos mais diversos objetos;

c) A imagem tratada é processada em sistema de detecção (203) para gerar as coordenadas na mesa, sendo então entregue para o software da aplicação (204).

Opcionalmente se podem utilizar duas câmeras de captura de imagem simultâneas. Esta topologia permite uma melhoria na aquisição das áreas da mesa que por acaso tiverem a visada obstruída pela própria mão do usuário. Neste caso é feita um tratamento por software de concatenação das imagens geradas pelas duas câmeras.

É certo que quando o presente invento for colocado em pratica, poderão ser introduzidas modificações no que se refere a certos detalhes de construção e forma, sem que isso implique afastar-se dos princípios fundamentais que estão claramente substanciados no quadro reivindicatório, ficando assim entendido que a terminologia empregada teve a finalidade de não limitação.