Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SYSTEM AND METHOD FOR INVENTORY MANAGEMENT BASED ON OBJECT RECOGNITION ANALYSIS
Document Type and Number:
WIPO Patent Application WO/2017/120650
Kind Code:
A1
Abstract:
The present invention relates to an image recognition-based inventory management system which comprises a mosaic creation device (20) disposed in an inventory environment, said mosaic creation device being configured to continuously capture image frames of a display device (10) and to create mosaics of reconstructed images, representing the actual state of the articles (12) in the display device (10) at different moments in time; a characteristics map generator which uses the reconstructed image mosaics to generate characteristics maps which represent the actual state of the articles (12) in the display device (10) at specific moments in time; and an object recognition analysis subsystem which carries out object recognition analysis on the characteristics maps generated and uses the data generated to provide inventory information.

Inventors:
MONTEIRO PASSOS GRACILIANO (BR)
Application Number:
PCT/BR2016/050302
Publication Date:
July 20, 2017
Filing Date:
November 23, 2016
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
UP POINTS SERVIÇOS EMPRESARIAIS S A (BR)
International Classes:
G06Q10/08; G06Q20/20; G06Q30/06; G06T5/50; G06T7/187; G06V10/40; G06V30/148; H04N5/262; H04N7/18
Foreign References:
US20140152874A12014-06-05
US20030154141A12003-08-14
US7949568B22011-05-24
US20140129395A12014-05-08
US20140003655A12014-01-02
US8009864B22011-08-30
Attorney, Agent or Firm:
LEITAO MENDES, Herminia (BR)
Download PDF:
Claims:
REIVINDICAÇÕES

1 . Sistema de gestão de inventário baseado em reconhecimento deimagem, caracterizado por compreender:

um dispositivo de criação de mosaico (20) disposto em um ambiente de inventário, o dispositivo de criação de mosaico sendo configurado para capturar continuamente quadros de imagem de um dispositivo de exibição (10) com uma pluralidade de artigos (12), analisar uma série de quadros de imagem capturados em momentos de tempo diferentes, e criar mosaicos de imagens reconstruídas a partir de partes dos quadros analisados, os mosaicos representando o estado real do artigos (12) no dispositivo de exibição (10) nos diferentes momento de tempo; um gerador de mapas de características que utiliza os mosaicos de imagens reconstruídas para gerar mapas de características que representam o estado real dos artigos (12) no dispositivo de exibição (10) nos determinados momento de tempo; e

um subsistema de análise de reconhecimento de objetos que realiza análise de reconhecimento de objeto nos mapas de características gerados e utiliza os dados gerados para fornecer informações de inventário.

2. Sistema de acordo com a reivindicação 1 , caracterizado em que o dispositivo de criação de mosaico inclui ainda um meio para comprimir os mosaicos de imagens reconstruídas antes de seu envio para o gerador de mapas de características.

3. Sistema de acordo com a reivindicação 2, caracterizado em que o dispositivo de criação de mosaico inclui ainda um meio de transmissão de dados para transmissão dos mosaicos ao gerador de mapas de características.

4. Sistema de acordo com a reivindicação 2, caracterizado em que a análise de quadros de imagem é uma análise de bloco de pixels de quadros em formato YUV, e a compressão dos mosaicos é feita com um codec que trabalha com o formato YUV.

5. Sistema de acordo com qualquer uma das reivindicações 1 a 4, caracterizado em que o dispositivo de criação de mosaico (20) compreende um meio de captua de imagens em sequencia, uma unidade de processamento, um meio de armazenamento, uma memória RAM de processamento e meios para transmissão dos mosaicos.

6. Sistema de gestão de inventário baseado em reconhecimento de imagem, caracterizado por compreender:

um dispositivo de criação de mosaico (20) disposto em um ambiente de inventário, o dispositivo de criação de mosaico sendo configurado para capturar continuamente quadros de imagem de um dispositivo de exibição (10) com uma pluralidade de artigos (12), analisar uma série de quadros de imagem capturados em momentos de tempo diferentes, identificar possíveis eventos de interesse em cada momento de tempo; criar mosaicos de imagens reconstruídas a partir de partes dos quadros analisados , os mosaicos representando o estado real do artigos (12) no dispositivo de exibição (10) nos diferentes momento de tempo; em que o mosaico criado para um determinado momento de tempo é associado a um metadado com informações sobre possíveis eventos de interesse identificados para aquele momento de tempo;

um gerador de mapas de características que utiliza os mosaicos de imagens reconstruídas e os metadados associados para gera mapas de características que representam o estado real dos artigos (12) no dispositivo de exibição (10) nos determinados momento de tempo;

um subsistema de análise de reconhecimento de objetos que realiza análise de reconhecimento de objeto nos mapas de características gerados e utiliza os dados gerados para fornecer informações de inventário.

7. Sistema de acordo com a reivindicação 6, caracterizado em que os eventos de interesse podem incluir informações sobre mudanças no estado real dos artigos (120) ou informações sobre obstruções (1 10) na frente dos artigos (120).

8. Sistema de acordo com a reivindicação 7, caracterizado em que a análise de reconhecimento de objeto é otimizada com base nas informações sobre eventos de interesse.

9. Método de gestão de inventário baseado em reconhecimento deimagem, caracterizado por compreender:

capturar conitnuamente quadros de imagem de um dispositivo de exibição (10) com uma pluralidade de artigos (12),

analisar uma série de quadros de imagem capturados em momentos de tempo diferentes,

criar mosaicos de imagens reconstruídas a partir de partes dos quadros analisados, os mosaicos representando o estado real do artigos (12) no dispositivo de exibição (10) nos diferentes momento de tempo;

gerar mapas de características que representam o estado real dos artigos (12) no dispositivo de exibição (10) nos determinados momento de tempo;

realizar análise de reconhecimento de objeto nos mapas de características gerados; e

utilizar os dados gerados para fornecer informações de inventário.

10. Método, de acordo com a reivindicação 9, caracterizado em que compreende ainda comprimir os mosaicos de imagens reconstruídas antes da etapa de gerar mapas de características.

Description:
"SISTEMA E MÉTODO DE GESTÃO DE INVENTÁRIO BASEADO EM ANÁLISE DE RECONHECIMENTO DE OBJETO"

CAMPO DA INVENÇÃO

[001 ] A presente invenção refere-se a um sistema de gestão de inventário baseado em análise de reconhecimento de objetos e, mais especificamente, em um sistema de gestão de inventário que cria um mosaico de imagens reconstruídas, transforma essa imagem em um mapa de características e aplica técnicas de reconhecimento de objeto no mapa de características para realizar a análise de inventário.

FUNDAMENTOS DA INVENÇÃO

[002] O controle de inventário é uma das atividades essenciais relacionadas ao comércio varejista. Uma gestão ineficiente do inventário pode levar a atrasos em pedidos de reposição de estoque, a uma exibição inadequada ou confusa dos produtos nos pontos de venda, ou mesmo à completa ruptura de estoque.

[003] Para o comércio varejista, problemas no estoque podem gerar aumento de custos relacionados à reposição (pedidos atrasados / desnecessários e desequilíbrios de estoque), perda de receita pela falta do produto desejado pelo consumidor ou um aspecto desleixado de loja, com prateleiras vazias ou sem diversidade de produtos.

[004] Para o fornecedor, a ausência de seu produto no ponto de venda pode afetar o comportamento ou fidelidade do consumidor - que pode optar pela compra de outra marca - e atrapalhar esforços de marketing ligados ao layout de exibição de produtos no ponto de venda. De modo similar, a falta de controle sobre o inventário pode levar a um planejamento logístico ineficiente, baseado em informações de vendas / estoque erróneas.

[005] Os sistemas mais difundidos de gestão de inventário geralmente envolvem um trabalho manual, onde um funcionário é designado para fazer checagens periódicas dos produtos em exibição nos pontos de venda e dos produtos em estoque, gerando dados para a elaboração de planogramas e relatórios de controle.

[006] Como sabido por aqueles técnicos no assunto, planogramas são representações gráficas de artigos (produtos) em gôndolas ou prateleiras. Essas representações são usadas para o planejamento dos produtos em exibição no ponto de venda, com o objetivo de gerenciar as vendas e reposições dos produtos.

[007] Esse controle de estoque manual vem se mostrando ineficiente: além de ser um procedimento lento e laborioso, não produz os resultados esperados. Para que os relatórios gerados por checagem manual representassem a realidade, teriam que ser alocados funcionários suficientes para checagem de todo o ponto de venda em intervalos de tempo muito pequenos. Naturalmente, esse tipo de procedimento de checagem é inviável.

[008] Além disso, ainda que fosse possível esse procedimento de checagem ótimo, o tempo decorrido entre a verificação física do ponto de venda, o processamento das informações recolhidas com as informações de estoque, a geração de relatórios e a análise dos relatórios já seria superior ao tempo ideal para tomadas de decisão dinâmicas.

[009] Tendo em vista os inconvenientes mencionados acima, estão sendo desenvolvidas soluções automatizadas para gestão de inventário, geralmente baseadas em técnicas de reconhecimento de imagens captadas no ponto de venda.

[010] O documento US2003/0154141 , por exemplo, mostra um sistema de gestão de inventário baseado em reconhecimento de imagem. Nesse sistema, câmeras de vídeo são instaladas nos corredores do ponto de venda para transmitir dados sobre os produtos em exibição. As câmeras são ligadas a um software de reconhecimento de imagem que reconhece os produtos que estão faltando ou em baixa quantidade e permite que um planograma dos produtos em exibição seja atualizado. A comunicação entre as câmeras e o computador de processamento é realizada por uma rede LAN ou uma rede WAN. Para que o reconhecimento de imagem seja possível, um computador central inclui ainda uma base de dados com imagens armazenadas de todos ou mais produtos do ponto de venda.

[01 1 ] O documento PI 0816173-9 descreve um método de extração de planograma baseado em processamento de imagem. Para a implementação do método, um ou mais dispositivos de captura de imagens são instalados nos ambientes de inventário, análise de reconhecimento de objetos é realizada na imagem capturada e um planograma é extraído com base nos dados de reconhecimento de imagem.

[012] Embora as soluções acima sejam uma evolução em relação ao controle manual de inventário, os sistemas de gestão baseados em reconhecimento de imagem apresentam alguns inconvenientes.

[013] Um primeiro desses inconvenientes está relacionado às análises da imagem capturada em pontos de venda. Para que a análise de reconhecimento possa ser realizada, é necessário que a imagem capturada pelas câmeras no ponto de venda permita a visualização dos artigos nas prateleiras ou gôndolas.

[014] Como corredores de supermercados, ou outros comércios, são locais de movimento com constante trânsito de consumidores ou funcionários, existe uma alta probabilidade das imagens capturadas terem obstruções que impedem a visualização dos produtos.

[015] Esse inconveniente leva à necessidade de uma seleção prévia de imagens que serão utilizadas para reconhecimento ou à necessidade de que a imagem capturada seja trabalhada para limpeza ou correção da imagem capturada.

[016] Na tentativa de solucionar esse problema, o método do documento PI 0816173-9 menciona a possibilidade de, durante a análise da imagem, realizar a detecção de obstruções na imagem - várias técnicas de detecção de obstrução são citadas no documento - e descartar ou ignorar a imagem ou parte da imagem que apresenta a obstrução.

[017] Um outro inconveniente presente nos sistemas de gestão de inventário baseados em reconhecimento de objetos está relacionado à transmissão de dados de imagem.

[018] Os sistemas conhecidos envolvem a transmissão de imagens capturadas no ponto de venda para servidores de análise de imagens. Geralmente, é desejável que os dispositivos de captura de imagem sejam sem fio e que as imagens sejam transmitidas ao servidor de análise por redes sem fio, como, por exemplo, redes Wi-Fi ou demais redes com protocolo de internet. Nesse sentido, vale mencionar que as redes sem fio costumam ser menos eficientes que redes a cabo, seja por maiores inteferências, seja por menor capacidade de transmissão.

[019] Como sabido por aqueles versados na técnica, a análise de reconhecimento de objetos deve ser realizada em imagens de alta resolução, que, por definição, são imagens pesadas para transmissão e processamento.

[020] A transmissão de imagens pesadas gera uma pressão sobre os links de upload da rede. Assim, acaba sendo criado um limite na quantidade de imagens e quadros que o link de upload pode suportar, o que impõe restrições na quantidade de imagens que será de fato objeto na análise de reconhecimento. Ou seja, ainda que o dispositivo de captura de imagens possa capturar imagens em cada segundo das 24 horas de um dia, é imposto um limite natural à quantidade de imagens que podem ser realmente enviadas para a análise de reconhecimento de objeto.

[021 ] Outro inconveniente dos sistemas de gestão de inventário baseados em reconhecimento de objetos em imagens é a necessidade de respeitar a privacidade de consumidores. De fato, alguns países possuem legislações que impedem que estabelecimentos obtenham imagens de consumidores para qualquer outro fim que não seja exclusivamente para monitoramento de segurança. Além de existirem também restrições quanto ao tempo máximo de armazenamento de imagens ou dados que ferem a privacidade de consumidores.

[022] Assim, a legislação impede que uma imagem capturada em ponto de venda que mostre um consumidor no corredor ou próximo a uma gôndola ou prateleira seja enviada a um servidor de análise de imagem. Esse tipo de impedimento legal torna inaplicável algumas das soluções conhecidas da técnica.

[023] Ainda outro dos inconvenientes dos sistemas de gestão de inventários automatizados conhecidos está na alta capacidade de processamento dos dispositivos de processamento (CPUs) utilizados. Como sabido por aqueles versados na técnica, a análise de imagens de alta resolução requer uma alta capacidade de processamento. Essa alta capacidade de processamento torna impraticável uma geração e análise contínua de imagens, já que o custo de processamento de imagens continuamente capturadas seria proibitivo.

OBJETIVOS DA INVENÇÃO

[024] É um dos objetivos da presente invenção proporcionar um sistema de gestão de inventário baseado em reconhecimento de objetos que resolve os problemas relacionados ao estado da técnica.

[025] É outro dos objetivos da presente invenção proporcionar um sistema de gestão de inventário baseado em reconhecimento de objetos que trabalha com arquivos de dados em tamanho adequado para tráfego de internet.

[026] É ainda outro dos objetivos da presente invenção proporcionar um sistema de gestão de inventário baseado em reconhecimento de objetos que é capaz de realizar análise em dados de inventário continuamente obtidos.

[027] É mais um dos objetivos da presente invenção proporcionar um sistema de gestão de inventário baseado em reconhecimento de objetos que permite trabalhar em dados sobre a movimentação de consumidores em um ponto de venda sem ferir os direitos de privacidade dos consumidores.

[028] É outro dos objetivos da presente invenção proporcionar um sistema de gestão de inventário baseado em reconhecimento de objetos, onde a análise de reconhecimento de objeto pode ser feita de maneira otimizada, sem requerer uma alta capacidade de processamento computacional.

BREVE DESCRIÇÃO DA INVENÇÃO

[029] A presente invenção atinge os objetivos acima através de um sistema de gestão de inventário baseado em reconhecimento de imagem, que compreende [030] um dispositivo de criação de mosaico disposto em um ambiente de inventário, o dispositivo de criação de mosaico sendo configurado para capturar continuamente quadros de imagem de um dispositivo de exibição com uma pluralidade de artigos, analisar uma série de quadros de imagem capturados em momentos de tempo diferentes, e criar mosaicos de imagens reconstruídas a partir de partes dos quadros analisados, os mosaicos representando o estado real do artigos no dispositivo de exibição nos diferentes momento de tempo, mesmo que obstruídos ou com fluxo de pessoas à frente;

[031 ] um gerador de mapas de características que utiliza os mosaicos de imagens reconstruídas para gerar mapas de características que representam o estado real dos artigos no dispositivo de exibição nos determinados momento de tempo; e

[032] um subsistema de análise de reconhecimento de objetos que realiza análise de reconhecimento de objeto nos mapas de características gerados e utiliza os dados gerados para fornecer informações de inventário.

[033] O dispositivo de criação de mosaico pode incluir ainda um meio para comprimir os mosaicos de imagens reconstruídas antes de seu envio para o gerador de mapas de características, e um meio para transmitir os mosaicos comprimidos ao gerador de mapas de características.

[034] Preferencialmente, a análise de quadros de imagem é uma análise de blocos de pixels de quadros em formato YUV, e a compressão dos mosaicos é feita com um codec que trabalha com o formato YUV.

[035] A presente invenção também contempla um sistema de gestão de inventário baseado em reconhecimento de imagem, em que o dispositivo de criação de mosaico é configurado para capturar continuamente quadros de imagem de um dispositivo de exibição com uma pluralidade de artigos, analisar uma série de quadros de imagem capturados em momentos de tempo diferentes, identificar possíveis eventos de interesse em cada momento de tempo; criar mosaicos de imagens reconstruídas a partir de partes dos quadros analisados, os mosaicos representando o estado real do artigos no dispositivo de exibição nos diferentes momento de tempo; em que o mosaico criado para um determinado momento de tempo é associado a um metadado com informações sobre possíveis eventos de interesse identificados para aquele momento de tempo.

[036] O gerador de mapas de características utiliza os mosaicos de imagens reconstruídas e os metadados associados para gerar mapas de características que representam o estado real dos artigos no dispositivo de exibição nos determinados momento de tempo.

[037] O subsistema de análise de reconhecimento de objetos realiza análise de reconhecimento de objeto nos mapas de características gerados e utiliza os dados gerados para fornecer informações de inventário.

[038] Os eventos de interesse podem incluir informações sobre mudanças no estado real dos artigos ou informações sobre obstruções na frente dos artigos.

[039] Assim, a análise de reconhecimento de objeto pode ser otimizada com base nas informações sobre eventos de interesse.

[040] As demais vantagens do sistema da presente invenção ficarão evidentes a partir da descrição detalhada de exemplos de concretizações mostrados nas figuras.

[041 ] A presente invenção também contempla um método de gestão de inventário baseado em reconhecimento deimagem, que compreende as etapas de:

[042] capturar conitnuamente quadros de imagem de um dispositivo de exibição com uma pluralidade de artigos,

[043] analisar uma série de quadros de imagem capturados em momentos de tempo diferentes,

[044] criar mosaicos de imagens reconstruídas a partir de partes dos quadros analisados, os mosaicos representando o estado real do artigos no dispositivo de exibição nos diferentes momento de tempo;

[045] gerar mapas de características que representam o estado real dos artigos no dispositivo de exibição nos determinados momento de tempo;

[046] realizar análise de reconhecimento de objeto nos mapas de características gerados; e

[047] utilizar os dados gerados para fornecer informações de inventário.

BREVE DESCRIÇÃO DOS DESENHOS

[048] A presente invenção será descrita a seguir com mais detalhes, com referências aos desenhos anexos, nos quais:

[049] Figura 1 - é uma ilustração esquemática de um sistema de gestão de inventário baseado em reconhecimento de imagem de acordo com uma concretização da presente invenção;

[050] Figura 2 - é um fluxograma esquemático do sistema de gestão de inventário baseado em reconhecimento de imagem de acordo com uma concretização da presente invenção;

[051 ] Figura 3 - é uma fluxograma esquemático do sistema de gestão de inventário baseado em reconhecimento de imagem de acordo com uma segunda concretização da presente invenção;

[052] Figura 4 - é uma ilustração esquemática da lógica subjacente ao dispositivo de criação de mosaico de imagem do sistema de gestão de inventário da presente invenção;

[053] Figura 5 - é uma ilustração esquemática do mosaico de imagens reconstruídas utilizado pelo sistema de gestão de inventário da presente invenção; e

[054] Figura 6 - é um exemplo ilustrativo de um mapa de características utilizado pelo sistema de gestão de inventário da presente invenção.

DESCRIÇÃO DETALHADA DA INVENÇÃO

[055] A presente invenção será descrita a seguir com base em exemplos de concretizações mostrados nas figuras.

[056] A figura 1 é uma ilustração esquemática de um sistema de gestão de inventário de acordo com a presente invenção.

[057] A figura ilustra esquematicamente um dispositivo de exibição de artigos 10 em um ponto de venda, com um consumidor 1 1 próximo ao dispositivo de exibição 10. Artigos ou produtos 12 são dispostos no dispositivo de exibição 10.

[058] Deve ser notado que embora uma prateleira 10 seja ilustrada, a presente invenção poderia ser utilizada com qualquer tipo de meio de acondicionamento ou exibição de artigos ou produtos, como, por exemplo, gôndolas, refrigeradores, displays cartonados e outros.

[059] Além disso, embora a presente invenção seja aqui exemplificativamente descrita em relação à exibição de produtos de venda, deve ser ressaltado que o dispositivo e método da presente invenção podem ser aplicados a qualquer sistema de gestão de inventário onde artigos fiquem acondicionados em dispositivos de exibição, como, por exemplo, em inventários de estoque de industrias ou inventários de peças de reposição.

[060] Voltando à figura 1 , um ou mais dispositivos de criação de mosaico 20 são dispostos no ponto de venda. Ainda que a figura ilustre esquematicamente apenas um dispositivo 20, deve ser entendido que um único ambiente do ponto de venda pode incluir uma pluralidade de dispositivos de criação de mosaico 20.

[061 ] Além disso, deve ser entendido que o dispositivo de criação de mosaico 20 pode estar estaticamente fixado a um ponto do ambiente ou poder estar sobre meios de suportes fixos ou móveis.

[062] Em uma concretização da presente invenção, o dispositivo de de ciração de moisaico 20 compreende um meio de captua de imagens em sequencia, uma unidade de processamento, uma memorio RAM de processamento, meios para transmissão dos mosaicos e um meio de armazenamento que armazena o sistema operacional e o software de processamento.

[063] O meio de captura de imagem pode ser, por exemplo, uma câmera USB, um sensor CMOS (com lementary metal oxide semiconductor) ou CCD (charged coupled device) com um módulo de acoplamento de controle, ou qualquer outro meio adequado de captura de imagens em sequencia.

[064] A unidade de processamento pode ser uma CPU de baixo consumo, como, por exemplo, uma CPU de arquitetura ARMv7. Naturalmente, unidades de processamento de baixo consumo similares poderiam ser igualmente utilizadas.

[065] Os meios de transmissão do mosaico podem compreender por exemplo, placa ethernet, cabo, ou módulo Wi-Fi, ou meios wireless. [066] O dispositivo de armazenamento pode ser, por exemplo, um cartão SSD ou dispositivos ou meios de armazemaneto similares.

[067] O dispositivo de criação de mosaico 20 cria mosaicos de imagens reconstruídas que indicam o estado real dos artigos 12 na prateleira 10 (mosaico de fundo reconstruído) para determinados momentos de tempo.

[068] O mosaico 21 é enviado a um sistema de processamento que inclui um gerador de mapas de características ou feature maps 30 para criação de um mapa de característica 31 .

[069] Como sabido por aqueles versados na técnica, mapas de características ou feature maps são mapas que extraem características visuais de uma imagem, como cor, forma e textura, bordas, linhas, e indexam tais características. Mapas de características são comuns em sistemas de recuperação de imagem baseado rem conteúdo (SRIBCs) ou em sistemas de análise de imagem para entendimento do ambiente (extração de mapa 3D, detecção de movimento, detecção de mudanças).

[070] Os mapas de características criados são então enviados a um servidor de mapa de características 32 e são acessados para a execução das análises de reconhecimento de objeto que permitirão as análises de inventário e de ruptura de estoque.

[071 ] Como ilustrado na figura 1 , em uma concretização do sistema da presente invenção, o subsistema de processamento de análise de reconhecimento de objeto compreende servidores de análise de inventário 40 e de análise de ruptura de estoque 50. O sistema compreende ainda uma base de dados 60. Os servidores de análise 40, 50 e a base de dados de 60 podem ser acessados por usuários 70.

[072] A figura 2 mostra um fluxograma esquemático das etapas executadas pelo sistema de acordo com uma primeira concretização da presente invenção.

[073] O dispositivo de criação de mosaico 20 captura continuamente quadros de imagem dos artigos 12 e da prateleira 10, analisa uma série de quadros de imagem capturados em momentos de tempo diferentes, e cria, utilizando partes dos quadros capturados em tempos diferentes, mosaicos de imagens reconstruídas que representam o estado real dos artigos 12 no dispositivo de exibição para cada momento no tempo. [074] Por estado real dos artigos 12, entende-se como a representação real dos artigos 12 na prateleira 10 para o momento de tempo de referência do mosaico, mesmo que o quadro de imagem efetivamente capturado para aquele momento de tempo tenha obstruções como pessoas ou objetos fixos ou em movimento.

[075] Deve ser ressaltado que os mosaicos são criados no dispositivo 20, antes de seu envio à unidade remota de processamento que realizará a análise de reconhecimento de objeto

[076] Assim, em concretizações preferidas da presente invenção, o dispositivo de criação de mosaico 20 inclui ainda meios para comprimir os mosaicos criados e meios para enviar os dados comprimidos, por exemplo por transmissão sem fio, para o gerador de mapas de características (feature maps).

[077] A unidade de processamento remota inclui o gerador de mapas de características e o subsistema análise de reconhecimento de objeto.

[078] O gerador de mapas de características 30 utiliza os mosaicos de imagens reconstruídas para gerar mapas de características que representam o estado real dos artigos no dispositivo de exibição nos determinados momento de tempo.

[079] O subsistema de análise de reconhecimento de objetos realiza análise de reconhecimento de objeto nos mapas de características gerados e utiliza os dados gerados para fornecer informações de inventário.

[080] A figura 3 mostra uma segunda concretização da presente invenção, onde o dispositivo de criação de mosaico é configurado ainda para identificar possíveis eventos de interesse em cada momento de tempo. Assim, o mosaico criado para um determinado momento de tempo pode ser associado a um metadado com informações sobre possíveis eventos de interesse identificados para aquele momento de tempo.

[081 ] Os eventos de interesse podem incluir informações sobre mudanças no estado real dos artigos ou informações sobre obstruções na frente dos artigos.

[082] Assim, os mapas de características gerados pelo gerador de mapas de características são também associados aos eventos de interesse, e a análise de reconhecimento de objeto pode ser otimizada com base nas informações sobre eventos de interesse.

[083] A figura 4 é um fluxograma esquemático mostrando a lógica utilizada pelo dispositivo 20 para a criação do mosaico e a identificação dos eventos de interesse.

[084] Como mencionado anteriormente, o dispositivo de criação de mosaico 20 captura, em tempo real, uma série de quadros de imagem, em diferentes momento de tempo, da prateleira 10 com os artigos 12. A série de quadros de imagens ao longo do tempo é ilustrada na figura 4 como t1 , t2, t3, t4, t5 e t6, sendo tn o tempo de captura. Note que tn pode continuar indeterminadamente, já que os quadros de imagens são capturados continuamente.

[085] Assim, em uma concretização da presente invenção, o dispositivo captura sequências de 4 quadros por segundo, sendo T0=0s, T1 =250ms, T2=500ms, T3=750ms, T4=1 s, T5=1 s250ms, T6=1 ,5s, etc. Assim, o dispositivo da presente invenção é capaz de capturar uma grande quantidade de quadros em um intervalo de tempo, o que permite que o mosaico em determinado Tn seja criado a partir da análise temporal de uma quantidade grande de quadros.

[086] A quantidade de quadros analisados para a criação de um mosaico para uma série capturada dependerá da capacidade de processamento disponível no dispositivo de criação de mosaico 20.

[087] Como pode ser visto na ilustração, a sequência de quadros do exemplo pode ser definida como segue:

[088] t1 : quadro de imagem capturado inicial do exemplo, onde nota-se o artigo a1 presente;

[089] t2: quadro de imagem capturado no tempo t2, onde o artigo a1 presente em t1 não está presente na prateleira;

[090] t3: quadro de imagem capturado no tempo t3, onde o artigo a1 continua ausente;

[091 ] t4: quadro de imagem capturado no tempo t4, onde o artigo a1 continua ausente mas parte do fundo está obstruído pela presença de uma pessoa;

[092] t5: quadro de imagem capturado no tempo t5, onde parte do fundo está obstruído pela presença de uma pessoa e onde não é possível saber se o artigo a1 está presente ou ausente; e

[093] t6: quadro de imagem capturado no tempo t6, onde é possível perceber que o artigo a1 continua ausente e que o artigo a2, que estava presente em t4 e obstruído em t5, está ausente.

[094] Um algoritmo é utilizado para fazer uma análise de blocos de pixels da sequência de imagens. Na concretização da presente invenção, as imagens são trabalhadas em formato YUV.

[095] O algoritmo utilizado consegue identificar mudanças no fundo do quadro e a permanência ou não dessas mudanças durante aquela série analisada. Assim, o algoritmo consegue perceber que: houve uma mudança no fundo da imagem (prateleira + artigos) entre t1 e t2; que, embora tenha uma obstrução por uma pessoa em t4, não houve uma mudança no fundo da imagem entre t4 e t3; e que, embora tenha uma obstrução por uma pessoa em t5, houve uma mudança no fundo entre t4 e t5.

[096] Essa percepção na ausência de mudança de fundo em t4 só é possível porque o algoritmo não faz apenas uma análise simples ou por partes entre as imagens de tn e tn-1 , o algoritmo analisa toda a sequência de frames para perceber que mudanças no fundo foram permanentes.

[097] Assim, o meio de processamento do dispositivo da presente invenção é capaz de analisar uma série de quadro de imagens capturados em diferentes momentos de tempo tn-, tn, tn+, onde tn é um momento de tempo de referência, tn- são momentos de tempo no passado e tn+ são momento de tempo no futuro.

[098] Para cada quadro no tempo tn, são identificados os blocos de elementos de fundo que apresentaram mudanças em relação aos demais blocos de elementos de fundo na série de imagens nos tempos tn- e tn+.

[099] O mosaico de imagens é construído a partir da reprodução de blocos de elementos de fundo que apresentam mudanças na série de quadros capturados nos tempos tn-; e da inclusão de blocos de elementos de fundo que apresentaram mudanças no tempo tn, desde que tais blocos de elementos de fundo não apresentem mudanças em relação aos blocos de imagens de fundo nos quadros capturados nos tempos tn+.

[100] A figura 5 mostra um mosaico de imagem 21 criado pelo dispositivo de criação de mosaico o tempo tn=t5. O mosaico foi reconstruído utilizando o bloco de mudanças identificadas na imagem capturada no tempo t2 e o bloco de mudanças identificadas no tempo t5 (note que esse bloco de elementos de fundo não apresenta mudanças em relação a t6).

[101 ] Nesse sentido, deve ser notado que nesse mosaico de fundo reconstruído, a pessoa causando obstrução não está presente. Ou seja, o mosaico não é o quadro de imagem capturado em t5, mas sim uma representação da condição real dos artigos 12 na prateleira 10 no momento t5. Tal representação do fundo em t5 é impossível de ser capturada diretamente por uma câmera simples, pois possui obstruções do fundo, portanto apenas com a geração de um mosaico de fundo reconstituído poderá se observar, ou analisar, corretamente este momento na linha do tempo.

[102] Essa percepção em relação ao tempo t5 só é possível porque o algoritmo de análise considerou a sequência que vai além de t5 e foi capaz de perceber que uma pessoa obstruindo o fundo em t5 retirou o artigo a2 da prateleira.

[103] Assim, o mosaico 21 criado para o tempo t5 contém blocos de fundo que podem ser gerados a partir de quadros de imagem capturados em diferentes tempos. Dessa maneira, cada bloco do mosaico contém elementos de fundo que não estão obstruídos e que não estão em movimento. Logo, o mosaico criado para o tempo t5 não é uma imagem no tempo t5 e sim uma reconstrução dos elementos de fundo a partir de blocos originados de diferentes quadros capturados em diferentes tempos.

[104] Assim, a identificação desses blocos de mudanças é justamente a identificação dos possíveis eventos de interesse da concretização mostrada na figura 3.

[105] O dispositivo de criação de mosaico cria metadados com informações sobre esses possíveis eventos de interesse: mudanças nos elementos de fundo ou sobre movimentos e formas na frente desse fundo (por exemplo, passagens de pessoas, obstruções por objetos, etc).

[106] Como ilustrado na figura 4, o dispositivo 20 cria blocos de mosaico M2, M4,

M5, M6 de fundo reconstruído com metadados de informações sobre mudanças no fundo e presença e movimento de formas na frente do fundo.

[107] Note que esses blocos não incluem imagens nos tempos t2, t4, t5 e t6 e sim mosaicos que reconstroem os elementos de fundo estáticos nos tempos t2, t4, t5 e t6.

[108] Como mencionado anteriormente, o dispositivo 20 possui meios para comprimir esses mosaicos criados, considerando as informações dos metadados. Isso permite uma redução de capacidade de processamento, o que permite uma redução de custos e tempo. [109] A compressão dos mosaicos é preferencialmente realizada por um codec de compressão de imagem que trabalha com pixels em YUV, Essa característica permite uma economida na capacidade de processamento necessária ao dispositivo de criação de mosaico 20, pois a etapa anterior já trabalha com dados em formato YUV, evitando a conversão de um volume grande de dados.

[1 10] Os mosaicos com metadados com informações de possíveis eventos de interesse são utilizados para extração dos mapas de características, como discutido em relação à figura 1. Um exemplo de uma mapa de características é dado na figura 6, onde é representado um mapa de características para o mosaico criado para o tempo de referência t2.

[1 1 1 ] A análise de reconhecimento de objeto é feita sobre os mapas de características, considerando os metadados com informações sobre eventos de interesse.

[1 12] Assim, o sistema da presente invenção proporciona uma redução da capacidade de processamento necessário, uma análise de reconhecimento de objeto mais rápida e eficaz.

[1 13] Com relação à transmissão de dados, o sistema utiliza transmissão wireless do dispositivo de criação de mosaico 20 até um roteador wi-fi, tramissão por internet - por capo ou 4G, por exemplo, até um servidor em nuvem ou remoto do subsistema de análise.

[1 14] Para a geração dos mapas de características, a presente invenção pode utilizar técnicas conhecidas como SIFT (Scale-invariant feature transform) e SURF (Speeded up robust features). Como sabido por aqueles versados na técnica, essas técnicas permitem a extração de característricas a partir do mosaico.

[1 15] Para o reconhecimento de objetos no mapa de características, a presente invenção pode utilizar um sistema baseado em redes neurais, como por exemplo, técnidas de Deep Neural Network, por exemplo da maneira discutida por "Szegedy, Roshev e Erhan no artigo "Deep Neural Networks for Object Detection" (http://papers. nips. cc/paper/5207-deep-neural-networks-for-object-detection.pdf) , e também técnicas como Neocognitron, descrito por "Kunihiko Fukushima" no artigo "Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position" (http://www.cs.princeton.edu/courses/archive/spr08/cos598B/R eadings/Fukushim a1980.pdf), aqui incorporados por referências. Naturalmente, um técnico no assunto, compreende que uma pluralidade de técnicas de reconhecimento de objeto em mapas de característica poderia ser utilizada dentro do contexto da presente invenção. Essas soluções do estado da técnica compreendem basicamente processos de aprendizado, supervisionado ou não, que permitem que os objetos sejam reconhecidos no mapa de características analisado.

[1 16] A presente invenção possibilita, através dos metadados associados ao mosaico gerado, que a análise de reconhecimento de objeto no mapa de característica seja feita somente nas áreas com indicação de mudança, o que economiza capacidade de processamento, diminuindo os custos operacionais e o tempo de processamento.

[1 17] Tendo sido descritos exemplos de concretizações do sistema da presente invenção, deve ser entendido que o escopo da presente invenção abrange outras variações possíveis do conceito inventivo descrito, sendo limitadas tão somente pelo teor das reivindicações apensas, aí incluídos os possíveis equivalentes.