MEMORIA DESCRIPTIVA

La presente solicitud se refiere a un sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas, por ejemplo en tiendas de retad, supermercados, etc.

El objetivo principal de la invención es proporcionar un robot móvil que sea capaz de navegar autónomamente por los pasillos de una tienda, con la capacidad de monitorear el estado de las estanterías de productos. Específicamente, el sistema robótico de la invención soluciona problemas asociados a la operación de las estanterías, principalmente respecto a la detección de rótulos de precios incorrectos o faltantes, verificación de carteles de oferta, detección de stock de productos, estimación del layout de producto, e identificación de productos mal ubicados o con errores en la extensión espacial asignada al proveedor en una estantería.

Adicionalmente, la invención se refiere a un método de operación del sistema robótico autónomo, para el monitoreo automático del estado de estanterías en tiendas.

Antecedentes de la invención

En la actualidad el monitoreo de estanterías o góndolas en las grandes tiendas de retail se realiza principalmente en forma manual, en donde operarios recorren las tiendas revisando situaciones como exactitud y posicionamiento de rótulos de precios y carteles de ofertas, falta stock de productos, verificación de la extensión espacial utilizada por cada producto, o detección de productos mal ubicados. Sin embargo, la magnitud de las tiendas, los miles de productos disponibles, así como la minuciosidad requerida, hacen que soluciones manuales resulten ineficientes y poco exactas. Entre las soluciones dirigidas a resolver los problemas anteriores se encuentran los rótulos electrónicos de los productos en las estanterías. Sin embargo, dicha solución implica un alto costo de inversión y las altas tasas de fallas han limitado su aplicación. Adicionalmente, esta tecnología sólo apunta a una solución parcial del problema de supervisión de estanterías pues sólo se enfoca en la problemática de rótulos de precios.

Una complicación adicional del monitoreo de estanterías es que semanalmente cada tienda se ve afectada por diversos cambios en su layout o planograma de productos, los cuales son difíciles de registrar correctamente generando problemas tanto en la gestión de la tienda así como en la relación con proveedores que arriendan superficies de exhibición en góndolas. Han existido intentos por resolver el problema mediante instalación de cámaras para supervisar remotamente las estanterías desde salas de monitoreo por parte de operadores. Sin embargo, dichas soluciones son costosas, complejas de instalar y mantener, y no escalables al tamaño de toda una tienda. En esta misma línea, recientemente se han desarrollado soluciones para el reconocimiento automático de situaciones como detectar problemas de falta de stock de productos usando cámaras de video. Sin embargo, altos costos de instalación y mantención han mermado la adopción masiva de dicha estrategia.

En términos de robots para el retail, actualmente existen soluciones robóticas dirigidas a la asistencia de clientes que visitan las tiendas, proporcionando capacidad de lectura de códigos de productos y capacidad de encontrar los productos que los clientes buscan, dirigiéndose al lugar donde se encuentra el producto. Además, algunas de dichas soluciones permiten asistir a los operadores en tareas de revisión de inventarios en base a la información de la base de datos de inventario que posee la tienda. Sin embargo, dichas soluciones no han demostrado capacidad para escalar a los requerimientos de toda una tienda y más importante aún no han demostrado ser una solución efectiva e integral a los diversos desafíos y tareas que involucra la supervisión de estanterías de productos en tiendas de retail. En este contexto, el documento WO 2017/083424 Al de la empresa Simbe Robotics, Inc. divulga un robot para detección de stock-out, es decir, para identificar espacios vacíos en las estanterías que sean indicadores de falta de stock de un producto. El documento sólo se centra en la detección de stock-out no indicando métodos para solucionar otros problemas relacionados con la supervisión de estanterías. De acuerdo con dicho documento, para determinar la falta de stock el robot identifica un espacio vacío en la estantería, indicador de falta de stock, y utiliza información del planograma de la tienda, es decir, de cómo se ubican los productos en las estanterías de la tienda, para identificar qué producto originó la falta de stock en base a la información de dicho planograma. Es decir, el robot descrito en el documento WO 2017/083424 Al no identifica directamente los productos, sino que infiere indirectamente la correspondencia entre espacio vacío y producto a través de la información del planograma. Dicha característica resulta en una desventaja, ya que si bien el planograma de los productos en las estanterías de una tienda puede ser conocido y proporcionado al robot anticipadamente por un operador, usualmente dicho planograma cambia en el tiempo y las tiendas no tienen una versión actualizada del mismo. Por lo tanto, la solución en el documento WO 2017/083424 Al solo será útil si se cuenta con un planograma de la tienda actualizado, ya que no contar con el mismo podría resultar en identificar incorrectamente un producto.

Por otra parte, el robot descrito en el documento WO 2017/083424 Al identifica la ausencia y presencia de los productos en las imágenes utilizando su apariencia visual, diferenciando un espacio vacío de otro que no lo está. Esto también es una desventaja ya que el robot descrito en el arte previo no permite identificar situaciones intermedias de stock, donde la relación entre espacio vacío y cantidad de stock de productos depende del tipo de producto y su forma de apilamiento, uno al lado del otro, uno sobre otro, etc. Así ese robot no es capaz de detectar en forma precisa una situación de stock reducido y alertar a los reponedores en forma anticipada a la ocurrencia de una falta de stock. Adicionalmente, en el documento WO 2017/083424 Al se destaca la definición de waypoints o puntos de referencia para guiar el monitoreo de las estanterías, es decir, zonas específicas de la tienda que necesitan monitoreo. Dichos waypoints son utilizados por el arte previo para definir un plan de navegación en forma anticipada, incluyendo información de prioridades, la cual permite priorizar el orden en que los puntos son visitados, en particular, visitar primero los puntos con productos más propensos a sufrir falta de stock, por ejemplo. Si bien esta estrategia permite priorizar los puntos con mayor probabilidad de falta de stock, no privilegia y por ende asegura una cobertura total de la tienda en virtud del monitoreo del estado de todas sus estanterías. Además, la aproximación de navegación empleada en el arte previo se centra en el cumplimiento de los waypoints o puntos de referencia, y no garantizar cobertura espacial de la tienda.

Por otra parte, en la patente US 7693757 B2 de la empresa IBM, se describe un sistema y método dirigidos a realizar inventario de una tienda mediante un robot móvil. En dicho documento se indica que el robot captura imágenes de las estanterías de una tienda con el objeto de identificar un código asociable a un producto, para comparar dicho código con una base de datos de productos y recuperar una imagen del producto asociado a dicho código. Luego, dicha imagen del producto asociada al código capturado es comparada con la imagen del producto desde las imágenes capturadas por el robot. En caso de que la comparación arroje que las imágenes del producto recuperada y capturada no calzan, se envía una alerta de falta de stock. Considerando lo anterior, la solución descrita en la patente US 7693868 B2 tiene la desventaja de que el robot no realiza una lectura directa de los productos en las estanterías, en cambio, extrae un código de producto para obtener una imagen predeterminada y almacenada del mismo, para luego comparar dicha imagen con la imagen de la estantería. Esta aproximación indirecta para identificar el producto no atiende a situaciones en las que códigos incorrectos o faltantes se presentan en las estanterías, por lo que en estos casos el método propuesto en la patente US 7693757 B2 no realiza una correcta identificación y por ende una correcta determinación de las condiciones de la eventual falta de stock. Cabe mencionar que la presencia de códigos incorrectos o faltantes es en sí un problema de gran relevancia para la supervisión de estanterías, siendo común tasas de error superiores al 10%.

Al igual que el documento WO 2017/083424 Al de la empresa Simbe, la solución en la patente US 7693757 B2 de la empresa IBM no permite identificar errores de etiquetado ni analizar la distribución, planograma o layout de los productos en la estantería.

Finalmente, el documento US 2009/0094140 Al de la empresa NCR describe una solución dirigida a una plataforma aérea que permite gestionar el inventario de una tienda, mediante la captura de imágenes y la lectura de precios y productos. Para ello se emplea reconocimiento de imágenes que permite extraer la información de las etiquetas de productos y del inventario de productos, información que es comparada con la contenida en una base de datos para la identificación y alerta frente a cualquier discordancia. Si bien la solución en el documento US 2009/0094140 Al permite identificar discordancias entre información capturada e información almacenada, no permite generar el planograma actual de la tienda, basándose en información almacenada que no necesariamente corresponde a la información correcta en tiempo real. Además, el documento US 2009/0094140 Al describe el empleo de cámaras y faros o balizas dispuestos en la tienda para determinar el posicionamiento de la plataforma aérea. De esta manera, esta solución recurre a una modificación del ambiente, introduciendo un sistema de localización artificial para el robot. Esto complejiza el sistema de navegación e introduce problemas asociados a la mantención de los cambios estructurales de la tienda.

Por lo tanto, resulta necesario contar con un sistema robótico completamente autónomo, que pueda navegar en una tienda sin la necesidad de intervenir la tienda incluyendo iconos o balizas, y que sea capaz de generar información de las condiciones actuales de distribución de productos en las góndolas, evitando identificaciones indirectas que involucran dificultades dadas por los continuos cambios en la distribución de los productos, rótulos de precios y carteles dentro de la tienda.

Además, se hace necesario contar con una solución que combine la información visual con mediciones de distancia o profundidad, enriqueciendo la información capturada con datos que garanticen la correcta recopilación de información y que permitan detectar el stock de un producto con un alto grado de precisión.

Por otra parte, resulta necesario contar con un sistema capaz de leer todo tipo de rótulos y carteles en la tienda, capturando información relevante desde las estanterías, lo que incluye, logos de productos, carteles con información de pasillos, rótulos de precios, carteles de oferta, etc.

Finalmente, resulta necesario contar con un sistema robótico autónomo que tenga un sistema de planificación de las rutas de navegación que permita una eficiente cobertura espacial, incluyendo técnicas de replaneamiento en caso que se identifiquen puntos de la tienda que quedaron pendientes ya sea por presencia de un obstáculo o por captura de imágenes de calidad insuficiente, volviendo a dichos puntos luego de finalizar la ruta garantizando una cobertura total de las estanterías a analizar.

Por lo tanto, es necesario contar con un sistema robótico que entregue una solución integral a los principales problemas que conlleva el monitoreo de estanterías en tiendas, de acuerdo a lo indicado anteriormente.

Breve descripción de la invención

Para resolver los problemas existentes en las soluciones pertenecientes al arte previo, la presente invención se refiere a un sistema robótico autónomo para el monitoreo automático del estado de estanterías en tiendas, capaz de no solo detectar el stock de productos, sino que también identificar información relevante mediante la incorporación de capacidades para leer la información en etiquetas de códigos y precios de productos, carteles temporales de ofertas, y logos y etiquetas de los productos en exhibición permitiendo acceder a su directa identificación. Mediante estas capacidades no incorporadas en ninguna solución anterior, la presente invención es capaz de realizar tareas como detectar rótulos de precios incorrectos o faltantes, determinar el planograma de las estanterías de la tienda, determinar el stock de productos, verificar carteles de oferta, e identificar de productos mal ubicados o con errores en la extensión espacial asignada al proveedor en una estantería.

Por estanterías de la tienda se debe entender cualquier estante, góndola, o estructura dispuesta para la exhibición de productos. Además, por información relevante se debe entender cualquier información asociada a la identificación del stock de productos, etiquetas y rótulos de productos, incluyendo logos e información impresa en el empaque de los productos, etiquetas y rótulos de precios, incluyendo códigos, identificadores y valores de los productos, carteles temporales o permanentes dispuestos en las estanterías. Adicionalmente, se considera también la información en carteles de pasillos y distribución de productos en las estanterías, la cual permite al robot contar con información pertinente a su ubicación en la tienda, facilitando la operación de sus sistemas de navegación autónoma.

Para ello, la invención propone un sistema robótico autónomo, para el monitoreo automático del estado de estanterías en tiendas, que comprende un robot móvil formado por un cuerpo con una base móvil, en donde dicha base móvil comprende un sistema motriz conectado a medios de desplazamiento y dirección. Dicha base móvil puede comprender un conjunto de sensores de estabilidad, por ejemplo del tipo acelerómetros y/o giróscopos, destinados al control del movimiento del robot para mantener su estabilidad. Además, el robot móvil comprende una estructura superior dispuesta para alojar sensores, una o más unidades de procesamiento, que comprenden uno o más medios de almacenamiento y uno o más procesadores, medios de comunicaciones, y otros componentes operativos del robot, dirigidos al cumplimiento de sus funciones. Preferentemente, la estructura superior del robot es de un material resistente y ligero, protegiendo los componentes sensibles del robot y manteniendo un centro de masa bajo, por ejemplo, se utiliza aluminio. En este contexto, los principales sensores con los que cuenta el sistema robótico de la invención son al menos un sensor láser, al menos un sensor de distancia o profundidad o proximidad y al menos un sensor de imagen. De acuerdo con una modalidad de la invención, el cuerpo del robot está cubierto por una carcasa, dispuesta para proteger en su interior los componentes del robot. Dicha carcasa es de un material ligero y resistente, protegiendo a los componentes sensibles del robot y manteniendo un centro de masa bajo, por ejemplo, se utiliza fibra de vidrio.

De acuerdo con una modalidad los medios de comunicaciones comprenden un enlace de comunicaciones inalámbrico, para comunicación de información a al menos un servidor ubicado en una posición remota, y/o un enlace de comunicaciones por cable, para comunicación de información a al menos un servidor conectado por cable al robot. Además, los medios de comunicaciones generan alarmas y/o reportes diarios respecto al stock de un producto, información relevante incorrecta o faltante respecto a los rótulos de precios y ofertas en las estanterías, y/o posición incorrecta de un producto en una estantería, y/o conformación del layout y extensión espacial utilizada por cada producto en la estantería.

De acuerdo con una modalidad de la invención los sensores de distancia o proximidad resultan relevantes para la detección del stock y la estimación de un planograma de productos, pues permiten identificar distancias o profundidades. En este sentido, además de profundidad, dichos sensores permiten determinar distancias útiles para cuantificar el tamaño de los productos, como así mismo el espacio en la góndola que no se encuentra ocupado. La información de distancia se complementa con la identificación del producto mediante la lectura de sus logos y etiquetas, así como el código y precio en la etiqueta correspondiente de exhibición. Mediante la integración de estas fuentes de información se determina en forma precisa no solo una falta de stock, sino que también situaciones intermedias en que hay solo stock parcial de un producto. Por otra parte, el sistema robótico propuesto comprende un sistema de navegación autónoma que se encuentra en comunicación con los sensores, principalmente con el sensor láser, con el sensor de imagen, con el sensor de distancia o profundidad o proximidad. Además, dicho sistema de navegación se encuentra en comunicación con al menos una unidad de procesamiento, que permite procesar la información recibida para determinar la navegación autónoma del robot en tiempo real.

El sensor láser asociado al sistema de navegación está dispuesto para medir distancias al entorno del robot mediante métodos conocidos por el estado del arte, capturando información de la planimetría de la tienda, en donde dicha información de la planimetría es procesada por el sistema de navegación. Dicho sistema de navegación construye un mapa de la configuración espacial de la tienda y acciona los medios de desplazamiento y dirección del robot guiándolo durante la navegación por los pasillos de la tienda. Dicho mapa puede ser bidimensional o tridimensional dependiendo de las características del sensor láser utilizado, según estado de arte conocido. Para manejar el caso en que la vista de este sensor se encuentre ocluida por la presencia de objetos dinámicos en el ambiente como carros y personas, el sistema de navegación se puede complementar con una cámara RGB y un algoritmo de reconocimiento de objetos que permiten identificar estos objetos y excluirlos de la estimación de la posición del robot.

En este contexto, la navegación del robot necesita de un mapa de la tienda, siendo posible utilizar técnicas conocidas por el arte previo y conocidas como SLAM (Simultaneous Localization and Mapping). Básicamente el robot tiene un sistema para localizar su posición en un mapa preconstruido del ambiente interior de la tienda. Este mapa se construye en forma automática en una etapa previa en que el robot es guiado para recorrer la tienda objetivo. Pisando esta estimación de su posición y la información del mapa, el robot decide donde moverse. Estas técnicas de SLAM también se conocen como geométricas, dado que se basan en una representación que reproduce parte de la geometría de la tienda para lograr la localización del robot.

En la presente solución, si bien pueden usarse mapas preconstruidos y navegación geométrica, también se emplea navegación basada en comportamiento. La navegación basada en comportamiento se basa en la definición de un conjunto de comportamientos básicos que el robot es capaz de ejecutar sin la necesidad de un conocimiento preciso de la geometría de la tienda. A modo de ejemplo, un comportamiento seguir pasillo, permite al robot navegar desde el comienzo hasta el final de un pasillo sin la necesidad de mantener una estimación exacta de su posición en éste, sino solo una estimación gruesa de su orientación de manera de avanzar en forma consistente en la dirección longitudinal al pasillo. En particular, el robot descrito en la presenta invención utiliza técnicas de aprendizaje profundo para adquirir un set de comportamientos predefinidos mediante el uso de aprendizaje basado en imitación. Bajo esta modalidad de aprendizaje, el robot es capaz de adquirir el comportamiento deseado mediante la observación de trayectorias exitosas de ejecución de éste, es decir, mediante la imitación del comportamiento de un experto. De esta manera, mediante la identificación de un set de comportamientos básicos de navegación predefinidos y la asociación de los mismos a los espacios presentes en el recorrido de la tienda, el robot puede alcanzar una navegación robusta, especialmente diseñada para sortear las complejidades de espacios tales como tiendas de supermercado.

Adicionalmente, el sensor de imagen y el sensor de proximidad están dispuestos para visualizar y medir el entorno del robot, capturando información de visualización y distancia. Dicha información de visualización y distancia es procesada por el sistema de navegación para generar rutas de navegación dinámicas que se adaptan a obstáculos presentes en el entorno del robot. De acuerdo con una modalidad de la invención, el sensor de imagen y el sensor de distancia o profundidad o proximidad están dispuestos en la cara frontal del robot, detectando obstáculos en los pasillos en la dirección de movimiento del robot, para distinguir personas y carros de supermercado, por ejemplo, y así permitir que el robot pueda generar dinámicamente rutas de navegación que le permitan evadir estos obstáculos.

De acuerdo con una modalidad de la invención, el sistema de navegación determina la posición del robot en la tienda mediante el reconocimiento de las imágenes capturadas y su asociación con la tienda. Por ejemplo, se utilizan las capacidades de lectura del robot para leer los carteles que aparecen en la parte alta de la tienda, indicando la información de los pasillos. Esto permite al robot localizarse en casos en que la navegación geométrica falla, lo cual es común cuando el supermercado presenta cambios significativos en su configuración, por ejemplo, en vísperas de navidad u otros eventos especiales, donde el layout de la tienda cambia sustancialmente.

Aparte de la navegación, el sistema robótico de la invención también comprende un sistema de reconocimiento visual en comunicación con al menos un sensor de imagen, con al menos un sensor de distancia o profundidad o proximidad, con al menos una unidad de procesamiento y con medios de comunicaciones. Dicho sistema de reconocimiento, estando principalmente dirigido a la detección y reconocimiento de precios y productos, comprende o está basado en modelos o algoritmos de detección y reconocimiento de aprendizaje profundo, para la detección y el reconocimiento de información relevante presente en distintas áreas de las estanterías de la tienda. Los algoritmos de detección y reconocimiento están entrenados con ejemplos de escenarios típicos de tiendas, comprendiendo arquitecturas específicas optimizadas para la detección y el reconocimiento de la información relevante presente en las distintas áreas de las estanterías, en donde dicha información relevante comprende letras, números y caracteres comúnmente utilizados en tiendas y productos. Los algoritmos de detección y reconocimiento de etiquetas de precios, rótulos de precios y textos de productos, tienen altos niveles de precisión, así como eficiencia en el procesamiento de cientos de miles de imágenes capturadas al cubrir toda una gran tienda. De acuerdo con una modalidad, los algoritmos de detección y reconocimiento son ejecutados en un servidor remoto, una vez que las imágenes capturadas son comunicadas a dicho servidor a través de los medios de comunicaciones. De acuerdo con otra modalidad, los algoritmos de detección y reconocimiento son ejecutados en el robot móvil, mediante la o las unidades de procesamiento. De acuerdo con otra modalidad, algoritmos de detección y reconocimiento son ejecutados parcialmente en el robot móvil, mediante la o las unidades de procesamiento, y parcialmente en un servidor remoto, por ejemplo, la detección de la información relevante se realiza en las unidades de procesamiento del robot móvil y, una vez detectada dicha información relevante, se comunica la misma al servidor remoto para el reconocimiento de la información en dicho servidor. Esta última modalidad permite enviar solo las partes relevantes de las imágenes capturadas al servidor, que realiza la lectura de los textos y rótulos, evitando sobrecargar los medios de comunicaciones y/o las unidades de procesamiento del robot, evitando enviar y/o procesar una gran cantidad de imágenes de alta resolución a través de los medios dispuestos en el robot.

A modo de ejemplo, el algoritmo de detección y reconocimiento tiene una precisión de al menos 95% y una exhaustividad de al menos 99% en la detección de etiquetas, una precisión de al menos 97% en la detección del código del producto dentro de la etiqueta con el precio, una precisión de al menos 96% en la lectura de precios, una precisión de al menos 95% en la detección de rótulos de productos y una precisión de al menos 90% en la detección de la disposición de los productos en la estantería.

De acuerdo con una modalidad, el sistema robótico de la invención comprende un sistema de entrenamiento de los algoritmos de detección y reconocimiento, en donde dicho sistema de entrenamiento puede ser manual, mediante un conjunto de imágenes reales de escenarios usuales en estanterías de tiendas, o automático, mediante un simulador de escenarios usuales de estanterías de tiendas, dicho simulador formado por un conjunto de imágenes sintéticas que simulan el paso del robot por los pasillos de la tienda, teniendo dichas imágenes sintéticas calidad fotográfica, siendo prácticamente indistinguibles en comparación con las imágenes reales que captura el robot..

En el caso del sistema de entrenamiento manual, las imágenes de rótulos de precios y códigos de productos son obtenidas manualmente por operadores directamente desde bases de datos o desde las estanterías de una tienda. En el caso del sistema de entrenamiento automático, el simulador permite generar imágenes sintéticas de estanterías con productos, simulando el paso del robot por los pasillos de la tienda tal como indicado anteriormente.

En resumen, el simulador de escenarios permite que un robot virtual circule por una estantería virtual en la que se conocen los productos y textos que aparecen. Con esa información es posible entrenar los algoritmos de aprendizaje profundo, los cuales requieren un entrenamiento supervisado, es decir, necesitan de ejemplos de entrenamiento con rótulos conocidos, y además sólo logran altos grados de rendimiento si son entrenados con conjuntos masivos de datos, del orden de millones de ejemplos para una tarea como la indicada. Así, mediante la generación de escenarios virtuales de calidad foto realista, el robot es capaz de acceder en forma automática a millones de imágenes de textos presentes en tiendas de retail, cada imagen con su debido rótulo indicando el texto correspondiente. Esta masividad de ejemplos permite perfeccionar la lectura de logos de precios y textos en general alcanzado niveles de precisión similares a un operador humano. Esto permite obtener un robot capaz de leer la información disponible en la tienda, ya sea en rótulos de precios, rótulos de productos, carteles de oferta, letreros con información de pasillos, etc. Esta capacidad resulta clave y diferenciadora de la presente invención respecto a sistemas alternativos, lo cual además permite una solución integral a los distintos aspectos de la supervisión de estanterías, y facilitando el éxito del sistema robótico propuesto como solución comercial.

Por otra parte, el sensor de imagen asociado al sistema de reconocimiento está dispuesto para capturar imágenes de las distintas áreas de las estanterías de la tienda y el sensor de distancia o profundidad o proximidad está dispuesto para determinar la distancia entre el robot y un plano principal de la estantería y/o un plano principal de cada fuente de información relevante presente en las estanterías. En este contexto, dicha información relevante está contenida en las imágenes capturadas, las que son almacenadas en el o los medios de almacenamiento del robot.

De acuerdo con una modalidad, las distintas áreas de las estanterías son capturadas en varias imágenes consecutivas, en donde cada información relevante aparece en promedio en 3 de las imágenes capturadas. Además, las imágenes consecutivas son fusionadas mediante al cálculo de una homografia entre imágenes sucesivas y la fusión de las nubes de puntos provistas por el sensor de distancia o profundidad. Usando esta información se construye una vista panorámica de cada estantería con la información de apariencia y de profundidad o distancia, en donde dicha vista panorámica corresponde al planograma de los productos en cada estantería de la tienda. Luego, la vista panorámica o planograma es analizada por los algoritmos de detección y reconocimiento para la extracción de información relevante referente al layout y extensión espacial de cada producto en la estantería.

Finalmente, el sistema robótico de la invención comprende un sistema de planeamiento multi objetivo en comunicación con al menos una unidad de procesamiento y con el sistema de navegación. Dicho sistema de planeamiento multi objetivo comprende una rutina de planificación dinámica de rutas que evalúa la cobertura de todas las áreas de las estanterías de la tienda a monitorear, garantizando una cobertura total de la tienda. Además, el sistema de planeamiento multi objetivo se comunica con el sistema de navegación para guiar al robot de acuerdo a la planificación dinámica de la ruta, en tiempo real. El objeto del sistema de planeamiento multi objetivo es equilibrar diversos requerimientos de operación. En su nivel de operación más básico, el sistema de planeamiento garantiza una cobertura de todas las áreas de la tienda que necesiten el monitoreo de estanterías, incluyendo seguir rutas eficientes y también estar preparado para realizar re-planeamientos en caso de encontrar inconvenientes, tales como áreas no accesibles por mantención o reposición de productos. Adicional mente, el sistema de planeamiento considera requerimiento del sistema de reconocimiento del robot, que requiere adquirir imágenes adecuadas de las estanterías para identificar correctamente rótulos de precios y productos. En este sentido, el sistema de planeamiento multi objetivo podría determinar, por ejemplo, tomar nuevamente una imagen si es que esta resultó borrosa debido a un movimiento súbito del robot, marcando la posición de la imagen que debe ser recapturada para volver a dicha posición antes de terminar la captura de imágenes.

Considerando lo anterior, el sistema de planeamiento multi objetivo del sistema robótico autónomo de la invención comprende un subsistema de certificación de calidad y cobertura de las imágenes capturadas, que evalúa la calidad de las imágenes capturadas de acuerdo a requerimientos del sistema de reconocimiento para la detección y reconocimiento de la información relevante, y que evalúa la cobertura total de las distintas áreas de las estanterías de la tienda en el trayecto del robot, determinando si una imagen debe ser capturada nuevamente y re-planificando la ruta si es necesario. En este sentido, el sistema de planeamiento multi objetivo se comunica con el sistema de navegación para accionar los medios de desplazamiento y dirección a requerimiento.

De acuerdo con una modalidad preferente de la invención, el sistema de navegación comprende un subsistema o comportamiento de seguimiento de estanterías, en donde dicho subsistema de seguimiento de estanterías determina el plano principal de la estantería de la tienda integrando la información de al menos un sensor de distancia o profundidad o proximidad y de al menos un sensor de imagen, guiando al robot en forma paralela al plano principal de la estantería. El subsistema de seguimiento de estanterías utiliza la información de profundidad para estimar el plano principal de la estantería. Así determinando luego la dirección normal al plano principal de la estantería y la distancia del mismo con respecto al robot, un sistema de control diferencial permite accionar los medios de desplazamiento y dirección del robot ajustando rotación y distancia de éste respecto al plano principal de la estantería. En este sentido, el sistema robótico de la invención utiliza la información de profundidad para estimar la posición del plano que constituye la cara principal de la estantería, para luego planificar el movimiento del robot para que mantenga una navegación paralela a dicho plano y facilite la operación de los sensores que capturan información de la estantería. A este comportamiento se le denomina“seguimiento de estantería”. El robot sigue ese comportamiento hasta que algún evento lo interrumpa, por ejemplo, la presencia de un obstáculo que debe evadirse tal como la presencia de un carro o una persona. Frente a este escenario el robot

Primero espera un tiempo determinado para verificar si el obstáculo se mueve y le permita seguir con el seguimiento de estantería, en caso negativo el robot cambia desde el comportamiento “seguimiento de estantería” al comportamiento que se denomina“evasión de obstáculo”. Luego que el obstáculo es evadido, el robot vuelve al comportamiento“seguimiento de estantería” y, además, marca la zona que no pudo capturar de la estantería para volver más adelante a capturar los datos pendientes.

De acuerdo con una modalidad preferente el sistema robótico autónomo de la invención comprende al menos un sensor de imagen y al menos un sensor de distancia o profundidad o proximidad, dispuestos en una o ambas de las caras laterales del robot, capturando imágenes de las distintas áreas de las estanterías en dirección hacia los costados derecho y/o izquierdo del robot. En este contexto, una modalidad de la distribución lateral de los sensores comprende dos sensores de captura, cada sensor de captura formado por la unión de un sensor de imagen con un sensor de distancia o profundidad o proximidad, en donde dichos sensores de captura se encuentran dispuestos en la estructura superior del robot separados a distintas alturas dentro de la estructura superior, capturando imágenes de toda la altura de las estanterías. Esta configuración de sensores a distintas alturas en el cuerpo del robot permite garantizar que las imágenes capturadas cubran toda la estantería, además, permite capturar información de carteles colgantes como carteles de pasillos. A modo de ejemplo, los sensores de captura pueden ubicarse hacia al extremo inferior del cuerpo del robot, por sobre la base móvil, por ejemplo a 1 metro de altura, y hacia al extremo superior del cuerpo del robot, por ejemplo a 2 metros de altura.

De acuerdo con una modalidad de la invención cada sensor de captura está formado por sensores de imagen del tipo RGB {Red Creen Blue) de alta resolución para distinguir textos pequeños y sensores RGB-D {Red Creen Blue Depth) para captar información de profundidad.

Por otra parte, el sistema robótico autónomo de la invención puede incluir una estación remota de carga para la carga de la fuente de alimentación o baterías del robot. Dicha estación remota de carga dispuesta en una posición específica en la tienda, de preferencia en un área de servicio, para la carga de la fuente de alimentación o baterías que posee el sistema motriz del robot, suministrando energía en forma inalámbrica o por cables a dicha fuente de alimentación. De manera preferente al detectar niveles bajos de batería o al terminar la captura de imágenes, el robot se dirige en forma autónoma a la estación remota de carga y activa un comportamiento de recarga de baterías que le permite ajustar sus movimientos para conectarse en forma autónoma a una base de recarga de baterías dispuesta en dicha estación remota de carga. Para estos efectos, el robot comprende un sistema de docking o acoplamiento que permite la conexión autónoma a la base de recarga de la estación remota de carga.

Además, de acuerdo a otra modalidad de la invención el sistema robótico autónomo comprende una interfaz gráfica para la interacción con un usuario, dicha interfaz gráfica estando integrada en el cuerpo del robot o siendo conectable con el mismo a través de los medios de comunicaciones.

Breve descripción de las figuras

Como parte de la presente solicitud se presentan las siguientes figuras representativas de la invención, las que enseñan modalidades preferentes de la misma y, por lo tanto, no deben considerarse como limitantes a la definición de la materia reivindicada por la presente solicitud.

La figura 1 muestra un esquema representativo del cuerpo del robot, identificando los componentes involucrados en la captura de información;

La figura 2 muestra un ejemplo de la detección de etiquetas o rótulos de precios en una estantería, junto con la detección del precio en dichas etiquetas.

La figura 3 muestra un ejemplo del reconocimiento de precios en las etiquetas o rótulos de una estantería.

La figura 4 muestra un ejemplo de la detección del planograma de productos en una estantería.

La figura 5 muestra un esquema del procedimiento de monitoreo del estado de estanterías de acuerdo con una modalidad de la invención.

La figura 6 muestra un esquema del procedimiento de navegación para el monitoreo de estanterías de acuerdo con una modalidad de la invención.

Descripción de la modalidad preferente

La figura 1 muestra un esquema representativo del cuerpo (1) del robot de acuerdo con una modalidad de la invención. En la modalidad de la figura 1 se disponen dos sensores de captura (45, 45’) a distintas alturas dentro del cuerpo (1) del robot, fijados a la estructura superior (2) del cuerpo del robot hacia una de sus caras laterales, en donde cada sensor de captura está formado por la unión de un sensor de imagen (4, 4’) con un sensor de distancia o profundidad o proximidad (5, 5’). Tal como se observa en la figura 1, los dos sensores de captura (45, 45’) mostrados se disponen a diferentes alturas dentro del cuerpo (1) del robot, específicamente en la estructura superior (2) del robot, permitiendo abarcar toda la altura de la estantería a monitorear y así capturar toda la información necesaria desde dicha estantería. En efecto, la figura 1 muestra esquemáticamente el campo de visión o de captura del robot sobre una estantería (10). De acuerdo con modalidades alternativas se puede contar con un sensor de captura o más de dos sensores de captura, ubicados a distintas alturas, y en una o ambas caras laterales, siendo el objeto principal permitir capturar toda o la mayor cantidad de información de interés desde las estanterías mientras el robot navega por los pasillos de la tienda.

En la modalidad de la figura 1 también puede apreciarse que la estructura superior (2) se encuentra unida en su parte inferior a la base móvil (3) del robot, que comprende el sistema motriz del robot (no mostrado) conectado a medios de desplazamiento y dirección (31). En este caso los medios de desplazamiento y dirección (31) son un conjunto de ruedas impulsadas por el sistema motriz del robot. En una modalidad preferente el sistema motriz comprende uno o más motores eléctricos dispuestos en la base móvil (3), conectados a una o más fuentes de energía (no mostradas) dispuestas en dicha base móvil (3) o en la estructura superior (2), para energizar al sistema motriz e impulsar a los medios de desplazamiento y dirección (31).

En la figura 1 también puede apreciarse la disposición de al menos un sensor láser (6) dispuesto hacia la cara frontal del robot, en este caso ubicado por sobre la base móvil (3) del robot, en donde dicho sensor láser (6) se dispone para medir distancias al entorno del robot, por ejemplo, la distancia a obstáculos.

En la figura 1 también se muestra la esquematización de al menos una unidad de procesamiento (7), que comprende al menos un medio de almacenamiento y al menos un procesador, dispuestos para almacenar y procesar la información capturada por el robot, respectivamente. De acuerdo con una modalidad de la invención, se dispone una unidad de procesamiento (7) por cada sensor de captura (45, 45’) dispuesto en el cuerpo (1) del robot, lo que permite capacidades de procesamiento separadas para la información capturada de la estantería, y así disponer unidades de procesamiento de menor consumo y menor tamaño dentro del cuerpo (1).

En la figura 1 también se muestra la esquematización de medios de comunicaciones (8) dispuestos en el cuerpo (1) del robot, dichos medios de comunicaciones (8) comprenden un enlace de comunicaciones inalámbrico, para comunicación de información a al menos un servidor ubicado en una posición remota (no mostrado), y/o un enlace de comunicaciones por cable, para comunicación de información a al menos un servidor conectado por cable al robot

(no mostrado).

Finalmente, en la figura 1 también se muestra la esquematización de un sistema de docking o acoplamiento (9) del robot para la conexión autónoma del mismo a una base de recarga de una estación remota de carga (no mostrada). Al detectarse niveles bajos de batería o al terminar la captura de imágenes, el robot se dirige en forma autónoma a la estación remota de carga y activa un comportamiento de recarga de baterías que le permite ajustar sus movimientos para conectarse en forma autónoma a la base de recarga de baterías dispuesta en dicha estación remota de carga, suministrando energía en forma inalámbrica o por cables a la fuente de alimentación del robot.

En otras modalidades no ejemplificadas en la figura 1 el robot cuenta con al menos un sensor de imagen que puede estar asociado a al menos un sensor de distancia o profundidad o proximidad, dispuestos hacia la cara frontal del robot para asistir en la detección de obstáculos que se interpongan en la trayectoria del robot, permitiendo al mismo tomar acciones evasivas para sortear el obstáculo y continuar con el monitoreo.

Adicionalmente, si bien en la figura 1 se muestra una disposición específica de los componentes dentro del cuerpo (1) del robot, cualquier variación en la disposición de los componentes del robot se considera dentro del alcance de la presente solicitud, considerando que dicha disposición busca maximizar la operatividad de los componentes en relación a sus funciones. Por otra parte, es preferible que la disposición de los componentes dentro del cuerpo del robot contemple el peso de los mismos y la distribución del centro de masa del robot, buscando mantener un centro de masa lo más bajo posible para evitar afectar la estabilidad del robot durante su desplazamiento.

La figura 2 muestra un ejemplo de la detección de información dispuesta en una estantería (10) por parte del sistema de reconocimiento del robot, dicha información detectada encerrada en cuadros (11, 12, 13). En este ejemplo en particular se muestra la detección de las etiquetas o rótulos de precios (11) en las estanterías (10), que contienen la información del producto que debiese estar dispuesto en la estantería, información que comprende, precio del producto y código del producto, entre otros. Además, en la figura 2 se muestra la detección del precio del producto (12) dentro de la etiqueta o rótulo (11) detectado y lña detección de textos en los envases de los productos (13), mostrando que el robot es capaz de captar información múltiple mediante los sensores de imagen dispuestos para tales efectos.

En este contexto, de acuerdo con una modalidad de la invención la detección y posterior reconocimiento de la información se realiza sobre imágenes capturadas y almacenadas. Sin embargo, en otra modalidad el robot realizar la detección y/o reconocimiento en tiempo real, es decir, detectando las áreas rectangulares (11, 12, 13) donde aparece texto relevante, en el ejemplo de la figura 2, texto de las etiquetas o flejes con información sobre cada producto (11), el precio dentro de la etiqueta (12) y textos en cada producto (13). Esta modalidad de detección en tiempo real permite procesar y almacenar solo las porciones detectadas de las imágenes, realizando el reconocimiento de los textos y precios solo sobre las porciones relevantes de las imágenes. Esto permite no sobrecargar los medios de comunicaciones y la o las unidades de procesamiento, evitando el procesamiento y/o envío de una gran cantidad de imágenes de alta resolución.

La figura 3 muestra un ejemplo del reconocimiento de precios en las etiquetas o rótulos de una estantería, identificando la predicción luego de reconocido el precio por parte del sistema de reconocimiento y un factor de certeza de dicha predicción. En este sentido, el sistema de reconocimiento del robot, en particular los algoritmos de detección y reconocimiento que están comprendidos por dicho sistema, están configurados para procesar las imágenes capturadas por el o los sensores de captura, detectar las porciones relevantes de dichas imágenes y para predecir la información de números y textos que se encuentra contenida en dichas imágenes. En este caso, se muestran predicciones correctas con distintos grados de certeza, producto del escenario desde el cual se realizó la predicción (imagen borrosa, etiqueta inclinada, cámara no perpendicular a la etiqueta, sombras, etc.).

La figura 4 muestra una representación gráfica de una imagen de una estantería (10) con la identificación del planograma de productos (14) en la misma, es decir, la identificación de cómo se organizan distintos productos presentes en la estantería (10). De la figura 4 es posible evidenciar que le robot es capaz de distinguir entre distintos productos, por ejemplo al identificar tipos de etiquetas y/o al identificar la apariencia externa de cada producto, logrando gran precisión de la determinación del planograma (14). Esta información permite, entre otros, determinar si el espacio y ubicación asignado a cierto producto en una estantería está ocupado correctamente o no, activándose las alarmas correspondientes.

La figura 5 enseña un esquema representativo del procedimiento de monitoreo del estado de estantería que ejecuta el robot de la invención, abarcando las etapas principales de dicho procedimiento. En dicho esquema se busca ejemplificar las etapas principales del procedimiento de monitoreo, sin limitar la operación del sistema robótico de la invención, particularmente, en relación al orden mostrado de etapas. En efecto, es importante destacar que el procedimiento de monitoreo ejecutado por el sistema robótico de la invención comprende etapas que pueden realizarse en forma simultánea y/o secuencial, en el orden mostrado o en un orden diferente.

En este contexto, a continuación se describen las etapas representadas en la figura 5, identificando las distintas alternativas contempladas por la invención.

Inicio del recorrido

En esta etapa, ilustrada en la figura 5 como la etapa inicial del procedimiento, el sistema robótico de la invención inicia su recorrido a través de los pasillos de la tienda. Para dar inicio al recorrido del robot en la tienda existen múltiples alternativas, entre ellas: - se ha ingresado un plan de recorrido al robot por parte de un operario, ya sea directamente al robot o en forma remota a través de un servidor y de los medios de comunicaciones del robot;

- se ha programado una hora de inicio para recorrido libre del robot por la tienda, con un objetivo específico preestablecido, por ejemplo, cubrir todos los pasillos de la tienda o parte de ellos;

- existe un ciclo de trabajo diario que el robot debe cumplir;

- el robot se ha detenido dejando incompleto el recorrido anterior, o es necesario completar/complementar información faltante del recorrido anterior;

- el robot se ha detenido por un período breve para recargar la fuente de alimentación o baterías u por algún otro motivo, y se reanudará recorrido; y/o

- replanteamiento de ruta producto de la necesidad de recapturar imágenes o cubrir áreas no cubiertas en recorrido anterior.

Como indicado anteriormente, existen múltiples opciones de inicio de recorrido, no siendo objeto de esta invención definir todos los posibles escenarios que dan lugar al inicio de recorrido del sistema robótico de la invención.

Adicionalmente, esta etapa de inicio de recorrido comprende el estado del robot antes de iniciar el recorrido, que usualmente es de reposo a la espera del ciclo de operación diario asignado. Durante este tiempo de reposo el sistema robótico puede realizar distintas operaciones, como actualización de software, recarga de la fuente de alimentación o baterías, planeamiento de rutinas de trabajo y rutas de navegación, etc.

Navegación autónoma

En esta etapa, ilustrada en la figura 5 como la segunda etapa del procedimiento, se representa la navegación autónoma del sistema robótico de la invención por los pasillos de la tienda. En términos generales, el robot recorre la ruta planeada capturando imágenes de las estanterías de productos cuyo monitoreo o supervisión es requerida. La navegación del robot está configurada para permitir la cobertura deseada de la tienda utilizando los sistemas de navegación autónoma y de planeamiento multi objetivo para dirigir al robot en tiempo real, incorporando evasión de obstáculos y replaneamiento de ruta en tiempo real.

Adicionalmente, la etapa de navegación del robot comprende la inspiración de soluciones específicas de navegación, como por ejemplo, un subsistema o comportamiento de seguimiento de estanterías, como el que se ejemplifica en la figura 6.

Captura imágenes

En esta etapa, ilustrada en la figura 5 como la tercera etapa del procedimiento, se representa la captura de imágenes por parte del robot de la invención mientras éste navega en la tienda.

El objetivo principal de la captura de imágenes es obtener información relevante de las estanterías de productos que requieren supervisión o monitoreo. Para ello se utilizan el o los sensores de captura del robot y la o las unidades de procesamiento.

De acuerdo con la figura 5 existe una relación bidireccional entre la captura de imágenes y la navegación del robot. Dicha relación bidireccional busca mostrar que, de acuerdo con una modalidad, la navegación emplea procesamiento de imágenes para dirigir al robot durante el recorrido, por ejemplo, para la detección de obstáculos, replaneamiento de ruta por imágenes borrosas o información incompleta y/o detección del plano principal de la estantería para el comportamiento de seguimiento de estanterías que se ejemplifica en la figura 6, entre otros.

Adicionalmente, en la figura 5 se muestra que, una vez capturadas las imágenes, el sistema robótico de la invención puede verificar si las imágenes cumplen o no el criterio para la detección y el reconocimiento de la información relevante y/o si faltan imágenes para dicha detección y reconocimiento. Esta etapa se ilustra mediante un cuadro de decisión que muestra la capacidad del robot para volver a capturar imágenes en caso de que sea necesario.

En este contexto, si bien en la figura 5 se muestra la decisión sobre la recaptura de imágenes posterior a la captura de las mismas, de acuerdo a las modalidades de la invención la verificación y decisión sobre recaptura de imágenes puede realizarse en forma inmediata, posterior a la captura de imágenes, en forma posterior, una vez que se procesan las imágenes capturadas, y/o a requerimiento por parte de un operario.

Detección v/o reconocimiento

En esta etapa, ilustrada en la figura 5 como la cuarta etapa del procedimiento, se engloba todo lo concerniente a detección y reconocimiento de la información relevante desde las imágenes capturadas. Al respecto, ya se ha indicado en la presente solicitud que existen múltiples variantes al proceso de detección y reconocimiento de la información relevante, en donde, por ejemplo, de acuerdo con una modalidad, los algoritmos de detección y reconocimiento son ejecutados en un servidor remoto, una vez que las imágenes capturadas son comunicadas a dicho servidor a través de los medios de comunicaciones; de acuerdo con otra modalidad, los algoritmos de detección y reconocimiento son ejecutados en el robot móvil, mediante la o las unidades de procesamiento; de acuerdo con otra modalidad, algoritmos de detección y reconocimiento son ejecutados parcialmente en el robot móvil, mediante la o las unidades de procesamiento, y parcialmente en un servidor remoto, por ejemplo, la detección de la información relevante se realiza en las unidades de procesamiento del robot móvil y, una vez detectada dicha información relevante, se comunica la misma al servidor remoto para el reconocimiento de la información en dicho servidor.

En este contexto, la modalidad preferente para la detección y reconocimiento de la información relevante es aquella en la cual la detección de la información relevante se realiza por el robot móvil, es decir, empleando la o las unidades de procesamiento dispuestas en dicho robot. Para ello, de las imágenes capturadas se detecta la información relevante (flejes/etiquetas, precios, rótulos de productos y cualquier texto/números/información de interés), en base a algoritmos de detección y reconocimiento de aprendizaje profundo comprendido en el sistema de reconocimiento de la invención, que permite la operación en tiempo real. La información relevante detectada es luego enviada mediante los medios de comunicaciones del robot a un servidor remoto para su procesamiento, por ejemplo, clasificando la información por pasillo.

Esta modalidad permite evitar sobrecargas a los medios de comunicaciones, evitando el envío de imágenes de alta resolución ya que solo se comunican para su procesamiento aquellas porciones de las imágenes que contienen la información relevante.

Por otra parte, de acuerdo con una alternativa de la modalidad anterior, la información relevante detectada por el robot es enviada al servidor remoto solo una vez que el robot móvil ha terminado su recorrido, siendo almacenada en el o los medios de almacenamiento del robot mientras el mismo recorre la tienda.

Finalmente, respecto al reconocimiento de la información relevante, es importante destacar que dicho reconocimiento, sea realizado en el mismo robot o en un servidor remoto, comprende la predicción (lectura) de los textos/números/información contenida en la información relevante detectada por el sistema robótico. De acuerdo con una modalidad, el reconocimiento se realiza en tres niveles, a saber, reconocimiento de precios, reconocimiento del código del producto (SAP) y reconocimiento de rótulos de productos (información en el envase del producto). El reconocimiento es realizado por algoritmos de reconocimiento de aprendizaje profundo comprendidos en el sistema de reconocimiento del sistema robótico de la invención, dichos algoritmos especialmente diseñados para cada una de las tareas de reconocimiento. El entrenamiento de estos algoritmos se realiza principalmente empleando el simulador de escenarios que contempla una alternativa de la invención, en donde dicho simulador es capaz de proporcionar una gran cantidad de imágenes sintéticas, del orden de millones de imágenes, que representan distintos escenarios de las estanterías en tiendas. De acuerdo con una modalidad, los parámetros de los algoritmos de reconocimiento son posteriormente refinados usando imágenes reales, del orden de miles, capturadas directamente en la tienda.

Procesamiento almacenamiento v/o envío de información

En esta etapa, ilustrada en la figura 5 como la última etapa del procedimiento, se engloban todas las etapas restantes que permitan obtener información útil para el usuario final del robot.

Como ya se ha aclarado a lo largo de la solicitud, la ilustración tanto de esta etapa como de las otras en el orden indicado no necesariamente representa el orden de ejecución de las etapas, las que en su mayoría son ejecutadas simultáneamente y/o mediante distintas alternativas secuenciales. En particular, el procesamiento, almacenamiento y/o envío de la información es ejecutada en distintas alternativas, toda vez que dichas acciones participan en todo el procedimiento de monitoreo efectuado por el sistema robótico de la invención.

Por ejemplo, el reconocimiento de la información relevante en la etapa identificada como detección y/o reconocimiento comprende procesamiento posterior de la información reconocida para filtrar, consolidar y enviar la información. En este ejemplo, la información reconocida es filtrada en tres etapas, descartando la información reconocida de baja confianza, corrigiendo la información reconocida en base a información redundante (información contenida en más de una imagen), y consolidando la información reconocida proveniente de más de una imagen capturada en un único resultado.

Luego, de acuerdo con una modalidad, la información consolidada con el reconocimiento de la información relevante es integrada con la estimación del planograma de los productos en la estantería, que es construido en el robot o en el servidor remoto mediante la información proveniente de los sensores de captura (imágenes y profundidad). Con esta información integrada el sistema robótico de la invención, ya sea mediante las unidades de procesamiento del robot o en el servidor, es capaz de determinar stock de productos en estanterías, así como también el estado y área de exposición de los productos, realizando el monitoreo del estado de estantería objeto de la invención.

Además, la invención contempla el proceso de comparación de la información reconocida con las bases de datos del usuario final, permitiendo verificar el estado operacional de las estanterías en relación con las diferencias de precios etiquetados con los precios en lista, la distribución espacial de los productos en función de la asignación a cada proveedor (planograma), etc. Con ello, el sistema robótico de la invención, ya sea mediante la o las unidades de procesamiento en el robot o mediante el servidor, genera reportes y/o alarmas a él o los usuarios finales sobre la diferencia entre precios, reposición de productos y/o disponibilidad de producto que permiten a el o los usuarios finales tomar las acciones necesarias frente a un estado determinado, por ejemplo, corregir etiquetas de productos y/o reponer stock. Entre los usuarios finales principales de la invención se encuentran los usuarios asociados a la tienda donde se realiza el recorrido del robot y a los usuarios asociados a los proveedores de los productos moni toreados.

Finalmente, como se ha adelantado anteriormente, la figura 6 muestra un esquema representativo de un subsistema o comportamiento de seguimiento de estanterías comprendido por el sistema de navegación autónoma de la invención. En donde dicho subsistema de seguimiento de estanterías está configurado para determinar el plano principal de la estantería de la tienda integrando la información de al menos un sensor de distancia o profundidad o proximidad y de al menos un sensor de imagen, guiando al robot en forma paralela al plano principal de la estantería. El subsistema de seguimiento de estanterías ejemplificado en la figura 6 utiliza la información de profundidad para estimar el plano principal de la estantería y controlar la navegación de acuerdo a lo siguiente.

Se procesa la información de profundidad de estanterías en las imágenes capturadas, dicha información de profundidad es empleada para dividir la estantería in distintas zonas, desde las cuales se realiza una estimación de profundidad mínima en zonas seleccionadas. Las zonas más cercanas definen el plano principal de la estantería. Luego, se consolidan los datos de profundidad mínima y, con ello, se genera el plano principal de la estantería, con lo cual es posible calcular tanto una distancia entre el robot y el plano principal de la estantería como la orientación del robot respecto a dicho plano principal. Esta información es empleada por medios de control retroalimentado de velocidad angular, integrados en el sistema de navegación, que permiten accionar los medios de desplazamiento y dirección para dirigir al robot a requerimiento, en este caso, realizando un seguimiento paralelo al plano principal de la estantería.

Adicionalmente, información sobre la localización del robot en la tienda, obtenida automáticamente por el robot a partir del sistema de localización del robot a partir de técnicas conocidas como SLAM y/o al identificar los pasillos de la tienda por procesamiento de imágenes, junto con información asociada a la velocidad del robot durante la captura de imágenes y su desplazamiento, usualmente definida como un parámetro, el sistema de navegación del robot es capaz de controlar su velocidad lineal y sincronizar dicha velocidad con la captura de imágenes, información que también es empleada por el control retroalimentado de velocidad angular para accionar los medios de desplazamiento y dirección en forma adecuada, en este caso, haciendo seguimiento paralelo al plano principal de la estantería y asegurando distancia y orientación adecuadas para mejorar la captura de imágenes.