ARTIFICIAL, BASADO EN UN MODELO DE CAPTURA DE MOVIMIENTO/SONIDO Y ENTREGA DE RETROA LIME NT ACIÓN.

RESUMEN

La invención consiste en un método que se sustenta en distintas técnicas de Inteligencia Artificial, el cual permite capturar movimiento y sonido, para luego empaquetar dicha información, procesarla y emitir una salida modificada y que permita una retroalimentación sobre variables de la actividad capturada. Estas variables son definidas a priori por el usuario.

El método se basa en un marco de trabajo (Framework) que ofrece una estructura base que es capaz de capturar, registrar y analizar imágenes de video y sonido de las conductas motoras del sujeto aplicando distintas técnicas basadas en inteligencia artificial, que entrega como salida señales y herramientas tecnológicas que en su conjunto son capaces de contribuir al aprendizaje, modelamiento y predicción de una determinada actividad motora.

El método convierte las capturas en actividades eléctricas generadas por los músculos cuando realizan algún movimiento, similar a las capturas en sensores de electromiografía (EMG), pero medidos sin el uso de electrodos. También es capaz de capturar sonidos y de representar en forma vectorial las posiciones y orientaciones de los movimientos, posturas y gestos del sujeto. Esto es aplicable, entre otros, para acelerar y masificar el aprendizaje de instrumentos musicales, acelerar la movilidad en casos de recuperación motora, desarrollo de habilidades deportivas, aprendizaje motor en niños, predecir patrones para detección temprana de enfermedades neuromotoras, detección de talentos en actividades motrices, alimentar a otros sistemas robóticos y/o virtuales, mejorar desempeño motor de usuarios de juegos en línea, evaluar y predecir movimientos de grupos de sujetos y también emular técnicas y movimientos de deportistas o artistas de elite.

A R T E P R E V I O

Cada día es más masivo el uso de inteligencia artificial para facilitar y acelerar las interacciones entre los usuarios de diferentes tipos de plataformas y sistemas y los centros de control y respuesta ante sus requerimientos. Se ha difundido su uso para la intreacción en la web, especialmente con lo que dice relación con recomendaciones personalizadas para los consumidores, basadas, por ejemplo, en sus búsquedas y compras previas o en otros comportamientos en línea. A través del conocimiento que adquiere una determinada red que trabaja bajo el esquema de inteligencia artificial, es posible mejorar no solo la experiencia de compra, sino adecuar dicha experiencia a la reacción que en el tiempo van teniendo los usuarios.

El aprendizaje es un campo en el cual la inteligencia artificial ha comenzado a abrirse espacio, básicamente con la finalidad de acelerar las habilidades de las personas que están aprendiendo una determinada tarea, desarrollando una habilidad o aprendiendo un idioma, entre otros. Las máquinas de aprendizaje (maching learning), son parte de la inteligencia artificial y se han convertido en la herramienta fundamental para la toma de decisiones fiables a través del análisis de grandes cantidades de datos y hechos. El aprendizaje automático permite adecuar la expereincia en forma personalizada a cada usuario y permite acelerar su aprendizaje disminuyendo no solo el tiempo, sino también esfuerzo y frustraciones.

El documento CL 201801536 describe un sistema para detectar personas con riesgo suicida que comprende: un cuestionario estructurado con un conjunto de preguntas definidas mediante un modelo predictivo bayesiano de persona con riesgo suicida; un ordenador central incluyendo una base de datos con las respuestas de personas a dicho cuestionario estructurado, dicho ordenador central es configurado para ejecutar dicho modelo predictivo bayesiano sobre dicha base de datos, dicho modelo predictivo comprende un modelo con un aprendizaje de máquina y una red bayesiana con sus nodos correspondientes a las variables de dicha base de datos, dichas variables son jerarquizadas mediante inferencia bayesiana, en donde dicho aprendizaje de máquina entrega un modelo predictivo bayesiano con una precisión de al menos 0,7; y un terminal adicional conectado a dicho ordenador central configurado para mostrar información estructurada, en donde dicha información estructurada indica una identificación de una persona con riesgo suicida destacando un subconjunto de variable de dicha base de datos con una jerarquía superior, unas respecto a otras de un subconjunto de variables del modelo, las respuestas o datos complementarios de dicha persona en dichas variables con jerarquía superior de dicho modelo predictivo bayesiano.

El documento WO2021133549 A1 enseña procedimientos quirúrgicos basados en energía. Un método implementado por computadora incluye acceder a una imagen del tejido de un paciente, acceder a los valores de los parámetros de control de un generador configurado para proporcionar energía en función de los parámetros de control, procesar la imagen del tejido y los valores de los parámetros de control por un sistema de aprendizaje de inteligencia artificial para proporcionar una salida relacionada con la configuración de los parámetros de control, proporcionando una indicación a un médico basada en la salida donde la indicación indica si se deben mantener los valores de los parámetros de control, y proporcionando valores de parámetros de control ajustados para el generador basado en la salida del sistema de aprendizaje de inteligencia artificial, si la indicación es no mantener los valores de los parámetros de control.

El documento US2021224441 A1 describe un aparato para reducir un error de un modelo físico utilizando un algoritmo de inteligencia artificial. El aparato para reducir un error de un modelo físico incluye: un deñvador de modelado configurado para derivar un modelo físico de un proceso que incluye términos de error que representan un error de modelado, y un corrector configurado para corregir el modelo físico derivando los términos de error del modelo físico utilizando datos reales. El documento US2021 17301 1 A1 enseña un dispositivo y métodos asociados que se relacionan con aumentar un modelo de dispositivo identificado por inteligencia artificial, con mediciones de parámetros físicos, validando y verificando iterativamente el modelo aumentado hasta que el modelo aumentado satisface un criterio de calidad determinado en función de la inteligencia artificial, y sintetizando automáticamente un interactivo entorno de simulación y medida, basado en el modelo. El modelo puede ser identificado por la inteligencia artificial en base a la medición de una característica operativa del dispositivo. Las mediciones de parámetros físicos con las que se aumenta el modelo pueden ser determinadas por la inteligencia artificial, en función del modelo. El modelo puede incluir un modelo de componente, subsistema y sistema, lo que permite la validación y verificación a través de múltiples niveles. Varias implementaciones pueden generar automáticamente un escenario de medición que incluye comandos de comunicación configurados para validar y verificar el modelo aumentado. Algunos diseños pueden proporcionar visualización de simulación sintetizada y resultados de medición generados en función del modelo aumentado validado y verificado.

El documento US2010279762 A1 enseña un aparato para ajustar el nivel de dificultad de un juego incluye: una unidad de inteligencia artificial para almacenar algoritmos de inteligencia artificial; un conjunto de herramientas de estrategia para generar metadatos para los recursos del juego y crear estrategias de juego mediante la aplicación de algoritmos de inteligencia artificial utilizando los metadatas; y un juego de herramientas de simulación para calcular los niveles de dificultad relativa de las estrategias de juego y combinaciones de las estrategias de juego y aplicar al juego una de las estrategias de juego y las combinaciones de las estrategias de juego basándose en el nivel de habilidad del usuario determinado durante el juego.

Se puede observar que en los documentros citados y en general en todos los que se pueden obtener del estado de la técnica que el uso de inteligencia artificial está aplicado a dar respuesta a las diferentes reacciones que generan los individuos frente a preguntas, estímulos, manejo frente a diversas situaciones y habilidades, las cuales son de alguna forma medidas por un motor de inteligencia artificial que reconoce los razgos específicos de lo que se está midiendo y genera una respuesta adecuada al usuario en cuestión, pudiendo incluso generar señales de alarma en algunos casos.

La presente invención propone un método y herramientas asociadas para lograr el aprendizaje motor de una determinada actividad, masificar dicha actividad y detectar talentos tempranamente.

El método se basa en un marco de trabajo (Framework) que ofrece una estructura base que es capaz de capturar movimientos y sonidos a través de distintas técnicas basadas en inteligencia artificial, que entrega como salida señales y herramientas tecnológicas que en su conjunto son capaces de contribuir al aprendizaje, modelamiento y predicción de una determinada actividad motora.

Estas metodologías y herramientas tecnológicas son aplicadas para acelerar y masificar el aprendizaje de instrumentos musicales, acelerar la movilidad en casos de recuperación motora, desarrollo de habilidades deportivas y también emular técnicas y movimientos de deportistas o artistas de elite.

A diferencia de los documentos del estado de la técnica, el método de la invención posibilita el aprendizaje automático y retroalimentación directa al usuario basado en los avances que éste va teniendo en su proceso de aprendizaje.

También el método permitirá realizar predicciones de movimientos, dado el aprendizaje que tendrá por la puesta en práctica del algoritmo. Esto posibilitará detectar talentos tempranamente.

B R EV E D E SC R I PC I O N D E LAS F I G U RAS

Figura 1 : representa un diagrama del algoritmo de la invención.

Figura 2: representa un esquema general del método de enseñanza por aprendizaje Automático y retroalimentación directa.

Figura 3: representa una ilustración cuando el método de la invención se aplica en el desarrollo de habilidades deportivas, en este caso en la contextualizacion de correr (running). Figura 4: representa una ilustración cuando el método de la invención se aplica en el desarrollo de habilidades para aprender a tocar instrumentos, en este caso en la contextualización de la actividad de tocar saxofón.

Figura 5: representa una ilustración del esquema para la captura de características de una actividad deportiva.

Figura 6: representa una ilustración del esquema para la captura de características de una actividad física movilidad de mano.

Figura 7: representa una ilustración del esquema para la captura de características de una actividad musical tocar piano.

Figura 8: representa una ilustración de intreacción del algoritmo del método de la invención entregando señales a receptores sensoriales.

D E S C R I P C I O N D E LA I N V E N C I O N

El método consiste en una serie de etapas con la finalidad de ayudar al aprendizaje de una actividad motora, que permiten dejar a un individuo en posición de dominar una actividad, mediante la utilización de inteligencia artificial para interactuar en tiempo real con cada individuo. El método utiliza técnicas basadas en Inteligencia Artificial para captar, procesar y entregar retroalimentación al individuo. Con el fin de transferir a un usuario lo que el sistema capta. Con el objetivo de poder enseñar una actividad motora. Como también poder predecir movimientos, asociados a dicha actividad.

El método contempla las siguientes etapas: a) Etapa de captura de movimiento y sonido por medio de técnicas de Inteligencia Artificial. Esta etapa implica capturar imágenes, video y/o sonidos y generar una data set de Electromiogramas. En ciertas condiciones el medio visual/auditivo es segmentado para mejorar su análisis. b) Situar un conjunto de imágenes/videos en un contexto. Esta identificación es automática y es entregada por un algoritmo inteligente. c) Preprocesamiento, Segmentación y extracción de atributos relevantes. El método de la invención identifica en la situación que se desenvuelve el individuo. Esta condición es necesaria para generar los pasos de enseñanza más adecuado. Los pasos de enseñanza forman parte del algoritmo por lo que éste está asociado a una biblioteca de multiples opciones de pasos y recursos que se aplican dependiendo de la respuesta del individuo. Con el fin de determinar los pasos más adecuados para un individuo, la imagen global captada es segmentada en otras imágenes, donde se extraen las características más relevantes de cada segmento y donde se categorizan. Este proceso de categohzación continua hasta obtener un contexto general. d) El algoritmo base se compone de Redes Neuronales Convolucionales, Recurrentes y Generativas Antagónicas. Las cuales procesan las capturas obtenidas de la actividad y generan características relevantes de dicha actividad. Estas características son procesadas por medio de algoritmos de inteligencia artificial donde se generan métodos de aprendizaje más adecuados a la situación. Esto último empleando técnicas de Machine Learning (ML) e) Las características de aprendizaje son representadas por medio de señales electromiográficas (EMG). La captación de las señales eléctricas producidas por los músculos durante una contracción muscular se conoce como electromiografía (EMG). Estas señales son generadas por el intercambio de iones a través de las membranas de las fibras musculares debido a una contracción muscular. Los sensores que se utilizan son adosados al individuo y luego conectados al sistema en donde se pone en práctica el método. Estos conformarán las salidas del sistema y los canales para la entrega de retroalimentación. f) Estas características son enviadas al usuario para generar retroalimentación y poder mejorar sus habilidades en la ejecución de la actividad. Estas características suelen ser apoyadas por herramientas tecnológicas. Donde se pueden citar sensores, exoesqueletos, lentes de realidad virtual, etc.

En la etapa d) el algoritmo comprende una serie de etapas que permiten profundizar en las técnicas de aprendizaje del individuo y mejorar sus movimientos para ir generando paso a paso mayores habilidades. A saber, al algoritmo contempla para la etapa d):

• que las imágenes capturadas se suavicen, eliminen el ruido y en ciertas condiciones el medio visual/auditivo es segmentado para mejorar su análisis.

• Para situar un conjunto de imágenes/videos en un contexto se utiliza una red neuronal convolucional (CNN) y red neuronal recurrente (RNN). Estas redes pueden identificar ciertos patrones para relacionarlos a una actividad. Esto en base a la carga de modelos pre entrenados.

• Identificación de objetos más importantes de las imágenes. Se descartan objetos no importantes. La identificación de estos objetos es a través de visión por computadora y se sitúan en el contexto entregado por las redes neuronales de la etapa anterior. Los movimientros no importantes son aquellos que no tienen incidencia en la actividad sobre la cual se está desarrollando la actividad.

• Generador de poses y gestos sintéticos con redes generativas antagónicas (GAN). Esto es importante para que la caracterización de gestos sea más precisa.

• Se generan señales eléctricas representada por los músculos cuando existe una actividad o gesto. Esto se denomina electromiograma (EMG). La EMG se determina por medio de una red convolucional que pronostica cual es la señal asociada a un movimiento y las imágenes generadas por el generador de poses y gestos sintéticos por GAN. En el pronóstico de la EMG se utiliza sólo un sistema de Visión como lo es una cámara de video.

• Representaciones matñciales con la postura, posición y ángulos de sus extremidades.

• Determinar por medio de algoritmo de machine Learning (ML) la postura o gestos óptimos. Esto se realiza en base a la identificación de patrones sobre modelos pre entrenados con base de conocimiento de la actividad.

• Las características de aprendizaje son entregadas al usuario con la finalidad que adquieran o refuercen sus conocimientos. Estas características de aprendizaje son representadas por medio de interfaz gráfica y/o mecánica como lo son visualización en pantalla, exoesqueletos, lentes de realidad virtual, entre otras.

DESCRIPCION DE LAS MODALIDADES PREFERIDAS DE EJECUCION

Con referencia a la figura 2, el método de aprendizaje se lleva a cabo para el desarrollo y mejoramiento de una actividad deportiva. En esta modalidad el método contempla las siguientes etapas: a) Una persona desea desarrollar mejores habilidades deportivas. Para esto necesita saber cuál es la forma correcta para realizar la actividad, en este caso particular de correr. b) Una cámara capta los movimientos de la persona (usuario) y las transmite hacia un sistema de visión artificial. c) Un sistema de visión artificial obtiene las imágenes con secuencias de movimientos de la persona, extrae los elementos más importantes del ambiente, los preprocesa, empaqueta y los envía hacia un algoritmo inteligente o de inteligencia artificial. d) El algoritmo IA es reconoce e interpreta la información recibida por el sistema de visión artificial y si es necesario subdivide la imagen por segmentos para contextualizar la situación (Persona corriendo, tocando un instrumento musical, rehabilitación muscular, etc.,). e) La información de cada segmento de la imagen como también la información del contexto es procesada y son traducidas en señales eléctricas representadas por el movimiento de los músculos o coordenadas que representan la posición de las extremidades superiores e inferiores. f) El algoritmo finalmente entrega información relevante (características de aprendizaje) como señales electromiográficas (EMG), representaciones matriciales con la postura de sus extremidades, representación en colores para indicar si el movimiento es el correcto u óptimo, indicadores para ayudar a comprender mi rendimiento en comparación al optimo. g) La información de salida o características de aprendizaje son entregadas al usuario con la finalidad que adquieran o refuercen sus conocimientos para una actividad que en este caso es correr. Estas características de aprendizaje pueden ser apoyadas por dispositivos o herramientas tecnológicas como los son exoesqueletos para las extremidades que le indiquen al usuario de qué manera debe de realizar la actividad, lentes de realidad virtual (VR), monitor de imágenes, entre otras. g) Estas características de aprendizaje se van monitoreando en el tiempo con la finalidad de determinar cómo ha sido el avance. La información de progreso es enviada al usuario en forma de retroalimentación o feedback a través de herramientas tecnológicas. Entre estas se pueden citar sensores, exoesqueletos, lentes de realidad virtual, etc.

Un ejemplo de esto es que la persona en el tiempo mejore su técnica para correr, pero la retroalimentación que entrega el algoritmo IA indica que debe mover sus brazos hacia adelante y hacia atrás, y colocar los brazos en ángulos de 90°, para así mejorar en su técnica.

En esta modalidad preferehda de ejecución, en el paso d) el reconocimiento de la imagen se segmentó en tres imágenes (Figura 2), una de la extremidad superior que muestra el brazo del corredor en movimiento con la posición de su brazo en 45 ^s hacia arriba, siendo el brazo izquierdo el cual tiene incorporado un sensor de movimiento y ritmo cardiaco; una segunda imagen enseña la extremidad superior, específicamente el hombro del corredor y su brazo derecho en un ángulo de 45 ^s hacia abajo; y una tercera imagen que muestra la extremidad inferior del corredor, una pierna en movimiento en 45 ^s hacia el frente o avanzado, en donde el algoritmo reconoce que se trata de la pierna derecha, el tipo de zapatilla y la vestimenta que lleva. Al analizar las tres imágenes que corresponden a segmentos de la imagen captada en la etapa b), el algoritmo de forma automática reconoce que la actividad que se está desarrollando es una actividad deportiva y se trata de correr.

A partir del análisis de los segmentos de imágenes, el algoritmo entrega una respuesta al usuario indicando qué posturas pueden ser corregidas, de qué forma hacerlo y si la indumentaria que utiliza (zapatillas y vestimenta) puede influir en el rendimiento de la actividad. Para ello, el algoritmo se apoya en una base de datos con múltiples variables kinesiológicas para la configuración y comparación de movimientos y en múltiples variables de tipos de indumentaria deportiva, la cual es periódicamente actualizada con la última tecnología en indumentaria deportiva que va saliendo al mercado. Adicionalmente, el algoritmo identifica si cierta indumentaria deportiva puede afectar o no responder de la mejor forma a la actividad deportiva, por lo que también entrega una retroalimentación que sirve de mejora a los fabricantes de la indumentaria. En caso que el algoritmo interprete que hay una mejor indumentaria que se adapte mejor a un usuario específico, lo retroalimentará indicando opciones existentes en el mercado.

La actividad física igualmente esta siendo monitoreada constantemente durante un entrenamiento, de modo que retroalimenta al usuario indicando si puede acelerar o disminuir su ritmo con el fin de mejorar su rendimiento sin afectar su capacidad o dosificando el esfuerzo.

En la figura 4 se observa que a partir de la imagen global captada por sistema de visión artificial, la imagen global captada se segmenta en 5 imágenes que abarcan la zona superior del usuario, cabeza y cuello, extremo superior brazo izquierdo, extremo superior brazo derecho, extremo inferior pierna izquierda y extremo inferior pierna derecha. Todos los segmentos son alimentados al algoritmo en conjunto con las señales enviadas por sensores de ritmo cardiaco, nivel de oxígeno, movimiento y sonido ambiente. Estas variables son analizadas y comparadas por el algoritmo respecto de la base de datos que lo alimenta y entrega una respuesta adecuada al usuario en particular. El motor del algoritmo permite poblar la base de datos con la información recibida de modo que el algoritmo también aprende a medida que más usuarios hacen uso del método de la invención, de manera que el espectro de decisión para las recomendaciones se va ampliando generando una mejora continua sobre sí mismo (Inteligencia Artificial), permitiendo de igual modo mejorar el tiempo de respuesta y la corrección de posturas y consecuentemente el rendimiento del usuario en la actividad y acelerando de esta forma el proceso de aprendizaje.

Con referencia a la figura 3, el método es aplicado al aprendizaje de ejecutar un instrumento musical, en este caso un saxofón. La imagen captada en la etapa b) es segmentada en dos imágenes por el sistema de visión artificial. Una imagen con la extremidad superior que muetra al individuo soplando y apoyando los dedos de ambas manos en el instrumento. Una segunda imagen muestra un segmento dedicado al instrumento en particular en donde el análisis se efectúa en la postura de los dedos de ambas manos en el instrumento. Sensores de sonido captan los acordes emitidos por el instrumemto y sensores adicionales de sonido captan el ruido que existe en el entorno. El agoñtmo analiza el movimento de los dedos de los dedos de ambos brazos, la forma en que los labios se posicionan en la boquilla para soplar y el sonido que emite. El agoritmo interpreta que se trata de instrumento de viento y por los sonidos captados determina que se trata de un saxofón, por lo que recurre en tiempo real a la base de datos en donde se encuentra cargada la información de los sonidos de este tipo de instrumento, las técnicas utilizadas para su ejecución y los diferentes tipos de instrumentos del mercado, comenzando de esta forma a efectuar la comparación y retroalimenta al usuario respecto a las posturas que está adoptando, la forma en que debiera ejecutarlas y el tiempo en que debe hacerlo. En esta modalidad, sensores de oxigenación son utilizados para captar la inhalación y exhalación del usuario y los compara con la base de datos que posee los elementos de técnicas de respiración para la ejecución del instrumento, de modo que retroalimenta al usuario respecto de la forma que lo está haciendo y cómo debe corregirlo para una mejor ejecución. Adicionalemente, como el algoritmo utiliza una base de datos con los instrumentos existentes en el mercado, también analizará si el instrumento escogido por el usuario se adapta a su forma de respirar o fisonomía de su boca, pudiendo sugerir desde el cambio de boquilla hasta el cambio del instrumento por uno que se adecúe mejor a su ejecucuón.

De la misma forma, el algoritmo al ir incorporando los parámetros de ejecucuón del usuario, puede recomendar mejora en el instrumento propiamente tal, lo cual puede ser recomendado al fabricante. Con referencia a la figura 5, el método de la invención es aplicado para el análisis y corrección de la postura de la actividad de una mano. El sistema de visión artificial capta la imagen de una mano sosteniendo un mouse y analiza la forma en que la mano está efectuando la acción. Sensores de movimiento asociados permiten captar cómo se mueven los dedos, la muñeca y el antebrazo. Dichos movimiento son analizados fisiológicamente de modo de determinar si las posturas adoptadas no sólo pueden ser mejoradas, sino además si la manera en que el usuario está realizando la actividad puede derivar en problemas traumatológicos por mala postura. En este caso el algoritmo analizará los movimientos del usuario y los comparará con la base de datos y hará las suguerencias de corrección y eventualmente genererá señales de alarma en caso que una lesión se visualice inmimente. El agoñtmo aprenderá los movimientos de la mano del usuario y recomendará la mejor alternativa de cambios posturales con la finalidad de llegar lo mas temprano posible a la postura adecuada de la actividad y así evitar lesiones o impedimentos traumatológicos. Y por supuesto lograr el aprendizaje deseado.

Con referencia a la figura 6, el método es aplicado a la actividad de la ejecución de un piano. Al igual que en el caso del saxofón antes descrito, el algoritmo analizará las imágenes de la postura de las manos, en este caso sobre el teclado del piano, como se mueven los dedos, la posición de los brazos, la presión ejercida sobre las teclas y los sonidos emitidos por el piano. A partir de los datos captados, el algoritmo analiza la información y lo compara con los datos de la base datos, incorpora los datos obtenidos y retroalimenta al usuario en cuanto a las posturas, la presión en las teclas y cómo cambia la ejecucuón dependiendo de la forma en que se toca el instrumento, sugiriendo los cambios pertinentes para mejorar la interpretación.