PARTICIPANTES

DESCRIPCIÓN

Campo técnico de la invención

La presente invención se relaciona con los dispositivos y sistemas para monitorizar el desarrollo de una práctica deportiva o de otro tipo con actividad motora con varios participantes.

Estado de la Técnica

Recientemente, los teléfonos móviles inteligentes cuentan con sensores para medir diferentes variables físicas. También, desde hace unos años, existen dispositivos ponibles denominados comúnmente wearables, como los que recogen información inercial y parámetros biométricos y fisiológicos adicionales. También se puede recoger información del entorno a través de dispositivos desarrollados dentro del llamado Internet de las Cosas, por ejemplo, para medir la temperatura de la sala o la presión que se ejerce sobre el suelo, que pueden llamarse contextúales. Todas estas variables aportan información física.

Estos dispositivos correctamente dispuestos sobre la persona y/o sus complementos para la realización de la actividad (por ejemplo, pulseras), vestimenta específica e incluso en el entorno físico donde se desarrolla la actividad, sirven para adquirir datos de utilidad para analizar la correcta práctica de una actividad motora.

Sin embargo, existen limitaciones para emplear estos datos junto con imágenes reales obtenidas durante la práctica entre dos o más participantes para ofrecer información en tiempo real e incluso un análisis a posteriori de la práctica realizada y posibles mejoras relacionadas con la ejecución, seguridad, rendimiento, motivación (i.e., estado mental/emocional), etc., especialmente de forma síncrona entre los participantes.

Se desconocen soluciones tecnológicas que den respuesta a estas necesidades. i Breve descripción de la invención

Sería pues deseable disponer de un sistema para realizar un análisis instantáneo de la práctica monitorizada para identificar movimientos tipificados por cada participante y enriquecer la información de las imágenes grabadas por una o varias cámaras. Se debe cuidar la ergonomía de los sensores portados por los participantes para no impactar en el desempeño de la actividad.

Mediante el sistema objeto de la presente invención es posible obtener múltiples ventajas. Por ejemplo, se pueden identificar los movimientos realizados por cada participante al comparar sus señales con los de los movimientos tipificados almacenados en un repositorio. Se pueden enriquecer las imágenes grabadas (mediante sobreimpresión de etiquetas informativas) con datos relevantes recogidos por sensores o con la identificación de los movimientos. Se pueden representar de forma esquemática los movimientos realizados. Se pueden detectar fallos en movimientos realizados por los participantes comparándolos con movimientos tipificados ejecutados por un experto. Se pueden comparar los esfuerzos que realizan los participantes de una forma más cuantitativa y avisar cuando no sean los esperados, tanto para prevenir lesiones como para ayudar en el aprendizaje de los movimientos. También se puede detectar la motivación del participante a la hora de ejecutar los movimientos, por ejemplo, si está concentrado o no. Se puede incluso identificar cadenas de movimientos, reacciones frecuentes a los movimientos de otros participantes, etc. y en el caso de un combate, por ejemplo, si la estrategia de cada participante es defensiva u ofensiva. Esto último puede ayudar a predecir el resultado (por ejemplo, victoria o derrota). Todo esto se logra aplicando un algoritmo inteligente que otorgue diferentes pesos a la información recogida por los sensores en combinación con información de los movimientos identificados bien individualmente para cada participante, bien teniendo en cuenta la acción-reacción entre participantes. En todo caso, el sistema puede ser de utilidad para detectar el inicio del movimiento antes de que se perciba por el ojo humano, permitiendo a los practicantes mejorar la anticipación al movimiento del otro participante. También se puede informar en tiempo real al propio participante mediante voz (sintética o natural) o actuador táctil ubicado sobre el cuerpo o vestimenta del participante cómo está ejecutando los movimientos.

Algunas ventajas anteriores se refieren a los participantes y al entrenador, otras ventajas se relacionan con la retransmisión de la práctica que puede ser enriquecida con información sobre los movimientos realizados. Aparte de las anteriores, es importante destacar que existe una ventaja específica para el procesamiento que se aborda a continuación.

Disponer de varias fuentes de información, una de carácter visual con las imágenes grabadas y otra inercial con los sensores de aceleración, una tercera fisiológica o biométrica con datos de constantes corporales del participante y una cuarta con información contextual es útil para identificar de forma más precisa y más rápida un movimiento realizado por un participante. Incluso, se puede identificar el movimiento al comienzo del mismo sin esperar a que finalice. Cruzando los datos esperables obtenidos por los sensores se puede descartar o confirmar un posible candidato a movimiento tipificado realizado por dicho participante. Se puede descartar o confirmar, por ejemplo, en relación al movimiento previo realizado por otro participante. Usar los datos de los sensores inerciales y fisiológicos en diferentes momentos, bien de un participante, bien de varios participantes, proporciona mayor precisión en el resultado y menor carga computacional en el proceso de imágenes.

El movimiento tipificado de la práctica incluye una secuencia de imágenes patrón e información sobre los rangos de las mediciones de variables físicas. Reduciendo el conjunto de movimientos tipificados compatibles con los datos de los sensores se obtiene una mayor rapidez para llegar al resultado. Un ejemplo de movimiento tipificado es una patada lateral que se puede caracterizar por varias imágenes en las que el cuerpo del participante va adoptando diferentes posturas (levanta la rodilla de la pierna de ataque, gira el pie de la pierna de apoyo, etc.). En cuanto a los datos de los sensores se puede caracterizar inercialmente por una inclinación hacia atrás del cuerpo; contextualmente por un cambio de presión de dos pies a uno sólo; fisiológicamente se puede identificar un lapso de tiempo con la respiración contenida. Este movimiento va a generar en el oponente una reacción mediante otro movimiento para desviarse de la trayectoria del golpe y poder lanzar su ataque por otro lado.

La precisión y la rapidez son importantes ya que para establecer una relación síncrona y en tiempo real de la información recogida de los sensores con imágenes de los participantes es un reto disponer de datos con una latencia reducida y procesarlos rápidamente.

Breve descripción de las figuras

Para complementar la descripción que se está realizando y con objeto de ayudar a una mejor comprensión de las características de la invención, se acompaña como parte integrante de dicha descripción, un juego de dibujos en donde con carácter ilustrativo y no limitativo, se ha representado lo siguiente:

La FIG. 1A muestra esquemáticamente a dos participantes interactuando a través de sus movimientos.

La FIG. 1B muestra esquemáticamente a tres participantes moviéndose independientemente según una secuencia de movimientos estipulada.

La FIG. 2 muestra esquemáticamente una secuencia de dos movimientos de una práctica con dos participantes, donde los movimientos son captados con sensores y usando las cámaras instaladas en sendos drones de forma equidistante

La FIG. 3 muestra esquemáticamente dos participantes con actuadores instalados para recibir información sobre los movimientos realizados analizados por el sistema de forma inmediata (además de sensores inerciales y fisiológicos sobre los participantes y sensores contextúales en el entorno, así como cámaras fijas, todo ello para la recogida de información).

La FIG. 4 un diagrama esquemático de bloques funcionales de acuerdo con la invención.

Referencias numéricas:

1a, 1b: Sensor inercial.

2a, 2b, 2: Cámara.

3a, 3b: Unidad inalámbrica.

4a, 4b: Sensor fisiológico.

5a, 5b: Dron.

6: Sensor contextual.

7: Ordenador.

8a, 8b: Actuador.

10a, 10b, 10c: Participante.

11: Pantalla.

12: Interfaz.

16: Unidad de comunicación del sensor contextual.

20: Entrenador. 71 Procesamiento de vídeo.

72 Función comparación de imágenes.

73 Valores medidos por sensores.

74 Información relacionada con un movimiento detectado.

75 Función de control del dron.

76 Función de control de la cámara.

77 Indicadores de rendimiento.

78 Repositorio con imágenes patrón y rangos esperables.

79 Repositorio adicional de datos previos de participantes.

Descripción detallada de la invención

La FIG. 1A ilustra una práctica de tipo libre donde dos participantes 10a, 10b interactúan entre sí al realizar los movimientos, condicionando los siguientes movimientos. Por ejemplo, un combate.

La FIG. 1B ilustra una práctica estipulada en un caso sin interacción donde unos participantes 10a, 10b, 10c ejecutan los movimientos de forma conjunta sin influencia directa entre sí (aunque deben, por ejemplo, repartirse el espacio en la sala para no chocarse y tratar de hacer el mismo movimiento simultáneamente). Por ejemplo, una coreografía.

El sistema descrito propone nuevas técnicas para la medición de parámetros inerciales, fisiológicos y contextúales de utilidad y su relación con imágenes captadas en el momento de la medición para realizar un análisis tanto de un participante individualmente como con otro participante para efectuar comparativas y recomendaciones bien con referencia a la práctica previa de los propios participantes o bien de otros participantes que hayan realizado la práctica en el pasado.

El sistema se puede aplicar tanto a una práctica de movimientos libres (FIG. 1 A) como a una práctica con secuencias de movimientos estipulados (FIG. 1B). Una realización esquemática del sistema para dos participantes 10a, 10b en dos instantes de tiempo se ilustra en las FIG. 2A y 2B. Notar que en la FIG 2A el participante 10a está a la izquierda y el 10b a la derecha, mientras que en la FIG 2B, que refleja un momento de tiempo posterior, el participante 10a se ha desplazado a la derecha con un salto y el 10b se ha colocado a su izquierda, y en ambos casos, el dron que sigue a cada participante mantiene la misma distancia y ángulo con el participante al que está asociado. El sistema incluye los siguientes dispositivos: Sensores inerciales 1a, 1b (generalmente un acelerómetro y un giroscopio) y sensores fisiológicos 4a, 4b (sensor cardiaco, sensor de temperatura corporal, sensor de respiración, etc.).

Una cámara 2a, 2b instalada en un dron 5a, 5b.

La información se envía de forma inalámbrica a unos medios de proceso 7 mediante una unidad inalámbrica 3a, 3b (por ejemplo, basada en una placa de Arduino).

La información se puede enriquecer con sensores contextúales 6 (un GPS, termómetro de sala, sensor de presión de suelo).

Unos medios de proceso incluyen un ordenador 7 y una placa de Arduino con una unidad inalámbrica 3a, 3b instalada en cada participante 10a, 10b para gestionar los sensores inerciales 1a, 1b y fisiológicos 4a, 4b, así como los contextúales 6 con su correspondiente unidad de comunicación 16 cableada con el ordenador 7 aunque puede ser también inalámbrica. Cada cámara 2a, 2b graba las imágenes y las envía al ordenador 7. Se transmiten así de forma continua los datos de imágenes de vídeo y los datos de valores de los sensores. En el ordenador 7, los datos de vídeo se procesan para extraer patrones en las imágenes que correspondan con movimientos tipificados asociados a la práctica concreta. En este ejemplo son dos las cámaras 2a, 2b cada una instalada en un dron 5a, 5b que se controla desde el ordenador 7 para mantener una distancia fija d _a , d _b con el participante 10a, 10b que está siendo grabado.

El ordenador 7 recibe cada intervalo de tiempo mensajes de cada unidad de comunicación inalámbrica 3a, 3b de cada participante 10a, 10b con valores medidos así como de la unidad de comunicación 16 (que puede ser también inalámbrica) para transmitir los datos de los sensores contextúales 6 de variables físicas del entorno. También recibe de las cámaras 2a, 2b una secuencia de imágenes de cada participante 10a, 10b. Detecta el inicio de un movimiento identificando articulaciones en el cuerpo de cada participante y localizando cambios entre dos imágenes respecto de las articulaciones. De esta forma, es posible identificar, sincronizadamente en cada intervalo de tiempo y para cada participante, un movimiento tipificado de la práctica que sea compatible con el inicio de movimiento detectado y con los correspondientes valores medidos por los diferentes sensores inerciales 1a, 1b e incluso fisiológicos 4a,

4b.

El empleo de los datos de los sensores inerciales 1a, 1b es de ayuda para reconocer movimientos tipificados (por ejemplo, un gancho, una patada lateral, etc. tienen asociados determinados valores de magnitudes físicas medióles por sensores) y procesar de forma más eficiente las imágenes de la cámara 2a, 2b. También es de ayuda para el procesado de imágenes de un participante, ya que en el caso de que exista una asociación entre movimientos tipificados ya sea de un mismo participante (concatenación de movimientos) o del contrario (pareja de movimientos acción- reacción) se puede ahorrar tiempo de procesamiento descartando movimientos no asociados frecuentemente y se puede aumentar la precisión confirmando que un determinado movimiento es frecuente que se produzca en asociación con otros.

Se ilustra en la FIG. 3 otro ejemplo sin drones donde hay una única cámara 2 fija y los participantes 10a, 10b también incorporan sensores fisiológicos tales como de ritmo respiratorio, de ritmo cardiaco, de sudoración, de temperatura corporal, de ondas cerebrales EGG, de activación muscular EMG, etc. Se emplean algoritmos que indican y detectan cuándo se inicia y dónde el movimiento de lo que la cámara 2 está captando. Con los movimientos tipificados identificados junto con información de los sensores inerciales 1a, 1b, sensores fisiológicos 4a, 4b y sensores contextúales 6 se puede mostrar información de cada participante 10a, 10b para que sea visualizada por ejemplo en una pantalla 11 para el público o para el entrenador, o bien de forma exclusiva para el entrenador 20 en una interfaz 12 que le permite revisar y modificar el funcionamiento del sistema. La información se envía al ordenador 7 desde los sensores inerciales 1a, 1b, sensores fisiológicos 4a, 4b con la unidad de comunicación inalámbrica 3a, 3b. La información de los sensores contextúales 6 se envía con una unidad de comunicación 16 (en este caso inalámbrica). Mostrar la información puede hacerse dividiendo una pantalla 11 en varios paneles, uno por participante, donde se visualizar en tiempo real simultáneamente los movimientos tipificados con los datos de ambos. A través de una interfaz 12 asociada al ordenador 7, el entrenador 20 puede revisar y modificar el funcionamiento del sistema. También puede generar el sistema información para trasladarla al propio participante mediante actuadores 8a, 8b (de forma táctil o auditiva) a través de las unidades inalámbricas 3a, 3b que están gestionadas desde el ordenador 7. Esta información puede ser en forma de avisos o recomendaciones inferidas del análisis realizado de la práctica.

En el ordenador 7, una aplicación puede calcular, para posteriormente mostrar en la pantalla 11, la evolución del movimiento con datos de las imágenes y de los sensores inerciales a través de un vector de orientación. Es posible también estimar el esfuerzo que realiza cada participante a partir de la distancia recorrida, los valores de los sensores inerciales, el pulso, el ritmo respiratorio, etc. De esta forma, el sistema puede programarse para proporcionar estimaciones del esfuerzo de acuerdo con una definición dada. Más adelante se ofrece un ejemplo.

En la FIG. 4 se muestra un diagrama de bloques funcionales del sistema. Los sensores inerciales 1a miden variables físicas de cada participante, los sensores contextúales 6 miden variables físicas del entorno, los sensores fisiológicos 4a miden variables corporales y una unidad inalámbrica 3a envía, cada intervalo de tiempo, un mensaje con los valores medidos de los sensores portados por cada participante. Otra unidad de comunicación 16 se encarga de enviar los datos de los sensores contextúales 6. Por claridad de la ilustración, solamente se muestran los elementos (sensores, actuadores y unidad inalámbrica) para un participante 10a. Se debe entender que el sistema puede gestionar sensores y actuadores de múltiples participantes.

El ordenador 7 recibe los datos de sensores de manera inalámbrica junto con la secuencia de imágenes grabadas por una cámara 2a de un dron 5a. El ordenador 7 procesa, de forma sincronizada cada intervalo de tiempo, datos de sensores e imágenes. Detecta en la secuencia de imágenes el inicio de un posible movimiento, identificando un movimiento tipificado de la práctica compatible con la información recogida. El movimiento tipificado de la práctica se define a partir de una secuencia de imágenes patrón e información sobre los rangos de las mediciones de variables físicas con los que comparar. Tras el proceso, el ordenador 7 puede transmitir información de los movimientos tipificados identificados de cada participante. Esta información de movimientos tipificados puede ser en forma de etiquetas para mostrarse en una pantalla 11, en la interfaz 12 del ordenador 7 en la que el entrenador 20 puede revisar y modificar el funcionamiento del sistema, o también se puede adaptar para trasladarse al propio participante mediante un actuador 8a como mensajes de audio, o secuencias de vibración.

En el procesamiento de la información temporal se pueden utilizar técnicas de alineamiento dinámico temporal (dynamic time warping -DTW) y algoritmos basados en los modelos ocultos de Markov. Al comparar señales de sensores inerciales se identifican los puntos en los que se diferencian los movimientos. Si la práctica es un combate, donde los movimientos son libres, también puede detectar una secuencia de movimientos seguidos y buscar coincidencias con patrones de movimientos almacenados.

Los videos se forman mediante secuencias de imágenes obtenidas también de forma periódica en instantes de tiempo según indique la frecuencia de muestreo de la cámara 2a. Esta secuencia de imágenes se recibe como un flujo sin necesidad de almacenamiento durante el proceso.

Las imágenes recibidas son procesadas en tiempo real (por ejemplo con JavaCV) para detectar movimientos que pueden alternarse entre participantes. Una vez detectados, los medios de proceso pueden mostrar determinados puntos del cuerpo del participante donde se inicia un movimiento tipificado para comprobar que se realiza con la técnica óptima. Algunos algoritmos adecuados para el análisis de las imágenes son:

- Algoritmos de detección de movimiento mediante comparación con el fondo. De inicio el fondo está negro, según aparece el movimiento se capta parte del cuerpo que se está moviendo en la zona de visión. En color blanco se muestra el objeto en movimiento.

- Algoritmos de detección mediante puntos en movimiento en el campo visual de la cámara donde identifica qué parte del cuerpo está moviendo. Esto es útil para saber si un participante, por ejemplo, un luchador a la hora de lanzar un ataque en un combate mueve muchas partes más de lo debido, o si el ataque es limpio y correcto.

Es posible filtrar características en las imágenes según interese para una práctica determinada. También pueden aplicarse otros algoritmos de visión artificial para identificar puntos de articulación, capturar posturas corporales y reconocer ciertas 'combinaciones' (concatenación de una sucesión de movimientos predeterminados). El sistema puede realizar múltiples análisis a partir de los valores recogidos. Por ejemplo, en el caso de un combate, estimar el nivel de cada participante en la práctica, clasificar si la estrategia es ofensiva o defensiva, o predecir posible victoria/derrota.

Como ejemplo práctico se emplea el caso del Karate en donde se pueden desarrollar combates denominados kumites. Si se establece un modelo de datos para ayudar a identificar el tipo de estrategia utilizada (que sería la clase), un ejemplo de las características que se podrían considerar son el cinturón (nivel), la altura, el pulso medio desde el inicio hasta el momento actual, el pulso instantáneo en ese momento, y el esfuerzo actual, acumulado, e incluso la diferencia de su esfuerzo con la del otro participante. Se podrían usar tantas características (y posibles características derivadas tanto en el dominio del tiempo como de la frecuencia a partir de ellas) como información proporcionen los sensores utilizados.

Con esa información, mediante técnicas de Inteligencia Artificial que pueden consistir en algoritmos de clasificación (árboles de decisión, bosque aleatorio, máquinas de vector soporte, redes neuronales, vecino más cercano, regresión logística, bayesiano, etc.), se compara cuál de los algoritmos probados da mejores clasificaciones y qué características de las empleadas son las que aportan mayor información para la clasificación (lo cual es especialmente importante cuando el número de características consideradas es muy alto).

Con la selección de un algoritmo de clasificación y de unas características discriminantes se puede hacer una predicción con un porcentaje de probabilidad según los ejemplos utilizados. Si el número de ejemplos utilizados es variado y grande, y si no cambian significativamente las características de los datos de entrada, el algoritmo proporcionará resultados consistentes. En caso contrario, habría que reentrenar al algoritmo de clasificación y/o seleccionar otro más apropiado y/u otro conjunto de características.

A partir de los datos obtenidos por los sensores inerciales, se realiza una construcción de un vector de visualización del movimiento. Este vector de orientación indica la direccionalidad del movimiento en función de la posición que toma cada participante durante la práctica. A partir del módulo del vector de aceleración, la velocidad inicial, la distancia recorrida y la cantidad de tiempo, se puede hacer una estimación del esfuerzo. Por ejemplo, se puede definir y calcular el esfuerzo obteniendo el módulo de las coordenadas del acelerómetro y dividiendo esta distancia por una medida de pies que da un número de pies recorrido o esfuerzo. Más concretamente, el esfuerzo total realizado que es un cálculo aproximado en función de la distancia recorrida.

Fórmula para distancia desde la aceleración d = vt + (1/2)at ² d distancia recorrida en un tiempo determinado (t); v velocidad inicial; a es la aceleración; t cantidad de tiempo (t);

Se calcula la distancia obteniendo la velocidad de los datos del giroscopio y la aceleración del acelerómetro. De la distancia, dividiendo el valor por una distancia similar a un paso nos sale el esfuerzo realizado por cada participante.

Esfuerzo = d (distancia) / medida (paso)

La resta de los esfuerzos de los dos participantes indica quién realiza más esfuerzo. Para obtener el paso, se pueden utilizar sensores contextúales consistentes en colchonetas sensorizadas que miden la presión sobre el suelo.

Recapitulando, de forma general, el ordenador 7 se puede encargar de diversas tareas entre las que se destacan en la FIG. 4 el control de movimiento 75 del dron 5a, el control 76 de la cámara 2a, el procesamiento del vídeo 71 incluyendo la comparación de imágenes 72 para identificar un movimiento tipificado almacenado en un repositorio 78 con secuencias de imágenes patrón y rangos esperables de valores de sensores que se comparan con los valores medidos 73 por los diferentes sensores 1a, 4a, 6 en tiempo real. De esta forma se puede determinar el movimiento tipificado y enviar la información 74 relacionada con dicho movimiento a los actuadores 8a para que el participante pueda conocerla. En un repositorio adicional 79 se almacenan datos históricos de prácticas previas de los participantes con objeto de inferir indicadores 77 relacionados con el rendimiento de la práctica actual. Esta información se puede enviar a los actuadores 8a para que el participante 10a pueda conocerla también. También se puede enviar a una pantalla 11 para que la visualice el público, el participante o el entrenador 20 (esta información también puede mostrarse en la interfaz 12 que usa el entrenador 20 para revisar y modificar el funcionamiento del sistema).