Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
AUTOMATIC DETECTION OF EMOTIONS VIA EATING HABITS
Document Type and Number:
WIPO Patent Application WO/2021/165553
Kind Code:
A1
Abstract:
The automatic detection of emotions via eating habits. Emotional states are related to eating patterns that affect us in our daily lives. For this reason, it is of interest to develop models that relate emotions with eating behaviour and changes therein. Most of the models require an interpretation of the emotion by the subject himself or by an observer. The present invention proposes the automatic detection of the user's emotion by using the so-called "Internet of Things". Specifically, the method is based on the use of a smart kitchen cupboard equipped with sensors and a data processing board capable of detecting the user's eating habit behaviour or changes therein, based on the food removed from the cupboard by the user.

Inventors:
GARCÍA-MAGARIÑO GARCÍA IVÁN (ES)
GONZÁLEZ LANDERO FRANKS EDISON (ES)
Application Number:
PCT/ES2021/070066
Publication Date:
August 26, 2021
Filing Date:
January 28, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
UNIV MADRID COMPLUTENSE (ES)
International Classes:
G06F9/44; G05B15/02; G06F7/00; G06N5/00
Other References:
GONZÁLEZ-LANDERO FRANKS, GARCÍA-MAGARIÑO IVÁN, AMARIGLIO REBECCA, LACUESTA RAQUEL: "Smart Cupboard for Assessing Memory in Home Environment", SENSORS, vol. 19, no. 11, pages 2552, XP055849004, DOI: 10.3390/s19112552
GARCIA-MAGARINO IVAN; GONZALEZ-LANDERO FRANKS; AMARIGLIO REBECCA; LLORET JAIME: "Collaboration of Smart IoT Devices Exemplified With Smart Cupboards", IEEE ACCESS, IEEE, USA, vol. 7, 1 January 1900 (1900-01-01), USA, pages 9881 - 9892, XP011707072, DOI: 10.1109/ACCESS.2018.2890393
GARCIA-MAGARINO IVAN; MUTTUKRISHNAN RAJARAJAN; LLORET JAIME: "Human-Centric AI for Trustworthy IoT Systems With Explainable Multilayer Perceptrons", IEEE ACCESS, IEEE, USA, vol. 7, 1 January 1900 (1900-01-01), USA, pages 125562 - 125574, XP011745760, DOI: 10.1109/ACCESS.2019.2937521
MESTRY MADHURA; MEHTA JIGESH; MISHRA AJIT; GAWANDE KIRAN: "Identifying associations between smartphone usage and mental health during depression, anxiety and stress", 2015 INTERNATIONAL CONFERENCE ON COMMUNICATION, INFORMATION & COMPUTING TECHNOLOGY (ICCICT), IEEE, 15 January 2015 (2015-01-15), pages 1 - 5, XP032737745, DOI: 10.1109/ICCICT.2015.7045656
Attorney, Agent or Firm:
GONZÁLEZ PECES, Gustavo Adolfo (ES)
Download PDF:
Claims:
REIVINDICACIONES

1. Método para detección automática de emociones relacionadas con el estrés y la ansiedad caracterizado porque emplea un armario inteligente formado por varios compartimentos dotados de puertas con sensores unidos a un placa de procesamiento de datos y que comprende las siguientes etapas:

(a) Adaptar el sistema al usuario clasificando y colocando alimentos en cada compartimento según el estado emocional del usuario. (b) Medir el estado emocional basal del usuario

(c) Detectar y analizar, a través de sensores unidos a cada compartimento, la apertura y cierre de cada uno de ellos.

(d) Interpretar las señales recibidas desde los sensores mediante un algoritmo para identificar el estado emocional del usuario.

2. Método para detección automática de emociones relacionadas con el estrés y la ansiedad, según reivindicación 1, donde la interpretación de las señales recibidas desde los sensores se realiza mediante un algoritmo escrito en Phyton para adaptarse a cada usuario.

3. Método para detección automática de emociones relacionadas con el estrés y la ansiedad, según reivindicación 1, donde el usuario clasifica y reparte los alimentos en tres compartimentos del armario según los relacione con estrés (compartimento 1), con ansiedad (compartimento 2) o con calma (compartimento 3).

4. Método para detección automática de emociones relacionadas con el estrés y la ansiedad, según reivindicación 1, donde el estado emocional basal del usuario se mide mediante la escala DASS-21.

5. Armario inteligente para la detección automática de emociones según el método reivindicado que comprende un hardware y varios compartimentos dotados de puertas con sensores magnéticos. 6. Armario inteligente para la detección automática de emociones, según reivindicación 5, donde el hardware está formado por una placa de

HOJA DE REEMPLAZO (REGLA 26) procesamiento y un programa para procesar las señales procedentes de los sensores.

7. Armario inteligente para la detección automática de emociones, según reivindicación 5, donde cada sensor consta, a su vez, de dos piezas: una fijada a la puerta y la otra en el punto de la base del armario donde se junta cuando el armario está cerrado.

8. Armario inteligente para la detección automática de emociones, según reivindicaciones 5 a 7, donde cada pieza del sensor de la base del armario está conectada a la placa de procesamiento mediante cables.

9. Armario inteligente para la detección automática de emociones, según reivindicaciones 5 a 8, donde la placa de procesamiento está conectada a internet, que proporciona información sobre cómo colocar los alimentos y detecta la ansiedad o el estrés del usuario en función del tipo de dieta observada a través de las aperturas de sus diferentes puertas.

HOJA DE REEMPLAZO (REGLA 26)

Description:
DETECCIÓN AUTOMÁTICA DE EMOCIONES A TRAVÉS DE HÁBITOS

ALIMENTARIOS

SECTOR DE LA TÉCNICA

La invención se encuadra en el sector de Internet de las Cosas (el uso de objetos cotidianos conectados a Internet). De forma más concreta se refiere a mobiliario para el hogar conectado a la red para la detección automática de emociones. Se describe un armario de cocina dotado de sensores que permite obtener información sobre su uso y relacionar esta información con el estado emocional del usuario.

ANTECEDENTES DE LA INVENCIÓN

Los estados emocionales están relacionados con patrones de alimentación que nos afectan en nuestra vida diaria. El manejo de los estados de ánimo negativos tiene una gran influencia en la presencia de trastornos alimentarios (Cooper, P.J. and Taylor, M.J. The British Journal of Psychiatry, vol. 153, no. S2, PP. 32-36, 1998). Por ejemplo, si una persona ha pasado por una situación estresante que le ha llevado a un alto gasto de energía, su cuerpo le requiere segregar más insulina para compensar la energía gastada y tomar alimentos ricos en grasas y colesterol que son fuentes de insulina. Se ha demostrado que la depresión y la ansiedad pueden dar lugar a obesidad (Calderón, C. et al. Nutrición Hospitalaria, vol. 25, no. 4, pp. 641-647, 2010) ya que determinados comportamientos relacionados con desórdenes alimentarios están relacionados con la presencia de síntomas de depresión y ansiedad (Gossens, L. et al. Eating Behaviors, vol. 10, no. 1, pp. 71-73, 2009; Courtney, E.A. et al. Eating Behaviors, vol. 9, no. 4, pp. 408-414, 2008).

Por este motivo, resulta de interés el desarrollo de modelos que relacionen emociones con la conducta y cambios alimentarios. La mayoría de los modelos actuales se basan en realizar un registro de los alimentos que toma una persona e intentar relacionarlos con su estado de ánimo, pero requieren de una interpretación de la emoción por parte del mismo sujeto o por parte un observador. Para salvar este inconveniente ya existen

HOJA DE REEMPLAZO (REGLA 26) también en la literatura trabajos sobre detección automática de emociones; muchos de ellos se basan en la detección de emociones a partir de análisis de imágenes faciales (US7003139) ; otros relacionan el concepto de electrodoméstico con emoción, como el método descrito en el documento WO2018135502 donde se relacionan los colores mostrados por los electrodomésticos de la casa metafóricamente con las emociones esperando así potenciar dichas emociones con los usuarios.

En la presente invención se propone la detección automática de la emoción del usuario simplemente a través de su interacción habitual con los con los objetos cotidianos de la vida diaria, utilizando para ello el llamado “Internet de las Cosas”, que permite actualmente el desarrollo de herramientas muy útiles en la vida diaria. La idea básica del modelo es la presencia de una variedad de cosas (radiofrecuencias, etiquetas, sensores, actuadores, teléfonos móviles, etc.) que son capaces de interactuar entre sí para alcanzar objetivos comunes. Ya se ha utilizado para mejorar productos básicos, ciudades, establecer modelos de ahorro de energía e, incluso, aplicarlo en el sector de la salud como, por ejemplo, para monitorización de signos vitales.

De forma más concreta, la invención propone el uso de un armario de cocina inteligente que detecta emociones a partir de conductas y cambios alimentarios de forma que se puede realizar un seguimiento emocional sin necesidad de que el usuario haga ninguna actividad específica ni una interpretación de sus propias emociones (como responder a cuestionarios o medirse la conductividad de la piel) de forma que puede seguir su evolución emocional sin gastar tiempo ni dinero y de forma objetiva.

EXPLICACIÓN DE LA INVENCIÓN

El método de detección de emociones relacionadas con el estrés y la ansiedad de la presente invención se basa en un armario de cocina inteligente capaz de detectar conductas o cambios en los hábitos alimentarios del usuario basándose en las comidas extraídas del armario por el usuario. El usuario no tiene que realizar ninguna actividad específica para detectar la emoción por lo que puede conocer su evolución emocional de forma remota y sin gastar tiempo ni esfuerzo.

El método comprende las siguientes etapas:

(a) Adaptar el sistema al usuario clasificando y colocando alimentos en

HOJA DE REEMPLAZO (REGLA 26) cada compartimento según el estado emocional del usuario.

(b) Medir el estado emocional basal del usuario

(c) Detectar y analizar, a través de sensores unidos a cada compartimento, la apertura y cierre de cada uno de ellos.

(d) Interpretar las señales recibidas desde los sensores mediante un algoritmo para identificar el estado emocional del usuario.

Para ello, el armario (Figuras 1 y 2) dispone de dos partes: un hardware compuesto por una placa de procesamiento y un programa para procesar las señales y diferentes compartimentos dotados de puertas con sensores magnéticos.

Cada sensor consta, a su vez, de dos piezas: una fijada a la puerta y la otra en el punto de la base del armario donde se junta cuando el armario está cerrado. De esta manera, cada pareja de piezas del sensor está unida cuando la correspondiente puerta está cerrada y separada cuando la puerta está abierta. Cada pieza del sensor de la base del armario está conectada a una placa de procesamiento conectada, a su vez, a Internet. La placa de procesamiento proporciona instrucciones de cómo colocar los alimentos y detecta la ansiedad o el estrés según el tipo de dieta del usuario observada a través de las aperturas de las puertas.

Para detectar e interpretar las señales procedentes de los sensores, se utiliza un algoritmo escrito en Phyton. Las señales se generan cuando se abren y se cierran las puertas de los compartimentos. El proceso de análisis de las mismas se divide en dos casos: (a) el usuario abre un compartimento y saca un alimento (Figura 3) y (b) el usuario abre un compartimento pero no está el alimento deseado porque está en otro compartimento (Figura 4).

En realidad, entre la apertura y el cierre de un compartimento pueden ocurrir varias cosas: que el usuario encuentre dentro el alimento que busca, lo coja y cierre; que el usuario no encuentre lo que busca, cierre este compartimento y abra otro compartimento. Por este motivo, el modelo no considera que el usuario ha cogido un alimento hasta que no pasa un tiempo desde que la puerta se ha cerrado después de abrirla. Dicho de otro modo, el sistema considera que el usuario no ha cogido un alimento de un compartimento hasta que no transcurren 10 segundos sin abrir otra puerta. En el caso de abrir una segunda puerta, el sistema funciona del mismo modo:

HOJA DE REEMPLAZO (REGLA 26) considera que cogió el alimento del primer compartimento y espera 10 segundos antes de grabar el dato de alimento cogido.

Para estimar las emociones se hacen medidas en diferentes fases. En primer lugar, se toman datos para conocer el estado inicial del usuario; posteriormente se muestra el funcionamiento del armario y se prueba su uso.

Una vez adaptado el sistema al usuario (tipo de alimento en cada compartimento), los sensores de cada compartimento permiten conocer lo alimentos que consume y, mediante un algoritmo, se establece una relación que permite identificar su estado emocional.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

Figura 1. Muestra un esquema de la vista frontal del armario inteligente que consta de tres compartimentos, cada uno de ellos provisto de una puerta (1), un imán (2) y un sensor magnético (3), estos últimos unidos a una placa de procesamiento de datos (4) mediante cables (5).

Figura 2. Muestra un esquema de la vista lateral del armario.

Figura 3. Esquema del proceso de obtención y análisis de datos en el caso de un usuario que abre un compartimento del armario inteligente y saca un alimento.

Figura 4. Esquema del proceso de obtención y análisis de datos en el caso de un usuario que abre un compartimento pero no saca alimento.

Figura 5. Gráfico de barras para frecuencias absolutas de la variable SC Ansiedad o estrés entre (a) los casos en los que el usuario es inducido con ansiedad o estrés y (b) los casos donde al usuario se le induce calma.

Figura 6. Gráfico en estrella de frecuencias absolutas de la variable SC Ansiedad o estrés entre (a) los casos en los que el usuario es inducido con ansiedad o estrés y (b) los casos donde al usuario se le induce calma.

HOJA DE REEMPLAZO (REGLA 26) REALIZACIÓN PREFERENTE DE LA INVENCIÓN

La presente invención se ilustra mediante ejemplos que no pretender ser limitativos de su alcance.

Ejemplo 1.

En este ejemplo se muestra el funcionamiento del algoritmo suponiendo un armario con tres compartimentos. El compartimento 1 contiene alimentos relacionados con el estrés, el compartimento 2 contiene alimentos relacionados con la ansiedad y el compartimento 3 alimentos no relacionados con el estrés ni con la ansiedad y son saludables.

Para estimar las emociones del usuario el sistema considera cinco variables que se presentan con las siglas SC por el nombre en inglés del armario inteligente ( Smart Cupboard). Estas métricas son: (a) SC Estrés, (b) SC Estrés’, (c) SC Ansiedad, (d) SC Ansiedad’ y (e) SC Estrés o Ansiedad.

SC Estrés viene dada por la ecuación [1] donde E es el número de veces que un usuario extrae comida de un compartimento i, y siendo å =1 C ¿ la suma de extracciones de todos los compartimentos. Esta medida proporciona el porcentaje total de alimentos relacionados con el estrés del total de alimentos.

SC Estrés’ viene dada por la ecuación [2] donde Eci y Ec3 son las veces que un usuario extrae comida de los compartimentos 1 y 3, respectivamente, después de ver un video. SC Estrés’ es similar a la ecuación previa ([1]) pero difiere en que excluye del cálculo comidas que pertenecen al compartimento 2 con el fin de excluir alimentos implicados en otra emoción (ansiedad, por ejemplo) y que, al mismo tiempo, podrían estar relacionados con el estrés.

SC Estrés' = — — — xlOO [2]

Eci+Ecs L J

SC Ansiedad se calcula mediante la ecuación [3] donde Ec å son las veces que una usuario extrae comida del compartimento 2 justo después de ver un video. Como en el

HOJA DE REEMPLAZO (REGLA 26) caso de la ecuación [1], proporciona el porcentaje de alimentos comidos pero relacionados con la ansiedad.

SC Ansiedad’ viene dada por la ecuación [4] donde todos los componentes de la ecuación han sido descritos anteriormente y excluye los alimentos del primer compartimento.

Finalmente, la métrica “SC Estrés o Ansiedad” viene dada por la ecuación [5] cuyos términos también han sido descritos anteriormente. Proporciona la medida de la ansiedad y el estrés y excluye todos los alimentos que no representan ninguna emoción, considerando en número total en el denominador.

Es posible que aparezca un error durante el cálculo de estas variables; este error es una posible división por cero, por ejemplo, al calcular SC Asiedad’, ya que es posible que el usuario no elija un segundo o tercer compartimento o si Ec å es cero y Ec2+Ec3& s cero. En estos casos se considera que el usuario no presenta ansiedad al no abrir otros compartimentos para coger comida. Esta misma consideración se aplica a otros posibles casos donde el denominador de la ecuación resulta cero.

Ejemplo 2.

En este ejemplo se muestra la forma de aplicar el procedimiento de detección de emociones y comprobar sus resultados.

En primer lugar, se toman datos demográficos y se mide el estado emocional inicial del usuario mediante la escala DASS-21 ( Depression Anxiety Stress Scale) posteriormente, se muestra el armario al usuario y se explica el orden de los alimentos en cada uno de los compartimentos y su funcionamiento.

HOJA DE REEMPLAZO (REGLA 26) En este caso, el armario tiene un tamaño de 130 cm de ancho, 71 cm de alto y 29,5 cm de profundidad. En cada uno de los tres compartimentos hay un cartel donde se puede ver qué comida hay dentro. La Tabla 1 muestra este reparto. En el compartimento 1 se colocan alimentos relacionados con el estrés, en el compartimento 2 se colocan alimentos relacionados con la ansiedad y en el compartimento 3 alimentos saludables y no relacionados con las emociones anteriores.

Tabla 1. Relación de comida en cada departamento del armario.

El usuario saca sus cinco alimentos más deseados (del más deseado al menos deseado) y el sistema mide este dato inicial. Una vez terminada esta elección se vuelven a colocar los alimentos en el compartimento correspondiente para que pueda cogerlos de nuevo.

Seguidamente, se inducen emociones en el usuario mediante la visualización de videos. Para provocar ansiedad se muestra un video de un individuo que es aplastado por las paredes de una habitación donde está atrapado; para provocar estrés se muestra un video de una fragmento de la serie “Pesadilla en la cocina” donde el presentador presiona al chef reprochándole que el plato no está bien preparado; para inducir una sensación de relax se muestran videos de paisajes, cascadas o gente haciendo yoga, por ejemplo.

Una vez inducida una emoción, se pide al usuario que confirme la emoción que predominante que ha sentido y saque tres alimentos que le apetezcan del armario y el sistema graba los datos de los sensores. Entre una emoción inducida y otra se distrae al usuario con alguna actividad cotidiana hasta volver a su estado inicial. Este paso de inducir una emoción y elegir posteriormente tres alimentos se repite varias veces para cada emoción y se graban los datos resultantes.

HOJA DE REEMPLAZO (REGLA 26) Las medidas realizadas por los sensores del armario se correlacionan con la información de las emociones que siente el usuario tras ver cada video. El análisis se realiza por medio del coeficiente de correlación de Pearson.

Las figuras 5 y 6 comparan las frecuencias absolutas de los valores SC Ansiedad o Estrés en casos en los que el usuario es inducido con ansiedad o estrés y casos en los que el usuario es inducido a la calma. Se observa que en los casos de calma inducida valores bajos de esta variable (0- 33%) son más frecuentes y en casos de ansiedad o estrés los valores altos son los más frecuentes (66 -100 %). Por tanto, la ansiedad y el estrés están directamente relacionados con esta variable mientras que el estado de calma es inversamente proporcional a esta variable.

HOJA DE REEMPLAZO (REGLA 26)