Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD FOR CATEGORIZING AN OBJECT ON THE BASIS OF AN ELECTROENCEPHALOGRAM SIGNAL
Document Type and Number:
WIPO Patent Application WO/2021/086218
Kind Code:
A1
Abstract:
The invention relates to bioengineering and computer technology, and more particularly to the field of communication between the human brain and a computer (the brain-computer interface), and is intended for categorizing a visual object observed by a person on the basis of electroencephalogram (EEG) signal recognition. The technical result of the invention is greater recognition accuracy using a smaller number of EEG signal features and a high processing speed. A computer-implemented method for categorizing a visual object observed by a person on the basis of EEG signal recognition comprises a preparatory step and a working step. In the preparatory step, a system is calibrated to identify reference patterns and informative features during the processing of EEG signals in response to displayed visual stimuli, and a convolutional artificial neural network is then trained to recognize displayed visual stimuli, and in the working step, the trained artificial neural network recognizes the class of a stimulus displayed by comparing a current pattern that corresponds to the displayed visual stimulus against a reference pattern in the trained convolutional artificial neural network, and then the time and strength of the reaction to the recognized class of visual stimulus are determined.

Inventors:
BOBE ANATOLIJ SERGEEVICH (RU)
KOMAROVA MARIIA VALEREVNA (RU)
ALEKSEEV ANDREI SERGEEVICH (RU)
FASTOVETS DMITRII VLADISLAVOVICH (RU)
Application Number:
PCT/RU2019/000772
Publication Date:
May 06, 2021
Filing Date:
October 29, 2019
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
LIMITED LIABILITY COMPANY NEUROASSISTIVE TECH (RU)
International Classes:
G06T1/40
Other References:
SPAMPINATO C.; PALAZZO S.; KAVASIDIS I.; GIORDANO D.; SOULY N.; SHAH M.: "Deep Learning Human Mind for Automated Visual Classification", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), IEEE COMPUTER SOCIETY, US, 21 July 2017 (2017-07-21), US , pages 4503 - 4511, XP033249805, ISSN: 1063-6919, DOI: 10.1109/CVPR.2017.479
DALIRI M.R. ET AL.: "EEG signature of object categorization from event-related potentials", JOURNAL OF MEDICAL SIGNALS & SENSORS, vol. 3, January 2013 (2013-01-01), pages 37 - 44, XP055932082
RUNNOVA A.E. ET AL.: "Matematicheskie metody raspoznavaniya patternov dvizheniya eksperimentalnykh dannykh mnogokanalnoi elektroentsefalografii cheloveka", VESTNIK TGU,, vol. 21, no. 6, 2016 - 2374, pages 2370
Attorney, Agent or Firm:
KOTLOV, Dmitry Vladimirovich (RU)
Download PDF:
Claims:
ФОРМУЛА ИЗОБРЕТЕНИЯ

1. Компьютерно-реализованный способ определения категории визуального объекта, наблюдаемого человеком, на основе распознавания сигнала ЭЭГ, содержащий процессор для выполнения следующих этапов: первый этап - подготовительный этап, на котором: записывают сигнал ЭЭГ для расчета паттерна визуальных стимулов различных классов, при помощи электродов, посредством предъявления визуальных стимулов различных классов в произвольном порядке; обрабатывают сигналы ЭЭГ для расчета усредненных паттернов для каждого класса визуальных стимулов, ряда информативных признаков, а также осуществляют построение тепловых карт активности мозга на основе информативных признаков; сохраняют усредненные паттерны как эталонные, а также информативные признаки и тепловые карты активности мозга в базу данных; обучают искусственную нейронную сеть распознавать предъявляемые визуальные стимулы на основе анализа сохраненных тепловых карт активности мозга; отклоняют классы визуальных стимулов, уровень распознавания которых не соответствует заданному уровню; второй этап - рабочий, на котором: проведение когнитивного теста при предъявлении пользователю визуальных стимулов различных классов в произвольном порядке; в режиме реального времени, во время проведения когнитивного теста, регистрируют сигналы ЭЭГ при помощи электродов для каждого класса предъявляемого визуального стимула; обрабатывают сигналы ЭЭГ для расчета текущего паттерна и информативных признаков для каждого класса предъявляемого визуального стимула, с последующим определением класса визуального стимула из предъявляемых классов стимулов при проведении когнитивного теста; сравнивают текущий паттерн, соответствующий предъявляемому визуальному стимулу, с эталонным усредненным паттерном в базе данных; на основе текущего паттерна обученная искусственная нейронной сеть выдает результат о наличие или отсутствии реакции на текущий визуальный стимул.

2. Способ по п. 1, отличающийся тем, что искусственная нейронная сеть является свёрточной нейронной сетью.

3. Способ по п. 1, отличающийся тем, что при наличии реакции на текущий визуальный стимул, обученная искусственная нейронной сеть выдает результат о

6

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) распознанном классе визуального стимула, а сравнение с усредненным паттерном дает характеристики о времени и силе реакции распознанного класса визуального стимула.

4. Способ по п. 1, отличающийся тем, что информативными признаками являются характерные временные интервалы и силы реакции испытуемого на визуальные стимулы.

7

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)

Description:
СПОСОБ ОПРЕДЕЛЕНИЯ КАТЕГОРИИ ОБЪЕКТА НА ОСНОВЕ СИГНАЛА

ЭЛЕКТРОЭНЦЕФАЛОГРАФИИ

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к биоинженерии и компьютерной технологии, в частности к области коммуникации мозга человека с компьютером (мозг-компьютер-интерфейс), и предназначено для определения категории визуального объекта, наблюдаемого человеком, на основе распознавания сигнала электроэнцефалографии (ЭЭГ).

УРОВЕНЬ ТЕХНИКИ

Известен способ биометрического распознавания на основе когнитивных событий, заключающийся в идентификации индивидуальных реакций на различные стимулы (первичное визуальное восприятие, распознавание лиц, вкус) с помощью обработки сигнала ЭЭГ (Maria V. Ruiz-Blondet. CEREBRE: A Novel Method for Very High Accuracy Event-Related Potential Biometric Identification / Maria V. Ruiz-Blondet, Zhanpeng Jin, Sarah Laszlo // IEEE Transactions on Information Forensics and Security. - 2016. - vol. 11. - Is. 7. - P. 1618-1629).

Недостатком известного технического решения является большая сложность и длительность процесса обучения системы и идентификации операторов, высокая вероятность ошибочных действий операторов в процессе идентификации, что снижает надежность и эффективность практического использования системы.

Кроме того, из уровня техники известен способ определения категории визуального стимула на основе предъявления визуальных стимулов различных классов, раскрытый в Kaneshiro Blair, Amardottir Steinunn, M. Norcia Anthony, Suppes Patrick, "Object Category EEG Dataset", Stanford Digital Repository, 2015, прототип (https://purl.stanford.edu/tc919dd5388).

Недостатком раскрытого выше технического решения является большая сложность и длительность процесса обучения системы и идентификации операторов, высокая вероятность ошибочных действий операторов в процессе идентификации, что снижает надежность и эффективность практического использования системы.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задачей заявленного изобретения является разработка компьютерно-реализованного способа определения категории визуального объекта, наблюдаемого человеком, на основе распознавания сигнала ЭЭГ в режиме реального времени. Техническим результатом изобретения является повышение точности распознавания при использовании меньшего числа признаков сигнала ЭЭГ и высокой скорости обработки.

Указанный технический результат достигается за счет того, что компьютерно- реализованный способ определения категории визуального объекта, наблюдаемого человеком, на основе распознавания сигнала ЭЭГ, содержащий процессор для выполнения следующих этапов: первый этап - подготовительный этап, на котором: записывают сигнал ЭЭГ для расчета паттерна визуальных стимулов различных классов, при помощи электродов, посредством предъявления визуальных стимулов различных классов в произвольном порядке; обрабатывают сигналы ЭЭГ для расчета усредненных паттернов для каждого класса визуальных стимулов, ряда информативных признаков, а также осуществляют построение тепловых карт активности мозга на основе информативных признаков; сохраняют усредненные паттерны как эталонные, а также информативные признаки и тепловые карты активности мозга в базу данных; обучают искусственную нейронную сеть распознавать предъявляемые визуальные стимулы на основе анализа сохраненных тепловых карт активности мозга; отклоняют классы визуальных стимулов, уровень распознавания которых не соответствует заданному уровню; второй этап - рабочий, на котором: проводят когнитивный тест предъявляя пользователю визуальные стимулы различных классов в произвольном порядке; в режиме реального времени, во время проведения когнитивного теста, регистрируют сигналы ЭЭГ при помощи электродов для каждого класса предъявляемого визуального стимула; обрабатывают сигналы ЭЭГ для расчета текущего паттерна и информативных признаков для каждого класса предъявляемого визуального стимула, с последующим определением класса визуального стимула из предъявляемых классов стимулов при проведении когнитивного теста; на основе текущего паттерна обученная искусственная нейронной сеть выдает результат о наличии или отсутствии реакции на текущий визуальный стимул. сравнивают текущий паттерн, соответствующий предъявляемому визуальному стимулу, с эталонным усредненным паттерном в базе данных; При наличии реакции на текущий визуальный стимул, обученная искусственная нейронной сеть выдает результат о распознанном классе визуального стимула, а сравнение с усреднённым паттерном даёт характеристики о времени и силе реакции распознанного класса визуального стимула.

Информативными признаками сигнала являются характерные временные интервалы и силы реакции испытуемого на визуальные стимулы.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Изобретение будет более понятным из описания, не имеющего ограничительного характера и приводимого со ссылками на прилагаемые чертежи, на которых изображено:

Фиг. 1 - Компьютерно-реализованный способ определения категории визуального объекта, наблюдаемого человеком, на основе распознавания сигнала ЭЭГ.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Как представлено на Фиг. 1, компьютерно-реализованный способ определения категории визуального объекта, наблюдаемого человеком, на основе распознавания сигнала ЭЭГ реализован следующим образом.

Для снятия сигнала ЭЭГ используют электроэнцефалограф с электродами ЭЭГ, с числом монополярных отведений не менее 32 и частотой записи сигнала не менее 200 Гц.

Перед началом определения категории визуального объекта, необходимо предварительно откалибровать систему мозг-компьютер-интерфейс. Калибровка происходит следующим образом.

Отбирается от 2 до 6 различных классов визуальных стимулов. Для каждого из классов визуальных стимулов формируется набор из нескольких различных образцов стимулов. В качестве визуальных стимулов применяют различные изображения: изображения человека, изображения животных, изображения частей тела человека, изображения фруктов, овощей и ягод, изображения предметов, применяемых в быту и другие изображения.

На голове испытуемого человека закрепляют электроэнцефалограф с электродами ЭЭГ, подключенных к биоусилителю сигнала. Визуальные стимулы различных классов поочередно предъявляются испытуемому в произвольном порядке, в течение 1 -2 секунды каждый, с перерывами 2-3 секунды. Каждый стимул в течение процедуры калибровки повторяется 3-5 раз. В процессе предъявления визуальных стимулов записывают и регистрируют сигналы ЭЭГ, после чего сигнал ЭЭГ усиливается в биоусилителе и посредством беспроводной связи, в режиме реального времени, передается на обработку в вычислительное устройство.

Обрабатывают поступивший сигнал ЭЭГ следующим образом: - разделяют множественный сигнал ЭЭГ на независимые компоненты с помощью метода ICA;

- усредняют независимые компоненты по участкам, соответствующим характерному времени реакции на различные классы стимулов;

- рассчитывают усредненные паттерны для каждого класса из предъявляемых визуальных стимулов;

- удаляют неинформативные компоненты ICA; Неинформативными компонентами считаются компоненты, усреднение которых для различных классов предъявляемых стимулов даёт статистически неразличимые усреднённые паттерны;

- рассчитывают характерные временные интервалы реакции субъекта на визуальные стимулы и характерную силу реакции для различных классов стимулов на основе статистической обработки усреднённых паттернов для оставшихся информативных компонентов ICA;

- применяют обратное преобразование ICA с учетом удаленных компонент для перевода сигнала обратно во временную область;

- формируют серии изображений - тепловых карт активности мозга, представляющих собой интерполированные по проекции скальпа значения напряжения на электродах ЭЭГ для моментов времени, соответствующих характерным временным интервалам реакции человека.

После обработки ЭЭГ сигнала сохраняют усредненные паттерны как эталонные, а также информативные признаки и тепловые карты активности мозга в базу данных.

Затем обучают искусственную нейронную сеть распознавать предъявляемые визуальные стимулы на основе анализа сохраненных тепловых карт активности мозга.

Нейросеть состоит из трёх свёрточных и трех полносвязных слоев. Нейронная сеть обучается задаче классификации на основе минимизации целевой функции - кросс- энтропии. Обучение производится в течение 50 эпох. Обновление весов происходит посредством метода оптимизации: адаптивный стохастический градиентный спуск Adam.

Кроме того, защита от переобучения достигается использованием технического сбоя (дропаута) между полносвязными слоями сети.

Если уровень распознавания хотя бы одного визуального стимула из предъявляемых классов визуальных стимулов слишком низкий, система отклоняет непригодный визуальный стимул и может предложить повторить процедуру калибровки или сменить классы визуальных стимулов. После окончания калибровки системы, в результате которой рассчитаны эталонные паттерны, информативные признаки, а также обучена искусственная нейронной сеть свёрточного типа, осуществляют проведение рабочего этапа.

На голове испытуемого человека после калибровки системы остается электроэнцефалограф с электродами ЭЭГ. При этом проводится когнитивный тест (например, тест Роршаха) на основе предъявления тех же классов визуальных стимулов, что использовались при калибровке системы (конкретная сущность визуальных стимулов при этом может отличаться).

В режиме реального времени при проведении теста регистрируются сигналы ЭЭГ, которые обрабатывают аналогичным образом, как и при калибровке системы с помощью алгоритма ICA и построения тепловых карт.

В результате обработки рассчитывают текущий паттерн и текущую тепловую карту для каждого из предъявляемых визуальных стимулов;

По анализу текущего паттерна определяют наличие реакции на текущий стимул;

В случае наличии реакции на текущий стимул по текущему паттерну рассчитывают тепловую карту для каждого из предъявляемых визуальных стимулов. На основе обработки текущей тепловой карты с помощью обученной искусственной нейронной сети свёрточного типа определяют класс визуального стимула из предъявляемых классов стимулов при проведении когнитивного теста. Информативными признаками являются характерные временные интервалы и силы реакции испытуемого на визуальные стимулы

Затем сравнивают текущий паттерн, соответствующий предъявляемому визуальному стимулу, с эталонным усреднённым паттерном для данного класса стимулов. На основе сравнения выдается результат о времени и силе реакции распознанного класса визуального стимула.

Изобретение было раскрыто выше со ссылкой на конкретный вариант его осуществления. Для специалистов могут быть очевидны и иные варианты осуществления изобретения, не меняющие его сущности, как она раскрыта в настоящем описании. Соответственно, изобретение следует считать ограниченным по объему только нижеследующей формулой изобретения.