ЭЛЕКТРОЭНЦЕФАЛОГРАФИИ

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к биоинженерии и компьютерной технологии, в частности к области коммуникации мозга человека с компьютером (мозг-компьютер-интерфейс), и предназначено для определения категории визуального объекта, наблюдаемого человеком, на основе распознавания сигнала электроэнцефалографии (ЭЭГ).

УРОВЕНЬ ТЕХНИКИ

Известен способ биометрического распознавания на основе когнитивных событий, заключающийся в идентификации индивидуальных реакций на различные стимулы (первичное визуальное восприятие, распознавание лиц, вкус) с помощью обработки сигнала ЭЭГ (Maria V. Ruiz-Blondet. CEREBRE: A Novel Method for Very High Accuracy Event-Related Potential Biometric Identification / Maria V. Ruiz-Blondet, Zhanpeng Jin, Sarah Laszlo // IEEE Transactions on Information Forensics and Security. - 2016. - vol. 11. - Is. 7. - P. 1618-1629).

Недостатком известного технического решения является большая сложность и длительность процесса обучения системы и идентификации операторов, высокая вероятность ошибочных действий операторов в процессе идентификации, что снижает надежность и эффективность практического использования системы.

Кроме того, из уровня техники известен способ определения категории визуального стимула на основе предъявления визуальных стимулов различных классов, раскрытый в Kaneshiro Blair, Amardottir Steinunn, M. Norcia Anthony, Suppes Patrick, "Object Category EEG Dataset", Stanford Digital Repository, 2015, прототип (https://purl.stanford.edu/tc919dd5388).

Недостатком раскрытого выше технического решения является большая сложность и длительность процесса обучения системы и идентификации операторов, высокая вероятность ошибочных действий операторов в процессе идентификации, что снижает надежность и эффективность практического использования системы.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задачей заявленного изобретения является разработка компьютерно-реализованного способа определения категории визуального объекта, наблюдаемого человеком, на основе распознавания сигнала ЭЭГ в режиме реального времени. Техническим результатом изобретения является повышение точности распознавания при использовании меньшего числа признаков сигнала ЭЭГ и высокой скорости обработки.

Указанный технический результат достигается за счет того, что компьютерно- реализованный способ определения категории визуального объекта, наблюдаемого человеком, на основе распознавания сигнала ЭЭГ, содержащий процессор для выполнения следующих этапов: первый этап - подготовительный этап, на котором: записывают сигнал ЭЭГ для расчета паттерна визуальных стимулов различных классов, при помощи электродов, посредством предъявления визуальных стимулов различных классов в произвольном порядке; обрабатывают сигналы ЭЭГ для расчета усредненных паттернов для каждого класса визуальных стимулов, ряда информативных признаков, а также осуществляют построение тепловых карт активности мозга на основе информативных признаков; сохраняют усредненные паттерны как эталонные, а также информативные признаки и тепловые карты активности мозга в базу данных; обучают искусственную нейронную сеть распознавать предъявляемые визуальные стимулы на основе анализа сохраненных тепловых карт активности мозга; отклоняют классы визуальных стимулов, уровень распознавания которых не соответствует заданному уровню; второй этап - рабочий, на котором: проводят когнитивный тест предъявляя пользователю визуальные стимулы различных классов в произвольном порядке; в режиме реального времени, во время проведения когнитивного теста, регистрируют сигналы ЭЭГ при помощи электродов для каждого класса предъявляемого визуального стимула; обрабатывают сигналы ЭЭГ для расчета текущего паттерна и информативных признаков для каждого класса предъявляемого визуального стимула, с последующим определением класса визуального стимула из предъявляемых классов стимулов при проведении когнитивного теста; на основе текущего паттерна обученная искусственная нейронной сеть выдает результат о наличии или отсутствии реакции на текущий визуальный стимул. сравнивают текущий паттерн, соответствующий предъявляемому визуальному стимулу, с эталонным усредненным паттерном в базе данных; При наличии реакции на текущий визуальный стимул, обученная искусственная нейронной сеть выдает результат о распознанном классе визуального стимула, а сравнение с усреднённым паттерном даёт характеристики о времени и силе реакции распознанного класса визуального стимула.

Информативными признаками сигнала являются характерные временные интервалы и силы реакции испытуемого на визуальные стимулы.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Изобретение будет более понятным из описания, не имеющего ограничительного характера и приводимого со ссылками на прилагаемые чертежи, на которых изображено:

Фиг. 1 - Компьютерно-реализованный способ определения категории визуального объекта, наблюдаемого человеком, на основе распознавания сигнала ЭЭГ.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Как представлено на Фиг. 1, компьютерно-реализованный способ определения категории визуального объекта, наблюдаемого человеком, на основе распознавания сигнала ЭЭГ реализован следующим образом.

Для снятия сигнала ЭЭГ используют электроэнцефалограф с электродами ЭЭГ, с числом монополярных отведений не менее 32 и частотой записи сигнала не менее 200 Гц.

Перед началом определения категории визуального объекта, необходимо предварительно откалибровать систему мозг-компьютер-интерфейс. Калибровка происходит следующим образом.

Отбирается от 2 до 6 различных классов визуальных стимулов. Для каждого из классов визуальных стимулов формируется набор из нескольких различных образцов стимулов. В качестве визуальных стимулов применяют различные изображения: изображения человека, изображения животных, изображения частей тела человека, изображения фруктов, овощей и ягод, изображения предметов, применяемых в быту и другие изображения.

На голове испытуемого человека закрепляют электроэнцефалограф с электродами ЭЭГ, подключенных к биоусилителю сигнала. Визуальные стимулы различных классов поочередно предъявляются испытуемому в произвольном порядке, в течение 1 -2 секунды каждый, с перерывами 2-3 секунды. Каждый стимул в течение процедуры калибровки повторяется 3-5 раз. В процессе предъявления визуальных стимулов записывают и регистрируют сигналы ЭЭГ, после чего сигнал ЭЭГ усиливается в биоусилителе и посредством беспроводной связи, в режиме реального времени, передается на обработку в вычислительное устройство.

Обрабатывают поступивший сигнал ЭЭГ следующим образом: - разделяют множественный сигнал ЭЭГ на независимые компоненты с помощью метода ICA;

- усредняют независимые компоненты по участкам, соответствующим характерному времени реакции на различные классы стимулов;

- рассчитывают усредненные паттерны для каждого класса из предъявляемых визуальных стимулов;

- удаляют неинформативные компоненты ICA; Неинформативными компонентами считаются компоненты, усреднение которых для различных классов предъявляемых стимулов даёт статистически неразличимые усреднённые паттерны;

- рассчитывают характерные временные интервалы реакции субъекта на визуальные стимулы и характерную силу реакции для различных классов стимулов на основе статистической обработки усреднённых паттернов для оставшихся информативных компонентов ICA;

- применяют обратное преобразование ICA с учетом удаленных компонент для перевода сигнала обратно во временную область;

- формируют серии изображений - тепловых карт активности мозга, представляющих собой интерполированные по проекции скальпа значения напряжения на электродах ЭЭГ для моментов времени, соответствующих характерным временным интервалам реакции человека.

После обработки ЭЭГ сигнала сохраняют усредненные паттерны как эталонные, а также информативные признаки и тепловые карты активности мозга в базу данных.

Затем обучают искусственную нейронную сеть распознавать предъявляемые визуальные стимулы на основе анализа сохраненных тепловых карт активности мозга.

Нейросеть состоит из трёх свёрточных и трех полносвязных слоев. Нейронная сеть обучается задаче классификации на основе минимизации целевой функции - кросс- энтропии. Обучение производится в течение 50 эпох. Обновление весов происходит посредством метода оптимизации: адаптивный стохастический градиентный спуск Adam.

Кроме того, защита от переобучения достигается использованием технического сбоя (дропаута) между полносвязными слоями сети.

Если уровень распознавания хотя бы одного визуального стимула из предъявляемых классов визуальных стимулов слишком низкий, система отклоняет непригодный визуальный стимул и может предложить повторить процедуру калибровки или сменить классы визуальных стимулов. После окончания калибровки системы, в результате которой рассчитаны эталонные паттерны, информативные признаки, а также обучена искусственная нейронной сеть свёрточного типа, осуществляют проведение рабочего этапа.

На голове испытуемого человека после калибровки системы остается электроэнцефалограф с электродами ЭЭГ. При этом проводится когнитивный тест (например, тест Роршаха) на основе предъявления тех же классов визуальных стимулов, что использовались при калибровке системы (конкретная сущность визуальных стимулов при этом может отличаться).

В режиме реального времени при проведении теста регистрируются сигналы ЭЭГ, которые обрабатывают аналогичным образом, как и при калибровке системы с помощью алгоритма ICA и построения тепловых карт.

В результате обработки рассчитывают текущий паттерн и текущую тепловую карту для каждого из предъявляемых визуальных стимулов;

По анализу текущего паттерна определяют наличие реакции на текущий стимул;

В случае наличии реакции на текущий стимул по текущему паттерну рассчитывают тепловую карту для каждого из предъявляемых визуальных стимулов. На основе обработки текущей тепловой карты с помощью обученной искусственной нейронной сети свёрточного типа определяют класс визуального стимула из предъявляемых классов стимулов при проведении когнитивного теста. Информативными признаками являются характерные временные интервалы и силы реакции испытуемого на визуальные стимулы

Затем сравнивают текущий паттерн, соответствующий предъявляемому визуальному стимулу, с эталонным усреднённым паттерном для данного класса стимулов. На основе сравнения выдается результат о времени и силе реакции распознанного класса визуального стимула.

Изобретение было раскрыто выше со ссылкой на конкретный вариант его осуществления. Для специалистов могут быть очевидны и иные варианты осуществления изобретения, не меняющие его сущности, как она раскрыта в настоящем описании. Соответственно, изобретение следует считать ограниченным по объему только нижеследующей формулой изобретения.