ОПИСАНИЕ

Устройство относится к манипуляторам, а именно к виртуальным перчаткам,

предназначенным для работы с интерактивными устройствами, компьютерной робототехникой и компьютером.

Из уровня техники известно решение KR100221335, где описана система и способ передачи перчаткой значение датчика в системе виртуальной реальности, включающая в себя ряд датчиков, измеряющих движения запястья и пальцев рук и вывода электрического сигнала; мультиплексор выбирает количество сигналов датчиков, включенных в одну из групп датчиков. Цель патента принципиально отличается от заявленного решения. В аналоги описана именно скоростная передача данных между датчиками и системой виртуальной реальности. В заявленном решении метод передачи данных не имеет никакого значения.

В патенте CN 1480822 описано устройство для ввода данных для людей с

ограниченными возможностями, представляющее собой перчатку, имеющую

множество датчиков, способных обнаруживать движение пальцев, значительно быстрее, чем обычно требуется для нажатия клавиш в обычной клавиатуре; датчик содержит детектор виртуальных клавиш и ключевой декодер, оба из которых по отдельности калиброваны. Отличается назначение перчатки и метод детекции. В аналоге предлагается осуществлять взаимодействие путем прикосновений к

определенным датчикам перчатки для людей с ограниченными способностями, прикосновения будут передавать на внешнее устройство. Заявленное нами решение определяет именно движения и положения пальцев и руки для передачи на внешнее устройство.

В заявке US20150002401 описаны альтернативные перчатки на основе «ключа» для мобильных устройств, включающие в себя, по меньшей мере, одну пару перчаток, множество датчиков, расположенных на первой стороне, по меньшей мере, два экрана, расположенных с каждой стороны перчатки. Задачей перчатки является ввод каких-то ключей для мобильных устройств. При этом перчатка не детектирует движение и положения пальцев и руки, как это делает заявленное решение.

В патенте US6870526 описана перчатка мышь с виртуальным отслеживанием курсора, предназначенная для контроля перемещения курсора и обеспечения функции компьютерной мыши. Представленная перчатка предназначена только для управления курсором и мышки.

Заявленное нами решение может не только управлять курсором мышки, но и

определять движение всех пальцев и руки для создания цифровой 3D модели руки в виртуальном пространстве.

В патенте US7205979 описано устройство формирования управляющих сигналов для манипулирования виртуальными объектами в компьютерной системе в

соответствии с жестами оператора или другими частями тела; устройство включает в себя перчатку, которая включает датчики для обнаружения жестов кисти руки, а также сенсоры положения рук, соединенные с перчаткой и подключенные к компьютерной системе для

определения положения руки по отношению к системе.

Отличается принципом определения жестов руки. В аналоге жесты определяются по средствам внешних датчиков установленных например на мониторе компьютера.

Заявленное нами решение использует встроенные прямо в перчатку инерционные датчики.

В решении ЕР2624238 описан виртуальный макет с тактильной рукой, имеющий смоделированные объекты, которые манипулируются с помощью носимых на руках перчаток во время работы тренажера. В перчатке на пальцах расположены 3D общие средства обнаружения движения, интегрированные вместе с по меньшей мере одним датчиком задач взаимодействия и одним тактильным компонентом.

В аналоге не конкретизировано, как и именно датчики движений используются.

В заявленном решении конкретизировано использование инерционных датчиков с акселерометром и гироскопом.

В международной заявке WO98050839, описана система для управления данными на основе жестов, предназначенная для обработки компьютерной анимации в реальном времени, таких как виртуальная реальность, и управляется на компьютере. Система включает в себя цифровую перчатку для управления данными на основе жестов рук оператора. Решение основано на использовании материалов, которые меняют своё сопротивление при сгибании.

Отличием заявленной полезной модели - использование инерционных датчиков.

В международной заявке WO2007129663 (опубл.: 15.11.2007), описано устройство ввода с использованием датчиков, установленных на палец. Пользователь надевает перчатки с пальцами, каждый из которых имеет датчик обнаружения движения и тактильный датчик для каждого из кончиков пальцев на обеих руках. Информация движения на каждом из кончиков пальцев передается на различные

информационные устройства, такие как персональный компьютер (ПК), карманный компьютер, и сотовый телефон, так что позиции соответствующих кончиков пальцев отображаются на виртуальной клавиатуре на дисплее одного из устройств обработки информации.

В аналоге не конкретизировано, как и именно датчики движений используются.

В заявленном решении конкретизировано использование инерционных датчиков с акселерометром и гироскопом.

Наиболее близким аналогом является виртуальная перчатка по патенту US9060385, опубл.: 16.06.2015. В прототипе описана перчатка виртуальной реальности, содержащая датчики, расположенные на пальцах перчатки, и сенсоры положения рук,

расположенные на фалангах пальцев перчатки, причем датчики подключены к микропроцессору.

Недостатком прототипа и иных известных решений является следующее.

Как известно, тактильный анализатор обладает высокой способностью к

пространственной локализации. Характерная его особенность - быстрое развитие адаптации (привыкания), т.е. исчезновение чувства прикосновения или давления.

Время адаптации зависит от силы раздражителя, для различных участков тела оно колеблется от 2 до 20 секунд. Благодаря адаптации мы не чувствуем прикосновение одежды к телу. См. [Экзерцева Екатерина Вадимовна, Тема 1.1. Общие вопросы безопасности жизнедеятельности, Российский государственный технологический университет им. К.Э. Циолковского (МАТИ), Лекции,

http://www.studfiles.ru/preview/854779/page:6/] Аналогичные проблемы работы с виртуальными перчатками вызывают и известные аналоги, что снижает эффект восприятия у пользователя с течением определенного времени работы в них.

Кроме того, технической проблемой известных решений при использовании IMU- сенсоров без дополнительного внешнего "трекинга" является проблема "дрифта" - накоплению погрешности гироскопических/инерциальных датчиков, существенному отклонению получаемых данных от реальных и, как следствие, невозможности точного абсолютного позиционирования.

Задачей решения является устранение указанных проблем.

Техническим результатом является возможность получать и передавать в компьютер или другое устройство данные о положении пальцев, кистей рук, локтевых и плечевых суставов, а также осуществлять тактильную обратную связь путем передачи вибрации на пальцы.

Также техническим результатом является возможность фиксировать виртуальную модель руки не в локтевом суставе, а в плечевом и с высокой точностью распознавать и передавать на компьютер или иное устройство всех возможных движений руки, в том числе и в горизонтальной плоскости.

Еще одним преимуществом перед другими известными устройствами, основанными только на внешнем трекинге, является возможность использования вне стационарно оборудованных помещений, что удобно при использовании решения вместе с мобильными устройствами (смартфонами), или портативными решениями виртуальной и дополненной реальностей.

Указанный технический результат достигается за счет того, что заявлена перчатка виртуальной реальности, содержащая датчики, расположенные на пальцах перчатки, причем датчики подключены к системной плате, отличающаяся тем, что в качестве датчиков использованы сенсоры IMU, расположенные внутри перчатки, выполненной из ткани, причем каждый из сенсоров IMU содержит в себе акселерометр, гироскоп и магнитометр, при этом четыре IMU сенсора расположены на предпоследних фалангах мизинца, безымянного, среднего и указательного пальцев, два IMU сенсора расположены на первой и второй фалангах большого пальца, один сенсор IMU расположен на системной плате; на пальцах перчатки закреплены вибрационные моторы, по одному на каждом пальце, причем на всех пальцах, кроме большого, вибрационные моторы закреплены на предпоследних фалангах пальцев, а на большом пальце вибрационный мотор закреплен на последней фаланге; на перчатке закреплена системная плата, где расположен вычислительный модуль; сенсоры IMU, вибромоторы, аккумулятор подключены к системной плате посредством проводов; совмещенный модуль с IMU сенсором и световым датчиком расположен на запястье перчатки.

При необходимости, системная плата и аккумулятор могут быть выполнены в едином корпусе из светопроницаемого пластика.

На системной плате установлены фотодиоды, подключенные к совмещенному модулю, содержащему фотодиод и IMU сенсор.

Предпочтительно, фотодиоды установлены на системной плате по ее краям

равноудалено.

Предпочтительно, на системной плате установлено четыре фотодиода.

Дополнительный плечевой модуль может быть установлен на плече, и подключен к системной плате с помощью провода через совмещенный модуль, который выполнен содержащим соединительный коннектор.

Внутри плечевого модуля может быть установлен IMU-сенсор.

Плечевой модуль может быть выполнен содержащим модуль беспроводной связи и выполнен с возможностью соединения с системной платой по радиоканалу, причем в плечевом модуле расположен также аккумулятор.

Плечевой модуль, как вариант, содержит микроконтроллер и тензорезисторы, подключенные к нему.

Краткое описание чертежей

На Фиг.1 показана схема устройства перчатки с использованием на запястье и IMU сенсора и без использования фотодиодов.

На Фиг.2 показана схема устройства перчатки с использованием фотодиодов и расположенного на запястье совмещенного модуля, содержащего фотодиод и IMU сенсор.

На Фиг.З показана схема устройства перчатки без использования фотодиодов в системной плате и расположенного на запястье совмещенного модуля, содержащего фотодиод и IMU сенсор.

На Фиг.4 показана схема подключения к перчатке плечевого модуля.

На чертежах: 1 - перчатка, 2 - инерционный датчик (сенсор) IMU, объединяющий в себе акселерометр, гироскоп и магнитометр, 3 - вибрационный мотор, предназначенный для передачи ощущений вибрации, 4 - системная плата, 5 - аккумулятор, 6 - провода, 7 - корпус, объединяющий системную плату и аккумулятор, 8 - фотодиод, 9 - совмещенный модуль, 10 - плечевой модуль, 11 - соединительный провод между совмещенным модулем и плечевым модулем.

Устройство (Фиг.2) состоит из перчатки (1), выполненной из ткани, внутри которой расположены: IMU сенсоры (2), каждый из которых содержит в себе акселерометр, гироскоп и магнитометр, при этом четыре IMU сенсора (2) расположены на

предпоследних фалангах мизинца, безымянного, среднего и указательного пальцев, два IMU сенсора (2) расположены на первой и второй фалангах большого пальца, один сенсор IMU (2) расположен на системной плате.

На пальцах перчатки (1) также закреплены вибрационные моторы (3), по одному на каждом пальце, причем на всех пальцах, кроме большого, вибрационные моторы (3) закреплены на предпоследних фалангах пальцев, а на большом пальце вибрационный мотор (3) закреплен на последней фаланге.

На перчатке (1) закреплены системная плата (4), где расположен вычислительный модуль.

При этом модуль беспроводной связи Bluetooth, для связи с компьютером или иным устройством по радиоканалу, установлен на системной плате (4).

Системная плата (4) закреплена поверх аккумулятора (5), который закреплен на перчатке (1).

Сенсоры IMU (2), вибромоторы (3), аккумулятор (5) подключены к системной плате (4) посредством проводов (б).

При необходимости, системная плата (4) и аккумулятор (5) могут быть выполнены в едином корпусе (7) из светопроницаемого пластика.

На системной плате (4) также установлены фотодиоды (8), подключенные к

совмещенному модулю (9), содержащему фотодиод и IMU сенсор.

Предпочтительно, фотодиоды (8) могут быть установлены на системной плате (4) по ее краям равноудалено. Их может быть четыре.

Модуль (9) с IMU сенсором и световым датчиком располагают на запястье перчатки (1). Дополнительным преимуществом виртуальной перчатки (1) является использование плечевого модуля (10), который располагают на плече (бицепсе), и подключают к системной плате с помощью провода (11) через модуль (9), который выполняют содержащим соединительный коннектор (на чертежах не показан).

Внутри плечевого модуля (10) может быть установлен IMU-сенсор.

Данное взаимное расположение IMU сенсоров с использованием сенсора,

закрепленного в плечевом модуле (10), позволяет эффективно бороться с проблемой "дрифта" данных о положении пальцев и кисти рук в пространстве и более эффективно отслеживать движения плечевого сустава. В отличии от систем с внешним трекингом (основанным на фотодиодах или светодиодах и внешних камерах), данное решение может быть использовано без каких либо внешних устройств, что удобно для работы с мобильными устройствами (смартфонами).

Плечевой модуль (10) может быть так же реализован в беспроводном варианте, и подключаться к вычислительному модулю по радиоканалу (Bluetooth или Wifi). В этом случае в едином модуле с датчиком (10) располагают аккумулятор и радиомодуль (на чертежах не показаны) и провод (11) не используют.

Также плечевой модуль (10) может быть опционально реализован не с помощью IMU- сенсора, а с помощью одного или нескольких тензорезисторов (датчиков сгиба). В этом случае в плечевом модуле (10) устанавливается микроконтроллер, к которому подключают тензорезисторы, и через них агрегируют информацию и передают ее на основной вычислительный модуль системной платы (4).

Устройство работает следующим образом.

Заявленное решение позволяет получать и передавать в компьютер или другое устройство данные о положении пальцев, кистей рук, локтевых и плечевых суставов, а также осуществлять тактильную обратную связь путем передачи вибрации на пальцы. Это достигается следующим образом.

На пальцы устанавливаются гироскопические/инерциальные датчики (IMU-сенсоры): на указательный, средний, безымянный пальцы и мизинец устанавливается по одному датчику в области предпоследней фаланги пальца, с внешней стороны ладони; на большой палец устанавливается два датчика - на первую и на вторую фалангу, с внешней стороны. Дополнительно аналогичные датчики устанавливаются на кисть руки, с внешней стороны, и на запястье, с внешней или внутренней стороны ладони.

Датчики могут быть закреплены в данных позициях с помощью тряпичной перчатки, будучи вшитыми в необходимых позициях, либо каждый датчик может быть закреплен независимо с помощью тряпичного (или из другого материала) кольца (крепления), надеваемого на палец/кисть/запястье, либо любым другим способом,

обеспечивающим неподвижность датчика относительно пальца/кисти/запястья соответственно.

В качестве IMU-сенсора может использоваться, например:

https://www.digikey.com/product-detail/en/invensense/MPU- 6000/1428-1005-l-

ND/4038006

Датчики с помощью кабеля подключаются к модулю управления, расположенному на внешней стороне ладони в пластиковом корпусе. Модуль управления содержит электронику управления на основе микроконтроллера, радиомодуль беспроводной связи, аккумулятор.

Датчики постоянно собирают данные о движении и передают их микроконтроллеру, который по радиоканалу передает эти данные на компьютер или другое устройство. На компьютере (или другом устройстве) установлено программное обеспечение- драйвер, которое использует данные с датчиков (угловые скорости и векторы

ускорения) и преобразует их в кватернионы поворота пространства для следующих суставов: поворот(сгиб) последней фаланги пальца относительно ладони для

указательного, среднего, безымянного пальцев и мизинца, в вертикальной плоскости относительно ладони; поворот указательного, среднего, безымянного пальцев и мизинца в горизонтальной плоскости (плоскости ладони); поворот/сгиб большого пальца относительно ладони в пространстве; поворот/сгиб кисти(ладони) относительно локтевого сустава; поворот локтевого сустава относительно плечевого сустава.

Затем из полученных углов, с помощью алгоритмов инверсной кинематики (данных о связях суставов и их линейных размерах) вычисляются повороты всех остальных суставов и относительное положение всех суставов кисти руки.

Полученные данные затем предоставляются для доступа в виде программного интерфейса приложения (API) и могут быть использованы сторонними

производителями программного обеспечения в любых целях.

Дополнительно, на внутренней стороне ладони, на предпоследней фалангах каждого пальца размещается вибрационный мотор, который крепится аналогичным IMU- сенсорам способом, и также с помощью кабеля подключается к системной плате и микроконтроллеру.

Программный интерфейс приложения (API) позволяет запускать вибрационный мотор независимо на каждом из пальцев, задавая необходимые параметры иротно- импульсной модуляции (частоту/интенсивность вибрации).

Команда от программного интерфейса обрабатывается драйвером устройства и, через радиоканал, передается на микроконтроллер, который управляет непосредственно вибрационным мотором.

Таким образом, вибрация может контролироваться сторонними производителями программного обеспечения с помощью программного интерфейса приложения (API). В качестве вибрационного мотора может использоваться, например:

https://ru.aliexpress.com/item/50pcs-DC3V-0820-8-2-0mm-Mo bile-phone-micro-flat- vibration-motor-Coin-motor-Mini-vibrator/32783671636.html

Недостатком использования IMU-сенсоров без дополнительного внешнего "трекинга" (трекинг - определение местоположения движущихся объектов во времени с помощью камеры) является проблема "дрифта" - накоплению погрешности

гироскопических/инерциальных датчиков, существенному отклонению получаемых данных от реальных и, как следствие, невозможности точного абсолютного

позиционирования.

Для решения этой проблемы приходится накладывать ограничения на получаемые данные, ограничивая тем самым подвижность "виртуальной руки" - рука фиксируется в локтевом суставе. Таким образом, все движения интерпретируются в рамках полусферы, которую может описать кисть при зафиксированном локтевом суставе - движения руки в горизонтальной плоскости полностью игнорируются, что доставляет неудобства на практике.

По причине чего на плечевом суставе дополнительно может быть закреплен еще один гироскопический/инерциальный датчик (IMU-сенсор), например, внутри плечевого модуля (10) (Фиг.4) и подсоединен к системной плате (4) с помощью кабеля (11) через разъем совмещенного модуля (9).

Данные с датчика, передаются на микроконтроллер, и далее через радиоканал - в программное обеспечение-драйвер, где они используются для вычисления поворота локтевого сустава относительно плечевого, а также вращения локтевого сустава в перпендикулярной ему плоскости. Это позволяет более точно вычислять положение кисти в пространстве и придать дополнительные степени свободы руке.

Благодаря такому подходу, можно зафиксировать виртуальную модель руки не в локтевом суставе, а в плечевом и с высокой точностью распознавать и передавать на компьютер (или иное устройство) все возможные движения руки, в том числе и в горизонтальной плоскости.

Для полного решения проблемы накапливаемой погрешности в вычисленной абсолютной позиции датчиков используется поддержка внешнего "трекинга". Для этого, на модуль управления размещаются два или более фотодиодов, реагирующие на вспышки света. При этом корпус для модуля управления изготавливается из

прозрачного материала, пропускающего свет, либо целиком, либо лишь в тех участках, где расположены фотодиоды. Еще один фотодиод располагается рядом с IMU- сенсором на запястье. Опционально еще один фотодиод также располагается вместе с IMU-сенсором на плечевом суставе.

Фотодиоды регистрируют световые сигналы, посылаемые парой специальных внешних свето-излучателей, установленных стационарно, неподвижно и отдельно от

описываемого контроллера (системной платы и набора сенсоров в виде перчатки или другой форме), по разные стороны от него.

Излучатели запрограммированы особым образом и генерируют световые импульсы определенной длины, формы и направления, через определенные промежутки времени. Свет может излучаться как в видимом, так и в невидимых (инфракрасный, ультрафиолетовый) диапазонах.

Например, излучатель может генерировать набор коротких импульсов света, а затем генерировать узкую полосу лазером, установленном на поворотном механизме, вращающемся в горизонтальной плоскости. Другой излучатель может параллельно (но в другие временные интервалы) делать тоже самое, но в вертикальной плоскости.

Временные интервалы, последовательность световых импульсов, форму и характер импульсов (например форму пучка света лазера и скорость поворотного механизма) известны заранее, эти данные сопоставляются программным обеспечением-драйвером со временем регистрации фотодиодами различных импульсов света, благодаря чему вычисляется их позиция относительно излучателей, и таким образом - абсолютная позиция фотодиодов в пространстве. Затем эти данные используются для

корректировки абсолютной позиции руки в пространстве, вычисленную с помощью IMU-сенсоров, и устранения накопленной погрешности.

В качестве фотодиода может использоваться, например:

https://www.digikey.com/product-detail/en/osram-opto-semi conductors-inc/BPW-34-S- Z/475-2659-1-ND/1893861

В качестве внешнего излучателя может использоваться, например:

https://www.microsoftstore.com/store/msusa/en_US/pdp/HTC- Vive-Base-

Station/productlD.5073718900

Заявленное решение может использоваться для анимации 3D моделей человеческой (или иной) руки в компьютерных программах, как способ взаимодействия с

интерфейсами в виртуальной (VR - virtual reality) или дополненной (AR - augmented reality) реальностях, а также видеоиграх, симуляторах различных видов деятельности и в любых других задачах, где требуется получение, обработка, хранение или передача точных движений рук в пространстве.

Например, заявленное решение также может применяться в медицине, для пациентов с нарушениями моторики рук для отслеживания движений кистей и пальцев рук и стимулирования их активности.

Обратная связь с помощью вибромоторов может применяться для имитации ощущений прикосновения к предметам в виртуальной реальности, когда данные о положении руки и пальцев используются для определения коллизий с виртуальными предметами и, в случае их обнаружения, подавать на соответствующие месту контакта пальцы вибрации. При этом степень вибрации может зависеть от формы контакта - размера области пересечения, или от характеристик виртуального предмета. Другой возможный сценарий использования вибрации - подтверждение события взаимодействиями с виртуальными интерфейсами - например, нажатие на виртуальную кнопку.

Заявленное решение предлагает новый принцип размещения IMU-сенсоров и, как следствие, высокую точность получаемых результатов: взаимное расположение датчиков позволяет получить необходимые углы, между пальцами, кистью, локтевым и плечевым суставами; во вторую очередь такое расположение сенсоров и

вибрационных моторов позволяет освободить последнюю фалангу пальцев, что удобно в практическом применении - пользователь может пользоваться сенсорными экранами, производить действия требующие мелкой моторики пальцев и т.п.

Преимуществом использования комбинированного подхода (применение IMU- сенсоров и внешнего трекинга в одной технологии) является высокая точность измерения пространственного перемещения, еще более высокая, чем любые

альтернативные методы, такие как тензорезисторы (датчики сгиба) или решения основанные только на IMU-сенсорах. Кроме того, в отличии от методов, основанных на внешнем оптическом или другом внешнем трекинге у данного подхода полностью отсутствуют "слепые зоны", даже если между светодиодом (фотодиодом) и камерой (свето-излучателем) не будет прямого обзора, заявленное решение все равно позволит достаточно точно вычислить позицию руки в пространстве.

Еще одним преимуществом перед другими известными устройствами, основанными только на внешнем трекинге, является возможность использования вне стационарно оборудованных помещений, что удобно при использовании решения вместе с мобильными устройствами (смартфонами), или портативными решениями виртуальной и дополненной реальностей.