Изобретение относится к робототехнике, в частности, к роботизированным системам для манипулирования объектами посредством манипулятора с захватным устройством, и может быть использовано, в том числе, для помощи людям с нарушениями двигательных функций, вызванных последствиями травм головного и спинного мозга, инсульта, нейродегенеративных заболеваний и др.

Заявленная система манипулирования объектами выполняет функции захвата, удержания и перемещения объектов в окружении пользователя с ограниченными или нарушенными двигательными функциями, часто передвигающегося в инвалидной коляске. Система может иметь модульную архитектуру, персонифицируемую под конкретного пользователя, и использоваться в условиях стационара или в домашних условиях.

Использование существующих автоматизированных компонентов или модификация уже существующих манипуляторов не в состоянии отвечать всем необходимым требованиям, таким как легкая и компактная конструкция, которая не будет ухудшать балансировку инвалидной коляски пользователя или увеличивать его габариты в ширину. Манипулятор должен быть способен захватывать предметы разнообразных форм под управлением пользователем, при этом он должен быть защищен от воздействия неблагоприятных факторов, таких как пыль и вода.

Патент РФ RU2700246 раскрывают способ и систему захвата объекта с помощью роботизированного объекта, в котором роботизированное устройство обучается с использованием алгоритма машинного обучения для распознавания и запоминания точек захвата объектов. Обучение выполняется на данных, характеризующих фотографические изображения объектов и соответствующие трехмерные модели объектов в различных видах. Это позволяет повысить точность распознавания области захвата объекта роботизированным устройством. Несмотря на это, точность распознавания области захвата объекта может оказаться недостаточной для применения известного способа и системы пользователем с ограниченными или нарушенными двигательными функциями. Кроме того, такая система требует достаточно длительного обучения, а выбор объекта манипулирования из нескольких объектов вообще не предусмотрен.

Из заявки на патент США US2017021500 известны системы и способы определения данных о смещении роботизированной установки в рабочей среде. Робот, работающий в рабочей среде, может получить указание для определения рабочего смещения. Рабочее смещение может описывать местоположение и угловую ориентацию рабочей плоскости рабочей среды относительно базовой плоскости робота. В ответ на указание робот может идентифицировать рабочую плоскость. Робот может управляться для контакта с одной или несколькими точками рабочей плоскости. Робот может определять соответствующие местоположения точек контактируемых точек относительно базовой плоскости на основе соответствующих положений робота в соответствующие моменты времени контакта. Робот может определять местоположение и угловую ориентацию рабочей плоскости относительно базовой плоскости на основании определенных соответствующих точечных местоположений контактирующих точек.

Заявка на патент США US2019240843 описывает способ манипулирования деформируемым объектом, который включает определение соответствующего трехмерного положения одного или нескольких маркеров на деформируемом объекте, удерживаемом роботизированным манипулятором, а также определения модели деформации деформируемого объекта путем отображения движения робота- манипулятора и движения одного или нескольких маркеров. Управляют роботизированным манипулятором на основе определенной модели деформации, чтобы манипулировать деформируемым объектом и перемещать один или несколько маркеров в соответствующую позицию. Заявка на патент США US2019143506 описывает систему, которая представляет собой роботизированный манипулятор, включающий в себя последовательную цепь, содержащую первое соединение, первое звено и второе звено. Второе звено находится между первым соединением и первым звеном в последовательной цепи. Система дополнительно включает в себя блок обработки, включающий в себя один или несколько процессоров. Блок обработки выполнен с возможностью приема данных первой линии связи из первой системы датчиков, расположенных в первой линии связи, генерации первой оценки состояния соединения первого соединения на основе данных первой линии связи и кинематической модели роботизированного манипулятора, и 5 управления первым звеном на основании первой оценки состояния соединений.

В системах и способах манипулирования, раскрытых в указанных выше заявках на патент США, также не предусмотрена возможность выбора объекта манипулирования из нескольких объектов, что является критичным для пользователя с ограниченными или нарушенными двигательными функциями. Известные 0 манипуляторы KINO V A® Gen2 Ultra lightweight robot, iArm и другие содержат для этих целей джойстик, управление которым не всегда удобно или даже возможно, не говоря уже о точности такого управления.

Таким образом, существует задача создания такого манипулятора с захватным устройством, который мог бы выполнять захват, удержание и перемещение объектов в 5 окружении пользователя с ограниченными или нарушенными двигательными функциями, при этом обеспечивая пользователю точное, легкое и простое управление захватным устройством манипулятора.

Техническим результатом изобретения является обеспечение высокой точности определения объекта манипуляции среди множества окружающих объектов при О компактной и легкой конструкции и четком определении намерений пользователя по манипуляциям над выбранными объектами манипуляции.

Поставленная задача решается, а заявленный технический результат достигается в предложенной системе манипулирования объектами (далее также система манипулирования) для выполнения операций над объектами, в частности, для захвата, 5 удержания и перемещения объектов. Система манипулирования объектами содержит модуль манипулятора, по меньшей мере один модуль захватного устройства, модуль управления, модуль интерфейса пользователя и модуль крепления. Модуль манипулятора содержит по меньшей мере один привод манипулятора, включающий двигатель манипулятора и редуктор манипулятора. Модуль захватного устройства установлен на модуле манипулятора и содержит по меньшей мере один привод захватного устройства, включающий двигатель захватного устройства. Модуль управления содержит блок управления модулем манипулятора для управления приводом манипулятора и исполнения алгоритма управления модулем манипулятора, 5 а также блок управления модулем захватного устройства для управления приводом захватного устройства и исполнения алгоритма управления модулем захватного устройства. Модуль интерфейса пользователя предназначен для управления системой манипулирования, выбора объекта и выполнения операции над объектом и содержит блок трекинга глаз для определения направления взгляда пользователя, блок 0 технического зрения для осуществления стереореконструкции области вокруг объекта (то есть области в зоне сервиса манипулятора, в которой может находиться требуемый объект манипуляции), построения карты диспаратности и определения характеристик объекта, включающих по меньшей мере геометрические размеры объекта и расстояние до объекта, а также блок нейрогарнитуры для регистрации биоэлектрических 5 потенциалов активности головного мозга пользователя и их передачи модулю управления. Модуль крепления предназначен для крепления модуля манипулятора к внешнему устройству, например, инвалидной коляске.

Заявленная система манипулирования объектами позволяет определять объекты, которыми пользователь желает управлять, и собственно управлять ими, где О под управлением понимается, в частности, захват объекта, удержание объекта и перемещение объектов.

Поставленная задача решается, а заявленный технический результат достигается также в частных вариантах выполнения заявленной системы манипулирования, которыми, однако, данное изобретение не ограничивается.

5 Так, на валу двигателя манипулятора может быть установлен абсолютный датчик угла поворота.

Для управления двигателем манипулятора модуль управления может дополнительно содержать ПИД-регуляторы тока, скорости, положения и крутящего момента. На выходном валу редуктора манипулятора может быть установлен абсолютный датчик угла поворота.

Предпочтительно, если блок трекинга глаз выполнен с возможностью определения координат вектора направления взгляда. При этом блок трекинга глаз может быть выполнен с возможностью определения координат пересечения вектора направления взгляда с плоскостью, в которой находится объект.

Также является предпочтительным, если блок технического зрения выполнен с возможностью осуществления стереореконструкции области вокруг объекта с заданной частотой. Еще в одном предпочтительном варианте исполнения изобретения блок технического зрения содержит стереопару, включающую камеры стереопары, блок обработки стереоизображений и блок сопоставления изображений области вокруг объекта, полученных с разных ракурсов от камер стереопары и от камеры блока трекинга глаз. Блок технического зрения, предпочтительно, находится над головой инвалида-оператора, а блок трекинга глаз - на голове оператора в очках, и таким образом получают два изображения с разных ракурсов.

Кром того, блок нейрогарнитуры может содержать сухие активные электроды для регистрации биоэлектрических потенциалов активности головного мозга пользователя. Далее заявленная система манипулирования объектами и ее работа более подробно поясняются со ссылкой на фигуру, на которой схематично представлена система манипулирования.

На фигуре ссылочными позициями отмечены:

1 — модуль манипулятора (ММ); 2 — модуль захватного устройства (МЗУ);

3 - модуль управления (МУ);

3.1 - блок управления модулем манипулятора (БУММ);

3.2 - блок управления модулем захватного устройства (БУМЗУ);

4 — модуль интерфейса пользователя (МИП); 4.1 - блок трекинга глаз (БТГ);

4.2 - блок технического зрения (БТЗ);

4.3 - блок нейрогарнитуры (БН);

5 - модуль крепления (МК).

5 Как было указано выше, система манипулирования объектами предназначена для выполнения операций над объектами, в частности, для захвата, удержания и перемещения объектов. Система манипулирования должна позволять выполнять указанные операции пользователю с ограниченной подвижностью, в частности, с ограниченной подвижностью верхних конечностей, и при этом гарантировать точное О выполнение именно тех движений, которые желает осуществить пользователь.

В целом, система манипулирования содержит модуль манипулятора 1 (также ММ), по меньшей мере один модуль захватного устройства 2 (также МЗУ), модуль управления 3 (также МУ), модуль интерфейса пользователя 4 (также МИП) и модуль крепления 5 (также МК).

5 ММ 1 предназначен для перемещения в пространстве МЗУ 2 и может быть установлен на любом объекте, в том числе на инвалидной коляске, посредством МК 5, установленном на одном конце ММ 1 или вблизи него. В качестве ММ 1 может быть выбрана любая известная конструкция роботизированного манипулятора, например, описанная в RU2700246 или US2007095582. Тем не менее, предпочтительно, чтобы О количество звеньев ММ 1 составляло от четырех до шести: меньшее количество звеньев может не обеспечивать точное и быстрое позиционирование МЗУ 2 в пространстве с множеством предметов, в большее количество звеньев не только усложняет конструкцию всей системы манипулирования, но и увеличивает ее вес, что критично, в частности, при ее использовании на инвалидной коляске. В US2007095582 также :5 приведен возможный вариант крепления ММ 1 к инвалидной коляске посредством МК 5.

ММ 1 содержит по меньшей мере один привод манипулятора, включающий двигатель манипулятора и редуктор манипулятора (на фигуре не показаны). Предпочтительно, но не обязательно, если каждое звено ММ 1 содержит свой привод манипулятора, что позволяет более точно позиционировать МЗУ 2 в пространстве.

На валу двигателя манипулятора одного или нескольких приводов манипулятора может быть дополнительно установлен датчик угла поворота. Даже при использовании прецизионных двигателей манипулятора возможны ошибки в позиционировании секций ММ 1 , особенно критичные для дальней от МК 5 секции, на которой установлен МЗУ 2, в условиях стесненного пространства и/или большого количества объектов. Наличие датчика угла поворота на валу двигателя манипулятора позволяет точно контролировать угол поворота вала. При этом наиболее предпочтительным является использование абсолютного датчика угла поворота, который позволяет избежать накопления ошибок в определении угла поворота вала.

То же самое относится и к выходному валу редуктора манипулятора одного или нескольких приводов манипулятора: чем выше точность определения поворота этого вала, тем в итоге точнее позиционируется МЗУ 2 в пространстве. Поэтому и в этом случае предпочтительно устанавливать датчик угла поворота на выходном валу редуктора манипулятора одного или нескольких приводов манипулятора, наиболее предпочтительно - абсолютного датчика угла поворота, который позволяет избежать накопления ошибок в определении угла поворота вала.

МЗУ 2 установлен на другом конце ММ 1 от МК 5 или вблизи него и предназначен для захвата и удержания объектов манипуляции. В качестве МЗУ 2 может быть выбрано любое известное устройство аналогичного назначения, например, описанное в RU118579 или US8936289. При этом предпочтительно, если конструкция МЗУ 2 выполнена таким образом, что для управления пальцами МЗУ 2 достаточно одного привода захватного устройства, включающего двигатель захватного устройства. Это обеспечивает МЗУ 2 компактность и небольшой вес, а значит, точное и быстрое позиционирование МЗУ 2 в пространстве с множеством предметов.

МУ 3 представляет собой электронное устройство и предназначен для исполнения алгоритма управления ММ 1 и соответственно управления ММ 1 , а также для исполнения алгоритма управления МЗУ 2 и соответственно управления МЗУ 2. Для этих целей МУ 3 содержит соответственно блок управления модулем манипулятора 3.1 (также БУММ) и блок управления модулем захватного устройства 3.2 (также БУМЗУ).

В частном варианте исполнения МУ 3 может представлять собой электронное устройство на основе 32-битного микроконтроллера, например STM32F103C8T6. На плате МУ 3 также могут быть расположены стабилизаторы напряжения, драйвер CAN- шины, драйверы управления двигателями манипулятора (в БУММ 3.1), драйверы управления двигателями захватного устройства (в БУМЗУ 3.2), порты подключения абсолютных датчиков положения и скорости, если какие-то из них используются в ММ 1 и/или МЗУ 2, порт расширения для подключения внешних модулей, интерфейсы к энкодерам и тензодатчикам.

БУММ 3.1 и БУМЗУ 3.2 могут совместно использовать указанный микроконтроллер для исполнения алгоритма управления ММ 1 и алгоритма управления МЗУ 2.

В частном варианте исполнения МУ 3 дополнительно содержит пропорционально-интегрально-диф ференцирующие регуляторы (ПИД-регуляторы) тока, скорости, положения и крутящего момента для управления двигателями манипулятора и двигателями захватного устройства.

С помощью МИП 4 пользователь управляет системой манипулирования объектами, выбирает объект и выполняет желаемые операции над объектом. МИП 4 содержит блок трекинга глаз 4.1 (также БТГ), блок технического зрения 4.2 (также БТЗ), блок нейрогарнитуры 4.3 (также БЫ).

БТГ 4.1 предназначен для определения направления взгляда пользователя, что далее используется для осуществления задачи взаимодействия пользователя с системой манипулирования. В частности, БТГ 4.1 посредством входящей в его состав камеры (или камер) может обеспечивать определение координат вектора направления взгляда и, дополнительно, координаты пересечения вектора направления взгляда с плоскостью, в которой находится объект манипуляции.

В качестве БТГ 4.1 может быть использовано любое известное устройство, например, Tobii Pro или SMI Eye Tracking Glasses. БТЗ 4.2 осуществляет стереореконструкцию области вокруг объекта, то есть области в зоне перемещени МЗУ 2, в которой может находиться объект манипуляции. Способы стереореконструкции широко представлены в уровне техники и не требуют дополнительных пояснений. При этом стереореконструкция может осуществляться с 5 заданной частотой. БТЗ 4.2 также осуществляет построение карты диспаратности, то есть карты взаимного положения точек, отображаемых на сетчатках левого и правого глаза. Кроме того, еще одной функцией БТЗ 4.2 является определение характеристик объекта манипуляции, таких как геометрические размеры объекта, расстояние до объекта.

0 Для выполнения своих функций БТЗ 4.2 может содержать стереопару, включающую камеры стереопары, блок обработки стереоизображений и блок сопоставления изображений области вокруг объекта, полученных с разных ракурсов от камер стереопары и от камеры БТГ 4.1. Разные ракурсы достигаются в частности тем, что БТЗ 4.2 размещают примерно над головой пользователя, а БТГ 4.1 - в очках, таким 5 образом обеспечивая получение двух изображений области вокруг объекта с разных ракурсов.

БН 4.3 предназначен для регистрации биоэлектрических потенциалов активности головного мозга пользователя и передачи их МУ 3. Для этого БН 4.3 может содержать сухие активные электроды.

О Заявленная система манипулирования объектами работает следующим образом.

Пользователь фиксирует внимание на объекте, с которым он хочет осуществить манипуляции.

БТГ 4.1 определяет направление взгляда пользователя.

БТЗ 4.2 посредством входящих в ее состав камер, например, камер стереопары 5 фиксирует окружающую обстановку, на основании данных от БТГ 4.1 рассчитывает точку фиксации взгляда пользователя на полученном изображении, распознает находящийся в этой точке объект, определяет расстояние от головы пользователя до объекта и расстояние от МЗУ 2 до объекта. Далее пользователь выбирает действие, которое он хочет выполнить с распознанным объектом, например, переместить объект из одной точки пространства в другую, нажать клавишу или выключатель и т.п. Распознавание намерения пользователя в заявленной системе манипулирования может быть реализовано 5 разными способами. Первый вариант распознавания намерения пользователя осуществляется посредством БН 4.3, при котором регистрируются сигналы поверхностной электроэнцефалограммы. Второй вариант распознавания намерения пользователя осуществляется посредством БТГ 4.1, при котором пользователь выбирает одно из предложенных действий по средствам фиксации взгляда на одной из 0 иконок, отображаемых на оптически прозрачном дисплее дополненной реальности БТГ 4.1.

Для примера предположим, что пользователем выбрано действие по перемещению объекта из одной точки пространства в другую. Тогда после указания на объект манипуляции и выбора намерения переместить объект манипуляции в новую 5 точку, пользователь фиксирует внимание на этой новой точке пространства, куда он хочет переместить объект манипуляции. БТГ 4.1 и БТЗ 4.2 совместно определяют новую точку.

Далее МУ 3 посредством БУММ 3.1 и БУМЗУ 3.2 отдает соответствующие команды ММ 1 на подведение МЗУ 2 к точке расположения объекта манипуляции, О захвата и удержания этого объекта МЗУ 2, перемещение объекта манипуляции посредством ММ 1 в новую точку и высвобождение этого объекта МЗУ 2.

В повседневной жизни пользователь может пользоваться системой манипулирования объектами для разных нужд. Так система манипулирования может открывать и закрывать двери, включать свет, наливать напитки, держать стакан с водой 5 и др. На этом ее функции не заканчиваются: она также может убирать игрушки за детьми, кормить собаку, поддерживать человека во время поездок и др.

Отличительной особенностью заявленной системы манипуляции является высокая точность определения объекта манипуляции среди множества окружающих объектов, компактная и легкая конструкция и четкое определение намерений пользователя по манипуляциям над выбранными объектами манипуляции.