Изобретение относится к робототехнике, в частности, к роботизированным системам для простого управления средствами указания, такими как лазерная указка.

Для пациентов с ограниченной подвижностью рук одной из актуальных задач является непосредственное взаимодействие с объектами окружающей среды и другими людьми. При этом иногда важно иметь возможность указывать на объект интереса напрямую, а не через интерфейс приложения, выводимый на экран. Это может выполняться, например, посредством лазерной указки.

Из патента США US 8442661 известна система телеприсутствия, в состав которой входят мобильный робот, оснащенный лазером, и устройство пользовательского интерфейса. Лазер может наводиться оператором робота посредством устройства пользовательского интерфейса. Устройство пользовательского интерфейса содержит модуль отслеживания положения головы и модуль ввода, включающий, например, джойстик, мышь, клавиатуру, трекбол, тачпад. Недостатком данной системы является невозможность ее использования пользователями с ограниченной подвижностью рук.

В заявке на патент США US20150331484 предлагается вводить в изображение, воспринимаемое камерой пользовательского устройства, анимированную лазерную указку и управлять ее перемещением взглядом пользователя. Взгляд пользователя отслеживается устройством отслеживания взгляда. Недостатком этой системы является обязательное использование индикатора (пятна анимированной лазерной указки) не на реальном объекте, а на изображении, выводимом на экран, что, помимо прочего, снижает точность позиционирования лазерной указки на объект.

В статье A. Petrushin, В. Giacinto, М. LeonardoGaze-controlled Laser Pointer Platform for People with Severe Motor Impairments: Preliminary Test in Telepresence (опубл. в Conference proceedings: Annual International Conference of the IEEE Engineering in Medicine and Biology Society. IEEE Engineering in Medicine and Biology Society. Conference. 2018. 1813-1816, DOI: 10.1109/EMBC.2018.8512722) ставится задача обеспечения возможности непосредственного взаимодействия пациента с окружающей его средой и другими людьми при помощи указания на объекты лазерным лучом. Для решения этой задачи предложена мобильная платформа, оснащенная лазерной указкой и видеокамерой. Мобильная платформа способна перемещаться в пространстве по указанию пациента. Сцена, регистрируемая видеокамерой мобильной платформы, в режиме потокового видео передается на устройство пациента. Пациент управляет мобильной платформой, перемещая или удерживая взгляд на устройстве пациента. К недостаткам этого решения можно отнести следующие: пациент вынужден указывать только на объекты, находящиеся в поле зрения видеокамеры мобильной платформы; пациент вынужден управлять мобильной платформой через устройство пациента, то есть сам пациент воспринимает окружающую среду не непосредственно, а через экран; режим обеспечения потокового видео требует достаточно надежного канала связи.

Таким образом, существует задача разработки такого способа управления роботизированным манипулятором, который предоставляет пользователю возможность непосредственно указывать на объект интереса, обеспечивая при этом высокую точность позиционирования указательного устройства с применением только взгляда пользователя, т.е. без использования таких дополнительных средств, как джойстик, клавиатура и т.п.

Техническим результатом изобретения является повышение точности управления световым указателем, в частности лазерным указателем, при использовании только взгляда пользователя.

Поставленная задача решается, а заявленный технический результат достигается в предложенном способе управления роботизированным манипулятором, содержащим лазерный излучатель, стереокамеру сцены для получения изображений сцены и стереокамеру глаз для получения изображений левого глаза и правого глаза. Способ включает выбор области проекции луча лазерного излучателя путем определения направления взгляда; получение изображения сцены вокруг области проекции; определение возможности проекции луча на область проекции; выбор оптимальной точки положения лазерного излучателя; определение текущего положения лазерного излучателя в системе координат стереокамеры сцены; подвод лазерного излучателя в оптимальную точку; и осуществление проекции луча лазерного излучателя на область проекции. Поставленная задача решается, а заявленный технический результат достигается также в частных вариантах реализации способа управления роботизированным манипулятором, которыми, однако, данное изобретение не ограничивается.

Если определена невозможность проекции луча на область проекции, предпочтительно определить точки положения лазерного излучателя, из которых достижима область проекции с учетом изображения сцены вокруг области проекции и размеров препятствий.

Кроме того, для определения координат текущего положения лазерного излучателя в системе координат стереокамеры является предпочтительным, если: выбирают первую точку-мишень, вторую точку-мишень, третью точку-мишень и четвертую точку-мишень, не лежащие на одной плоскости; последовательно наводят луч на указанные точки-мишени и определяют координаты указанных точек-мишеней в системе координат стереокамеры сцены; определяют расстояние от первой точки-мишени до лазерного излучателя, расстояние от второй точки-мишени до лазерного излучателя и расстояние от третьей точки- мишени до лазерного излучателя в системе координат стереокамеры сцены, а положение четвертой точки-мишени используют для однозначного определения указанных расстояний; строят ортонормальную систему координат Oxyz с единичными ортами i,j, к, при этом: выбирают первую точку началом координат, выбирают орт вектора, проходящего от первой точки-мишени во вторую точку- мишень, направлением единичного орта i в направлении Ох, выполняют ортогонализацию Грама-Шмидта вектора, проходящего от первой точки-мишени в третью точку-мишень, относительно единичного орта / для получения единичного орта j в направлении Оу, выполняют векторное произведение единичных ортов i и j для получения единичного орта к в направлении Oz, и далее выполняют разложение вектора положения лазерного излучателя в системе координат Oxyz по базису системы координат стереокамеры сцены.

Далее заявленное изобретение и некоторые варианты его осуществления более подробно поясняются со ссылкой на фигуру, на которой схематично представлена блок-схема алгоритма осуществления проекции луча лазерного излучателя на выбранную пользователем область проекции.

На фигуре использованы следующие сокращения: ЛИ - лазерный излучатель; СК - система координат.

В качестве роботизированного манипулятора может быть использована любая известная роботизированная система, представляющая собой манипулятор с установленным на нем лазерным излучателем, а также включающая стереокамеру сцены и стереокамеру глаз.

Вместо лазерного излучателя может быть использован любой известный направленный источник света, например полупроводниковый светодиод с системой фокусирующих линз, поэтому термин «лазерный излучатель» не следует понимать как ограничивающий данное изобретение использованием в нем только лазерного излучателя.

Стереокамера сцены предназначена для получения изображения окружающего пространства, также называемого сценой. Стереокамера глаз используется для получения изображений левого глаза и правого глаза посредством входящих в ее состав камеры левого глаза и камеры правого глаза.

Согласно алгоритму работы заявленной системы, представленному на фигуре, для осуществления проекции луча лазерного излучателя на выбранную пользователем область проекции необходимо посредством стереокамеры глаз получить изображения левого глаза и правого глаза для последующего определения желаемой области проекции луча лазерного излучателя.

На этом этапе получают изображение левого глаза и изображение правого глаза, содержащие блики от источников света левого глаза и правого глаза, которые могут располагаться рядом со стереокамерой глаз. Далее определяют положение зрачка глаза, определяют положение и проводят нумерацию бликов на роговице глаза, определяют оптическую ось направления взгляда каждого глаза и по ней уже определяют направление взгляда.

При определении положения зрачка каждого глаза на изображении каждого глаза выполняют предварительный поиск зрачка, выполняют построение предварительного эллипса зрачка и по его узловым точкам строят эллипс зрачка. При определении положения и нумерации бликов на роговице каждого глаза на изображении глаза выполняют поиск бликов, вычисляют размер радужки, исключают блики, находящиеся за пределами радужки, и выполняют нумерацию бликов для определения вектора направления взгляда. При определении оптической оси направления взгляда каждого глаза определяют нодальную точку глаза, точку рефракции для центра зрачка, положение центра зрачка в системе координат камеры сцены. Определение направления взгляда выполняют на основании определенной оптической оси направления взгляда и калибровки направления взгляда.

Для предварительного поиска зрачка могут определять предварительное положение центра зрачка, а также количество пикселей в области зрачка, предварительно характеризующее его размер. При построении предварительного эллипса зрачка является предпочтительным, если в предварительной области зрачка находят порог бинаризации и выполняют бинаризацию для определения границы зрачка для построения предварительного эллипса зрачка. Для построения эллипса зрачка по узловым точкам границы предварительного эллипса зрачка можно использовать метод наименьших квадратов. При этом предпочтительно отфильтровывать узловые точки таким образом, чтобы они образовывали выпуклую фигуру.

Поиск бликов на роговице глаза можно выполнять, например, пороговой обработкой изображения таза с выделением кластеров и фильтрацией кластеров по яркости, размеру и параметру отклонения от круглости.

При вычислении размера радужки предпочтительно использовать информацию о среднем размере человеческой радужки и информацию о расстоянии от соответствующей камеры левого глаза или камеры правого глаза до зрачка, что повышает точность определения направления взгляда.

Нумерация бликов может выполняться от одного блика из верхней пары, ближайшего к переносице, по кругу, в сторону от переносицы, т.е. по часовой стрелке для правого глаза и против часовой стрелки для левого глаза.

При определении оптической оси направления взгляда каждого глаза определяют нодальную точку глаза, точку рефракции для центра зрачка, положение центра зрачка в системе координат камеры сцены. Кроме того, этап определения направления взгляда может включать калибровку направления взгляда, которая выполняется либо на одном из указанных этапов, либо заранее. При этом достаточно единожды выполнить калибровку для конкретного пользователя, и повторной калибровки уже не потребуется. В частности, при калибровке направления взгляда учитывают индивидуальные особенности пользователя и взаимное положение камер левого и правого глаза и камеры сцены.

После выбора области проекции лазерного излучателя, отвечающей направлению взгляда, выполняют этап получения информации о сцене вокруг области проекции посредством стереокамеры сцены.

В качестве одного из вариантов получения информации о сцене может быть использован способ получения набора объектов трехмерной сцены, в котором одновременно получают изображения кадров с левой камеры и правой камеры в составе стереокамеры сцены, для каждой точки изображения с пиксельными координатами формируют карту диспаратности методом полуглобального установления стереосоответствий, по карте диспаратности определяют истинные координаты указанной точки (т.е. координаты точки в системе координат стереокамеры сцены), формируют карту глубин точек в истинных координатах, формируют двухмерное изображение в шкале серого, в котором яркость точки зависит от истинного расстояния до точки, и на полученном двухмерном изображении в шкале серого выполняют детекцию и идентификацию объектов одним из методов, выбранных из метода Виолы-Джонса (Р. Viola, M.J. Jones. Robust Real-Time Face Detection International Journal of Computer Vision 57(2), 137-154, 2004), метода нейронной сети SSD-mobilenet (см., например, заявку на патент Китая CN109398688) и метода нейронной сети Mask R-CNN ( Kaiming Не, Georgia Gkioxari, Piotr Dollar Ross Girshick. Mask R-CNN; опубликовано 24.01.2018, доступно по ссылке в сети Интернет https://arxiv.org/pdf/1703.06870.pdf). с получением набора объектов трехмерной сцены. При этом карту диспаратности формируют методом полуглобального установления стереосоответствий (Semi-Global Matching, или SGM; метод описан, например, в Heiko Hirschmuller. Accurate and Efficient Stereo Processing by Semi-Global Matching and Mutual Information. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), San Diego, CA, USA, June 20-26, 2005). Истинные координаты точки определяют с учетом фокусных расстояний камер в составе стереокамеры сцены и расстояния между ними. Яркость точки принимается равной нулю, если истинное расстояние до нее выходит за заданный диапазон.

Карта диспаратности - это визуальное отображение сдвигов между одинаково расположенными фрагментами снимков левой и правой камер стереокамеры сцены (чем ближе находится точка сцены, тем эти сдвиги больше). Как известно, это «расхождение» можно представить как числовой массив, элементы которого показывают разность в пикселах точек правого и левого изображений, привязанную к одному из них. Ректификация разноракурсных изображений (выравнивание правого и левого снимков по горизонтали) позволяют уменьшить размерность массива - свести его к двумерному. Для удобства восприятия эта матрица представляется в графическом виде: чем больше расхождение между снимками, тем светлее соответствующие пикселы изображения.

Для построения карт диспаратности используется ряд алгоритмов, в целом подразделяющихся на три класса: локальные, глобальные и полуглобальные (частично глобальные).

Локальные алгоритмы рассчитывают диспаратность в отдельности для каждого пиксела, при этом учитывая информацию лишь из узкой его окрестности. Алгоритмы используют, в основном, квадратные или прямоугольные окна фиксированного размера и по какой-либо метрике сравнивают суммы абсолютных значений яркости внутри этих окон. Такие алгоритмы характеризуются высокой скоростью и вычислительной эффективностью. Однако приемлемое качество работы обеспечивается только при условии гладкости функции интенсивности пикселей. На границах объектов, где функция интенсивности терпит разрыв, алгоритмы допускают значительное количество ошибок. Дальнейшее развитие методов привело к появлению многооконных алгоритмов и окон с адаптивной структурой, что улучшило качество расчета диспаратности. Но «платой» за это стало значительное увеличение времени работы, что зачастую приводит к невозможности анализа изображений в реальном времени.

Глобальные алгоритмы основаны на вычислении диспаратности одновременно для всего изображения, при этом каждый пиксел изображения оказывает влияние на решение во всех остальных пикселах. Глобальные алгоритмы различаются как видом унарного и парного потенциалов, так и алгоритмами минимизации и структурой графа. Несмотря на то, что, как правило, по результативности глобальные алгоритмы превосходят локальные, полученные карты диспаратности не свободны от ошибок, обусловленных теми упрощениями, которые изначально заложены в формулу для функционала энергии. При этом глобальные алгоритмы являются более медленными.

Полуглобальные, или частично глобальные, способы являются разумным компромиссом между быстрыми, но неточными локальными методами и более точными, но медленными глобальными, позволяющим рационально использовать их сильные стороны. Идея методов состоит в независимости решения для каждого пиксела с учетом влияния всех (или части, не ограниченной локальной окрестностью) остальных пикселов изображения.

В частности, для получения информации о сцене вокруг области проекции обеспечивают по существу одновременное получение левого кадра от левой камеры стереокамеры сцены и правого кадра от правой камеры стереокамеры сцены при съемке сцены. Формируют карту диспаратности способом полуглобального установления стереосоответствий с получением диспаратности d(x,y) для каждой точки изображения с пиксельными координатами (х,у). Определяют истинные координаты (C,U,Z) точки с пиксельными координатами (х,у) по формулам:

Х=(х · Q00+Q03 )/W,

Y ⁼ (y Q 11 +Q 13 )/w,

Z-Q23/W, где W=d Q32+Q33, a Q00, Q03, Q11, Q13, Q23 - постоянные, определяемые фокусными расстояниями левой камеры и правой камеры и расстоянием между левой камерой и правой камерой. Далее формируют карту глубин D(x,y), где D - истинное расстояние от левой камеры или правой камеры до точки с пиксельными координатами (х,у). Формируют двухмерное изображение в шкале серого, на котором яркость Ф(х,у) точки с пиксельными координатами (х,у) задают по формулам:

Ф(х,у) = 0, если D(x,y) < Dmin,

Ф(х,у) = 255, если D(x,y) > Dmax,

Ф(х,у) = 255 (D(x,y) - Dmin)/(Dmax - Dmin) - в остальных случаях, где Dmin и Dmax - заданные соответственно минимальное и максимальное значения глубины, определяемые из контекста применения заявленного способа.

На полученном двухмерном изображении в шкале серого выполняют детекцию и идентификацию объектов одним из методов, выбранных из метода Виолы- Джонса, метода нейронной сети SSD-mobilenet и метода нейронной сети Mask R-CNN, с получением набора объектов трехмерной сцены.

После получения изображения сцены вокруг области проекции определяют, возможно ли проецировать луч лазерного излучателя на область проекции с учетом полученной сцены. Если на пути луча к области проекции окажутся объекты, положение манипулятора и/или направление лазерного излучателя должны быть скорректированы таким образом, чтобы луч мог беспрепятственно достичь области проекции с учетом полученной сцены, включающей объекты-препятствия и их размеры. При этом подходящих положений для беспроблемной проекции луча на область проекции может оказаться несколько, и из таких точек положения лазерного излучателя выбирают наиболее оптимальную точку, например, ближайшую к текущему положению, или отстоящую от границ области возможного перемещения манипулятора, или еще по какому-либо критерию.

Далее следует определить текущее положение лазерного излучателя, для чего сначала определяют текущее положение лазерного излучателя в системе координат манипулятора, а затем - в системе координат стереокамеры сцены. При этом следует иметь в виду, что текущее положение лазерного излучателя в системе координат манипулятора доступно в любой момент, поскольку лазерный излучатель и манипулятор механически связаны друг с другом, следовательно, их относительное положение известно.

Для определения положения лазерного излучателя в системе координат камеры сцены могут быть использованы различные методы, а наиболее предпочтительный из них, отличающийся простотой, точностью и высоким быстродействием, описан далее.

Сначала в пространстве произвольно выбирают первую точку-мишень, вторую точку-мишень, третью точку-мишень и четвертую точку-мишень, не лежащие на одной плоскости, а также с условием, что они должны быть видны стереокамере сцены и доступны для луча лазерного излучателя. Здесь нумерация точек-мишеней указана исключительно для удобства понимания дальнейшего описания.

Далее последовательно наводят луч лазерного излучателя на указанные точки- мишени и определяют координаты указанных точек-мишеней в системе координат стереокамеры сцены.

После этого определяют расстояние от первой точки-мишени до лазерного излучателя, расстояние от второй точки-мишени до лазерного излучателя и расстояние от третьей точки-мишени до лазерного излучателя в системе координат стереокамеры сцены, а положение четвертой точки-мишени используют для однозначного определения указанных расстояний, о чем более подробно будет сказано ниже.

Для удобства понимания предлагаемого метода преобразования координат положения лазерного излучателя из системы координат манипулятора в систему координат стереокамеры введем следующие обозначения:

Ai - первая точка-мишень;

Аг - вторая точка-мишень;

Аз - третья точка-мишень;

А - четвертая точка-мишень;

О - точка положения лазерного излучателя.

Изначально координаты точек Ai, Аг, Аз, Ад известны в системе координат стереокамеры сцены, а координаты точки О известны в системе координат манипулятора.

Точки О, Ai, Аг, Аз не должны лежать в одной плоскости, что практически всегда выполняется автоматически.

Чтобы найти координаты точки О в системе координат стереокамеры сцены, решают систему уравнений:

AiA _j ² = OAi ² + OA _j ² - 2OAiOA _{j CO} s(AiOA _j ), где i, j = 1, 2, 3; AiA _j - расстояние между точками Ai и A _j ; OAi - расстояние между точками О и Ai, т.е. длина отрезка OAi; AiOA _j - угол между отрезками OAi и OAj.

Решив уравнение, например, методом Феррари, получают несколько вариантов значений отрезков OAi, ОА ₂ , ОА ₃ , из которого выбирают нужное с использованием координат Ад точки следующим образом. Для каждого варианта рассчитывают координаты точки О. Выбирают тот единственный вариант, при котором углы А ₁ ОА4, А ₂ ОА ₄ и А ₃ ОА ₄ совпадают с известными углами между направлениями луча лазерного излучателя. Таким образом, получают однозначные координаты точки О в системе координат стереокамеры сцены.

Далее строят ортонормальную систему координат Oxyz с единичными ортами i, j, к. Выбирают началом координат, например, первую точку Аь Выбирают орт вектора, проходящего от Ai во вторую точку Аг, направлением единичного орта г в направлении Ох. Выполняют ортогонализацию Грама-Шмидта вектора, проходящего от Ai в третью точку Аз, относительно единичного орта / для получения единичного орта j в направлении Оу. Выполняют векторное произведение единичных ортов и j для получения единичного орта к в направлении Oz. И, наконец, выполняют разложение вектора положения лазерного излучателя в системе координат Oxyz по базису системы координат стереокамеры сцены.

Построенная система Oxyz позволяет для любой точки либо вектора выполнить пересчет его координат из системы координат стереокамеры сцены в систему координат манипулятора (или лазерного излучателя), либо в обратном направлении. Действительно, поскольку построение выполняется одновременно в системе координат манипулятора и системе координат стереокамеры сцены, для любого вектора в системе координат манипулятора и системе координат стереокамеры сцены возможно определить его координаты в системе координат Oxyz, скалярно перемножая данный вектор и орты i, j, к. Соответственно, для любого вектора в системе координат Oxyz, подставляя вместо ортов /, j, к их явные разложения по базису системы координат стереокамеры сцены или системы координат манипулятора, можно получить координаты вектора соответственно в системе координат стереокамеры сцены или системе координат манипулятора.

Аналогично для произвольной точки, вычитая из ее координат координаты первой точки Ai (поскольку она была выбрана в качестве начала координат ортонормальной системы координат Oxyz) в исходной системе координат, можно перейти к вектору, с которым можно проделать любые перечисленные выше действия. После этого, прибавляя координаты первой точки в конечной системе координат, переходят от вектора к точке. Заявленный способ управления роботизированным манипулятором был испытан в следующих условиях: линейное смещение между точкой крепления (началом системы координат) лазерного излучателя и точкой крепления (началом системы координат) стереокамеры сцены от 1 до 5 метров; угловое смещение в пределах 1 ,5 радиан по каждой оси; для стереокамеры сцены режимы левой и правой камер 1280x720, расстояние между левой и правой камерами 0,1 м; расстояния между точками-мишенями от 1 до 3 метров. По результатам испытаний ошибка позиционирования не превышала 1 см.

Способ быстр и прост в использовании, для распределенной робототехники со сложно предсказуемым перемещением и вращением стереокамеры сцены относительно лазерного излучателя он позволяет быстро определить либо постоянно отслеживать связь между системами координат стереокамеры сцены и лазерного излучателя.