ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

Предполагаемое изобретение относится к робототехнике, применению методов дополненной реальности в робототехнике и может быть использова- но в следующих областях:

- ядерная энергетика - работа с радиоактивными материалами или радиоктивной среде;

- химическая промышленность - работа с отравляющими, пожаро - и взрывоопасными веществами, веществами, вредными для здо- ровья;

- биотехнологии - работа в среде с опасностью биологического заражения микробами, бактериями, вирусами;

- электронная промышленность - работа в «чистых» комнатах;

- сварка в камерах с контролируемой атмосферой;

- работа в помещениях с экстремальными температурными режи- мами (морозильные камеры, горячие цеха);

- пожаротушение;

- ликвидация последствий аварий на опасных производствах;

- военные и антитеррористические операции;

- разминирование;

- подводные работы;

- работы в космическом пространстве;

- удаленное сервисное обслуживание промышленных роботов;

- дистанционное и недистанционное программирование промыш- ленных роботов.

В данных областях, для предоставления дополнительной информации оператору робототехнических систем, а так же для поддержки программи- рования данных систем могут использоваться изображения с дополненной

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) реальностью (англ. Augmented Reality (AR)), то есть, изображения, получа- емые с некоторого приемника изображения и дополненные изображением некого виртуального объекта, сгенерированного соответствующим про- граммным модулем. Виртуальными объектами могут быть:

- текстовые указатели-выноски, указывающие на конкретный объект или точку в реальном пространстве;

- графическое изображение точки в пространстве, где должна быть расположена центральная точка инструмента (англ. Tool Center Point (TCP));

- пространственные линии, соответствующие требуемой траектории движения инструмента;

- изображение самого инструмента или даже манипулятора, в том числе в динамике для целей имитационного моделирования;

- изображения скрытых объектов;

- изображения объектов, которые будут получены в результате обра- ботки, но еще пока не получены или изображения объектов после промежуточной обработки;

- ограничители пространства;

- индикаторы и приборные панели

- другие графические объекты, в том числе в динамике (анимиро- ванные) для целей имитационного моделирования.

Использование AR обеспечивает возможности наглядного, информаци- онно насыщенного ассистирования операторам, существенным образом расширяет возможности робототехнических систем с манипуляторами и значительно увеличивает число решаемых с их помощью задач.

Кроме того, визуализация траектории движения инструмента робота поз- воляет упростить процесс программирования промышленных роботов- манипуляторов в обычных условиях эксплуатации, а также снизить требо-

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) вания к квалификации операторов практически любых промышленных ро- ботов.

Для того что бы правильно построить и затем правильно и реалистич- но отображать изображение с дополненной реальностью, необходимо пра- вильно определять положение приемника изображения в реальном про- странстве относительно реальных объектов, а также знать положение вир- туального объекта в данном пространстве.

Для этих целей может использоваться известный способ, в котором для определения положения приемника изображения используются специ- альные маркеры, представляющие собой некоторые изображения, распола- гаемые в заданном известном положении. Положение приемника в процессе работы, при этом, определяется исходя из вида маркера на полученном при- емником изображении и исходя из известных геометрических параметров изображения на маркере и координат расположения маркеров (заявка WO 03/064116, B25J, от 07.08.2003 г.).

К недостаткам данного способа следует отнести тот факт, что точ- ность определения позиции ограничена качеством оптики камеры, каче- ством и калибровкой самой камеры, точностью определения положения маркеров или точностью их размещения в известных местах пространства, а также качеством обработки изображения. Кроме того, в указанных выше условиях размещение маркеров в требуемых положениях бывает либо за- труднительно, либо вообще невозможно, что существенно снижает возмож- ности робототехнических систем. Кроме того, положение виртуального объекта является изначально привязанным к положению маркера и может изменяться либо путем изменения положения маркера, либо путем «ручно- го» изменения положения виртуального объекта относительно маркера на неопределенные или заданные величины перемещений и углов поворота без точной привязки виртуального объекта к точкам реальных объектов, что так

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) же существенно снижает функциональные возможности роботов и ограни- чивает удобство их программирования.

Известен так же способ формирования изображения дополненной ре- альности, где для определения положения приемника изображения исполь- зуются, как минимум, одно собственное измерительное устройство системы позиционирования инструмента робототехнической системы. В качестве измерительных устройств в этом случае имеются в виду, прежде всего, дат- чики угла поворота в приводах такой робототехнической системы. Перво- начальное положение приемника относительно системы координат робота определяется в процессе калибровки, которая предполагает задание соот- ветствия между некоторыми положениями приемника и изображениями, получаемыми с помощью данного приемника. (Европейский патент ЕР 1 521 211 В1, G06T 7/00, от 15.06.2011 г.)

К недостаткам данного способа следует отнести невозможность обес- печения точной привязки виртуальных объектов, дополняющих реальность, к конкретным точкам реальных объектов. На практике этот факт, например, может означать, что траекторию движения инструмента, отображаемую в виде виртуального объекта, невозможно точно привязать к реальному обра- батываемому объекту и ошибки этой привязки приведут к невозможности генерации программы для робота либо генерации ошибочной программы.

Известна так же робототехническая система, с устройством допол- ненной реальности, которая, как и заявляемая робототехническая система, содержит систему позиционирования инструмента с системой управления, по меньшей мере, один приемник изображения, по меньшей мере, один мо- нитор, вычислитель с модулем формирования изображения дополненной реальности (Европейский патент ЕР 1 521 211 В1, G06T 7/00, от 15.06.2011 г)·

К недостаткам указанной системы следует отнести отсутствие средств для обеспечения точной привязки виртуальных объектов к точкам

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) реальных объектов без использования маркеров. Такое исполнение робото- технической системы приводит к необходимости использования маркеров, что как уже сказано выше, во-первых : не всегда возможно, в силу недосяга- емости или вредности среды, для здоровья оператора, во-вторых не всегда обеспечивает необходимую точность привязки, что существенно ограничи- вает возможности дистанционного использования робото-технических си- стем, а так же ограничивает использование технологии дополненной реаль- ности для облегчения программирования и снижения требований к квали- фикации оператора робототехнической системы.

Известен так же способ формирования изображения дополненной ре- альности,

описанный в статье (Ng C.L., Ng Т.С., Nguyen T.A.N., Yang G., Chen W. (2010). Intuitive robot tool path teaching using laser and camera in augmented reality environment. In: Proceedings of the International Conference on Control, Automation, Robotics and Vision. Singapore; 7-10 December 2010. p. 114-9.), в котором изображение реального объекта получают с помощью стационарно установленной на штативе приемника изображения, в виде цифровой ви- деокамеры, затем с помощью мышки указывают курсором на экране мони- тора точки привязки на реальном объекте и с помощью лазерного дально- мера, установленного с возможностью вращения вокруг вертикальной и го- ризонтальной осей на специальном приспособлении, определяют с помо- щью собственной системы позиционирования приспособления текущее по- ложение и ориентацию лазерного дальномера и на основе этих данных ко- ординаты данной точки в системе координат робота. Затем накладывают виртуальное изображение, в статье это траектория движения инструмента и инструмент, на реальное изображение таким образом, чтобы точки привязки виртуального объекта соответствовали точкам привязки реального объекта, а также в соответствии с положением цифровой видеокамеры относительно

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) реального объекта, которое определяется предварительно в процессе калиб- ровки видеокамеры.

При этом, для определения координат точек реального объекта, ука- занных на мониторе, лазерный дальномер поворачивают так, чтобы луч подсветки дальномера подсветил пиксел, указанный курсором мыши на мо- ниторе и соответствующий указанной точке привязки реального объекта. Для этого в процессе поворота дальномера отслеживается положение следа луча подсветки на изображении путем цветового анализа пикселей и опре- деляется центр этого следа. Когда центр данного следа совпадет с пикселом, соответствующим точке привязки, производится замер расстояния до дан- ной точки и, используя известные данные о положении и ориентации даль- номера, вычисляются координаты данной точки.

Данный способ по совокупности признаков является наиболее близ- ким к заявляемому техническому решению и поэтому принят авторами за- являемого изобретения за прототип.

К недостаткам данного способа следует отнести необходимость от- слеживания пятна от луча подсветки на экране монитора, так как, как от- мечают сами авторы статьи, определение пятна может быть ошибочным из за возможных шумов-подсветок, путь пятна может быть прерывистым, если он проходит через резко изменяющие направления поверхности, пятно мо- жет исчезать на некоторых особенностях поверхности, например, отверсти- ях, пятно может расщепляться или раздваиваться на отражающих поверхно- стях, форма его зависит от угла падения на поверхность, что затрудняет вы- числение центра пятна. Все это приводит к усложнению процедуры опреде- ления координат точек привязки, увеличивает её время и снижает точность определения координат.

Известна так же робототехническая система, содержащая промыш- ленный робот с контроллером и установленным на роботе инструментом, приемник изображения в виде цифровой видеокамеры, установленной ста-

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) ционарно на штативе, лазерный дальномер, установленный на фиксирован- ном расстоянии от камеры на специальном приспособлении, выполненным с приводом вращения вокруг вертикальной и горизонтальной осей и соб- ственной системой позиционирования текущего положения и ориентации лазерного дальномера, монитор и вычислитель с модулем формирования изображения дополненной реальности (Ng C.L., Ng Т.С., Nguyen T.A.N., Yang G., Chen W. (2010). Intuitive robot tool path teaching using laser and cam- era in augmented reality environment. In: Proceedings of the International Con- ference on Control, Automation, Robotics and Vision. Singapore; 7-10 December 2010. p. 114-9.).

К недостаткам данного устройства следует отнести такое расположе- ние приемника изображения и дальномера, которое приводит к необходи- мости отслеживания пятна подсветки на экране монитора для обеспечения возможности замера расстояния до точки реального объекта, указанной на мониторе. Как показано выше, это приводит к усложнению процедуры определения координат точек привязки, увеличивает её время и снижает точность определения координат.

С учетом вышеизложенного, в основу изобретения положена задача устранить указанные недостатки и создать такой способ формирования изображения дополненной реальности, который бы за счет перемещения дальномера в положения, при которых линия измерения расстояний даль- номера совпадает с лучом, задающим направление от точки фокуса прием- ника изображения на указанную точку привязки реального объекта и после- дующего измерения расстояний до указанных точек из этих положений, позволил бы определять координаты точек указанных на мониторе в систе- ме координат робота без необходимости отслеживания пятен луча подсвет- ки дальномера и вычисления их центров, в итоге обеспечить упрощение процедуры привязки виртуального объекта, дополняющего реальность, к

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) точкам реального объекта, сократить время на ее проведение и повысить точность привязки виртуального объекта к реальному.

Также задачей заявляемого изобретения является создание такой ро- бото-технической системы, которая бы за счет жесткого закрепления даль- номера и, по меньшей мере, одного приемника изображения на корпусе од- ного из подвижных звеньев робота и обеспечения, вследствие этого, воз- можности перемещения и переориентации приемника изображения и даль- номера в зоне действия робота обеспечила бы возможность совмещения ли- нии измерения расстояний дальномера с лучом, задающим направление от точки фокуса приемника изображения на указанную точку привязки реаль- ного объекта и последующего измерения расстояний до указанных точек из этих положений, позволил бы определять координаты точек указанных на мониторе в системе координат робота без необходимости отслеживания пя- тен луча подсветки дальномера и вычисления их центров, в итоге обеспе- чить упрощение процедуры привязки виртуального объекта, дополняющего реальность, к точкам реального объекта, сократить время на ее проведение и повысить точность привязки виртуального объекта к реальному.

Поставленная задача решается тем, что в способе формирования изображения дополненной реальности для робототехнических систем, включающем получение изображения реального объекта с помощью при- емника изображения, формирование изображения реального объекта на экране монитора, указание курсором на экране монитора точек привязки ре- ального объекта, определение с помощью дальномера координат указанных точек на реальном объекте, указание соответствующих точек привязки вир- туального объекта, и наложение на сформированное изображение реального объекта изображения виртуального объекта в соответствии с привязкой то- чек виртуального объекта к точкам привязки реального объекта при соот- ветствующем положении приемника изображения относительно реального объекта, согласно изобретению, определение координат указанных на мо-

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) ниторе точек привязки реального объекта осуществляют путем последова- тельных перемещений дальномера с помощью привода и системы управ- ления робота в положения, при которых линия измерения расстояний даль- номера совпадает с лучом, заданным направлением от точки фокуса прием- ника изображения на указанную точку привязки реального объекта, после- дующего измерения из этих положений с помощью дальномера расстояний до указанных точек реального объекта, при этом каждое положение прием- ника изображения определяют с помощью датчиков приводов осей и систе- мы управления робота.

Такой способ формирования изображения дополненной реальности позволяет: - за счет перемещения дальномера с помощью привода и системы управления робота в положения, при которых линия измерения расстояний дальномера совпадает с лучом, заданным направлением от точки фокуса приемника изображения на указанную точку привязки реального объекта и последующего измерения из этих положений с помощью дальномера рас- стояний до указанных точек реального объекта, исключить необходимость отслеживания пятен луча подсветки дальномера и вычисления их центров на поверхности реального объекта, вследствие чего обеспечить упрощение процедуры привязки виртуального объекта, дополняющего реальность, к точкам реального объекта, сократить время на ее проведение и повысить точность привязки виртуального объекта к реальному;

- за счет определения положения приемника изображения с помощью дат- чиков приводов осей и системы управления робота исключить необходи- мость обмена данными с внешними, по отношению к роботу, устройствами, вследствие чего упростить процедуру привязки виртуального объекта, до- полняющего реальность, к точкам реального объекта, сократить время на ее проведение и повысить точность привязки виртуального объекта к реально- му.

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) Также поставленная задача решается за счет того, что в робототехниче- ской системе, содержащей робот с контроллером, технологическое оборудо- вание с установленным на концевом звене робота инструментом, по меньшей мере, один приемник изображения, дальномер, установленный с возможно- стью вращения, по меньшей мере, относительно двух осей, по меньшей мере, один монитор, связанный с вычислителем, на котором установлен модуль формирования изображения дополненной реальности, согласно изобрете- нию, дальномер и, по меньшей мере, один приемник изображения жестко за- креплены на подвижном звене робота.

Такое конструктивное исполнение робототехнической системы обес- печивает за счет жесткого закрепления дальномера и, по меньшей мере, одного приемника изображения на подвижном звене робота возможность перемещения и переориентации приемника изображения и дальномера в зоне действия робота с помощью приводов осей подвижных звеньев робота с использованием системы управления робота, что позволяет, с минималь- ными погрешностями, соизмеримыми с характеристикой повторяемости ро- бота, совмещать линии измерения расстояний дальномера с лучом, задаю- щим направление от точки фокуса приемника изображения на указанную точку привязки реального объекта и исключить необходимость обмена дан- ными с внешними по отношению к роботу устройствами, вследствие чего упростить процедуру привязки виртуального объекта, дополняющего ре- альность, к точкам реального объекта, сократить время на ее проведение и повысить точность привязки виртуального объекта к реальному.

Целесообразно также, чтобы робототехническая была снабжена до- полнительно, по меньшей мере, одним приемником изображения, установ- ленным вне робота и содержащим маркер своего положения, а также сред- ством определения положения данного приемника изображения, жестко за- крепленном на одном из подвижных звеньев робота.

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) И

Такое конструктивное выполнение робототехнической системы за счет возможности размещения приемника изображения вне робота, напри- мер, в руках оператора и выбора оператором удобного места для обзора ре- альных объектов, а также возможности определения местоположения дан- ного приемника изображения с помощью средства определения положения, закрепленного на подвижном звене робота, позволяет оператору ускорить процесс выбора оптимальных точек привязки виртуального объекта к ре- альному, вследствие чего упростить процедуру привязки виртуального объ- екта, дополняющего реальность, к точкам реального объекта, сократить время на ее проведение, а за счет возможности выбора оптимального (ми- нимального) взаимного расположения средства определения местоположе- ния и приемника изображения минимизировать погрешности определения местоположение приемника и повысить точность привязки виртуального объекта к реальному.

Целесообразно также, чтобы робототехническая система содержала в качестве

приемника изображения цифровую видеокамеру

Такое конструктивное выполнение робототехнической системы позво- ляет осуществлять получение изображения реальных объектов и его обработку компьютерными средствами в условиях эксплуатации робототехнической системы в оптически прозрачной среде и, таким образом, решить задачу за- являемого изобретения в этих условиях.

Целесообразно также, чтобы робототехническая система содержала в качестве

приемника изображения приемник акустического изображения - звуковизор..

Такое конструктивное выполнение робототехнической системы позволяет

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) осуществлять получение изображения реальных объектов и его обработку компьютерными средствами в условиях эксплуатации робототехнической системы в оптически непрозрачной, но в акустически прозрачной среде, например, в замутненной воде, и, таким образом, решить задачу заявляемого изобретения в этих условиях.

Целесообразно также, чтобы робототехническая система содержала в качестве дальномера лазерный дальномер.

Такое конструктивное выполнение робототехнической системы позво- ляет осуществлять точные замеры расстояния до точек реального объекта в условиях эксплуатации робототехнической системы в оптически прозрачной среде и, таким образом, решить задачу заявляемого изобретения в этих усло- виях.

Целесообразно также, чтобы робототехническая система содержала в качестве дальномера ультразвуковой дальномер.

Такое конструктивное выполнение робототехнической системы позво- ляет осуществлять замеры расстояния до точек реального объекта в условиях эксплуатации робототехнической системы в недостаточно оптически про- зрачной среде, где использование оптических средств измерений проблема- тично и, таким образом, решить задачу заявляемого решения в этих услови- ях.

Целесообразно также, чтобы робототехническая система содержала в качестве вычислителя персональный компьютер.

Такое конструктивное выполнение робототехнической системы позво- ляет

за счет подбора необходимых характеристик персонального компьютера обеспечить компьютерную обработку виртуальных объектов и изображения реальных объектов с максимальной производительностью, что сокращает время на проведение процедуры привязки виртуального объекта, дополняю- щего реальность, к точкам реального объекта, а также делает возможным ис-

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) пользование удаленного компьютера и привлечение к формированию до- полненной реальности кроме оператора дополнительный персонал, который может выступать по отношению к оператору как ассистент или супервизор (командир), что позволяет при эксплуатации робототехнической системы объединить опыт, компетенции и навыки оператора и ассистента или супер- вайзера (командира) и таким образом повысить эффективность использова- ния робототехнической системы.

Ниже изобретение поясняется на предпочтительных примерах его вы- полнения, не имеющих ограничительного характера, которые проиллюстри- рованы сопровождающими чертежами, на которых изображены:

Фиг.1 - робототехническая система для осуществления заявляемого способа формирования изображения дополненной реальности;

Фиг.2 - иллюстрация положений дальномера, вид сразу после указания точки привязки, но до перемещения дальномера в положение из которого производится замер расстояния до данной точки;

Фиг.З - иллюстрация положений дальномера, вид после перемещения дальномера в положение, из которого производится замер расстояния;

Фиг.4, Фиг.5 - изображения обрабатываемого объекта, полученные с приемника изображения и дополненные виртуальными изображениями тра- ектории движения инструмента и самого инструмента в процессе формиро- вания траектории его движения;

Фиг.6 - изображение обрабатываемого объекта, полученное с прием- ника изображения и дополненное виртуальными изображениями траектории движения инструмента и самого инструмента в конце процесса формирова- ния траектории его движения;

Фиг.7 - изображение обрабатываемого объекта, полученное с прием- ника изображения, перед началом корректировки привязки точки траектории к обрабатываемому объекту;

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) Фиг.8 - изображение обрабатываемого объекта, полученное с прием- ника изображения, после корректировки привязки точки траектории к обра- батываемому объекту;

Фиг.9- изображение обрабатываемого объекта, полученное с приемни- ка изображения, после задания скоростей движения инструмента и техноло- гических параметров резки на различных участках траектории.

Далее со ссылкой на сопровождающие чертежи описываются неогра- ниченные варианты реализации способа формирования изображения допол- ненной реальности и робототехнической системы для его осуществления по настоящему изобретению.

Предпочтительный вариант реализации робототехнической системы для осуществления заявляемого способа формирования изображения допол- ненной реальности содержит робот-манипулятор 1 (Фиг.1) с контроллером 2, переносной пульт 3 управления. Робот-манипулятор 1 и переносной пульт 3 управления соединены с контроллером 2 робота-манипулятора 1 посред- ством кабельной системы (условно не показанной на Фиг 1.).

На фланце 4 подвижного звена робота-манипулятора 1 закреплен ин- струмент 5. В данном конкретном примере в качестве инструмента 5 исполь- зуется гидроабразивная режущая головка. К фланцу 4 подвижного звена ро- бота-манипулятора 1 жестко закреплены приемник изображения, выполнен- ный в виде цифровой видеокамеры 6 и лазерный дальномер 7. Лазерный дальномер 7 и видеокамера 6 расположены друг относительно друга таким образом, что бы зона 8 обзора видеокамеры 6 пересекалась с линией 9 изме- рений лазерного дальномера 7. Кроме цифровой камеры 6, установленной на роботе-манипуляторе 1, робототехническая система содержит три стацио- нарно установленных приемника изображений, выполненных в виде видео- камер 10, 11 и 12. Видеокамеры 10 и 11 направлены на зону действия робота- манипулятора 1. На переносном пульте 3 управления также имеется прием-

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) ник изображения в виде видеокамеры 13 с индикатором 14 положения пульта 3 управления.

Видеокамера 12 направлена вне зоны действия манипулятора, так что бы в её зону видимости мог быть помещен переносной пульт 3 управления. Видеокамера 12 является частью средства определения положения приемни- ка изображения, выполненного в виде видеокамеры 13. Индикатор 14 поло- жения пульта 3 управления выполнен в виде трех разноцветных шариков, геометрические центры которых размещены не на одной прямой, которые жестко закреплены на пульте 3 управления и имеют яркую контрастную окраску.

Пульт 3 управления также содержит монитор в виде сенсорного экрана 15 и органы управления 16 в виде кнопок и джойстика.

Кроме того, к системе управления робототехнической системы под- ключен вычислитель 17 с модулем формирования изображения дополненной реальности и монитор 18.

Видеокамеры 6,10,11,13 подключены к системе управления таким об- разом, что бы полученные с их помощью изображения могли отображаться на мониторе 15 пульта управления 3 и на мониторе 18.

Видеокамера 6, прикрепленная к фланцу 4 робота-манипулятора 1, ста- ционарно установленные видеокамеры 10,11,12, видеокамера 13 на пульте 3 управления предварительно откалиброваны, т.е. определены их внешние и внутренние параметры, необходимые как для вычисления координат точек реального пространства, отображаемых на экране монитора по координатам пиксела, в котором данная точка отображается, так и для обратного вычисле- ния координат пиксела, в котором отображается точка реального простран- ства по координатам данной точки в реальном пространстве.

Для видеокамеры 6 внешними параметрами являются её положение и ориентация относительно фланца 4. Для видеокамер 10, 11,12 внешними па- раметрами являются положения этих видеокамер и их ориентация в системе

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) координат реального пространства. Для видеокамеры 13 на пульте управле- ния 3 внешними параметрами являются её точное положение и ориентация относительно индикатора 14 положения пульта 3 управления. К внутренним параметрам видеокамер относятся фокусное расстояние, углы наклона пик- селей, положение точки пересечения плоскости изображения с оптической осью, совпадающей с центром кадра, коэффициенты дисторсии.

Лазерный дальномер 7 также откалиброван, то есть для него определены в виде набора чисел положение точки начала отсчета, расстояния и ориента- ция относительно фланца 4, необходимые для расчета координат точки в ре- альном пространстве, до которой измеряется расстояние.

Работа робототехнической системы для реализации заявляемого способа формирования изображения дополненной реальности показана на примере составления технологической программы гидроабразивной резки обрабаты- ваемого объекта 19, имеющего сложную пространственную форму, в услови- ях, когда непосредственный доступ оператора к изделию отсутствует и у оператора отсутствует математическая модель обрабатываемого объекта. При этом, в качестве виртуальных объектов, дополняющих реальность, ис- пользуется виртуальное изображение инструмента и траектория движения центральной точки инструмента робототехнической системы (Tool Center Point (TCP)), которая формируется оператором в процессе составления про- граммы.

После включения робототехнической системы включаются видеокамеры 6, 10, 11 и 13, которые формируют изображения реальных объектов, окружа- ющих робот-манипулятор 1. При этом камеры 10 и 11 формируют изображе- ние обрабатываемого объекта 19, так как изначально сориентированы на этот объект.

Используя органы управления 16 пульта управления 3, оператор пере- мещает манипулятор 1 таким образом, чтобы обрабатываемый объект 19 находился так же и в поле зрения видеокамеры 6. Ориентируя пульт управ-

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) ления 3 относительно обрабатываемого объекта, оператор также может рас- полагать видеокамеру 13, так что бы в её поле зрения находился обрабатыва- емый объект 18.

Оператор может переключаться между камерами так, чтобы, при необ- ходимости, изображение с любой из камер 6,10, 11,13 могло отображаться на мониторах 15 и (или) 18. Предположим, что оператор переключился на ка- меру 6, тогда камера 6 формирует изображение реального обрабатываемого объекта 19, которое отображается на мониторах 18 и 15.

Далее оператор курсором на экране монитора 18 указывает точку 20 (Фиг.2) на поверхности обрабатываемого объекта, которая будет начальной точкой траектории TCP при гидроабразивной резке обрабатываемого объек- та. Данной точке на экране монитора соответствует конкретный пиксел 21, которому, в свою очередь соответствует пиксел 22 ПЗС матрицы цифровой камеры 6. Положение данного пиксела задает направление от фокуса 23 циф- ровой камеры на точку 20 на поверхности обрабатываемого объекта. Далее с помощью вычислителя 17, используя данные о внутренних параметрах циф- ровой камеры и данные о положении камеры в пространстве, определяемые с помощью датчиков системы позиционирования манипулятора 1, по адресу соответствующего пиксела автоматически вычисляют уравнение прямой 24, определяемой двумя точками, фокусом камеры 23 и положением пиксела 22.

Далее используя данные о калибровке дальномера 6, вычисляется по- ложение, в которое должен быть перемещен дальномер 6, при котором линия измерения расстояний 9 дальномера 6 совпадет с прямой 24 как показано на Фиг.З. Затем производят перемещение дальномера 6 в данное положение. При таком положении дальномера 6 линия измерения расстояний 9 дально- мера проходит через точку 20 обрабатываемого объекта, и положение пятна луча подсветки дальномера, видимое оператору на мониторе, совпадает с данной точкой. При этом никакого слежения за положением пятна луча под- светки не требуется. После чего, производят замер расстояния до точки 20 и,

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) используя данные о калибровке дальномера и данные о положении дально- мера, определяемые с помощью датчиков системы позиционирования робо- та-манипулятора 1, определяют координаты точки 20. Точка отображается на экране монитора 18 в виде точки 25 (Фиг.4) виртуального объекта. Так же на экране монитора 18 может быть отображено и виртуальное 3D изображе- ние 26 инструмента в положении в котором TCP инструмента совпадает с точкой 25. Ориентация виртуального изображения инструмента может быть изменена, так как это делается в распространенных CAD программах, напри- мер AutoCad, SolidWork и т.п. Поскольку изображение данной точки изна- чально привязано к точке реального объекта, то в данном случае нет необхо- димости дополнительно указывать соответствие точек виртуального и реаль- ного объектов.

Аналогичным образом осуществляется указание точки 27 (Фиг.5) и вычисление её координат. Далее оператор указывает каким образом будет осуществляться перемещение инструмента из точки 25 в точку 27, по прямой или по дуге окружности. В данном случае по прямой, поэтому после указа- ния точки 27 на экране монитора 18 отображается прямая. Если перемещение между точками будет осуществляться по дуге окружности то, перед отобра- жением этой дуги необходимо отметить еще одну точку. Таким образом осуществляется указание всех точек, определяющих траекторию и построе- ние всей траектории TCP как показано на Фиг.6. При перемещении камеры 6, с помощью вычислителя 16 с модулем формирования изображения допол- ненной реальности происходит пересчет изображения виртуальных объектов, так, как если бы эти объекты в реальности были привязаны к указанным ра- нее точкам реального объекта. При этом в качестве исходных данных для данного пересчета используются координаты ранее указанных точек реаль- ных объектов, положение камеры 6, получаемое от системы управления ма- нипулятора и калибровочные данные камеры 6.

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) При переключении на другие камеры изображение виртуальных объек- тов перевычисляется вычислителем 17 в соответствии с положением этих камер. При переключении на камеру 13, включается камера 12 (Фиг.1) и, ес- ли индикатор 14 положения, находится в поле зрения камеры 12, то вычисля- ется положение индикатора, по нему определяется положение камеры 13 и строится изображения виртуальных объектов, дополняющих изображение реальных объектов, получаемых с камеры 13.

Для уточнения задания точек привязки на реальном объекте, оператор с помощью пульта управления может приблизить камеру 6 к данным точкам. При приближении камеры и дальномера к этим точкам, погрешность опреде- ления координат точек может быть уменьшена пропорционально расстоянию до них. После приближения к одной из точек требующих уточнения, опера- тор указывает курсором точку 28 (Фиг.7) привязки виртуального объекта и точку 29, являющейся изображением на мониторе точки реального объекта, к которой надо осуществить более точную привязку точки 28. Далее, согласно описанному выше алгоритму, дальномер перемещается в положение при ко- тором положение пятна луча подсветки дальномера совпадает с положением точки реального объекта, отображаемой точкой 29 на экране монитора, из- меряется расстояние до подсвеченной точки и производится пересчет коор- динат данной точки, после чего изображение виртуальных объектов пересчи- тывается с учетом уточненных координат, как показано на Фиг.8.

Произведя все необходимые уточнения, оператор может задать скоро- сти перемещения инструмента на различных участках траектории, представ- ленной в виде виртуального объекта и другие технологические параметры резки, например давление водяной струи. Данные о точках траектории, об ориентации инструмента в данных точках и о скорости перемещения ин- струмента между этими точками, технологические параметры резки, являют- ся исходными данными для генерации управляющей программы для робота- манипулятора. Данные о скоростях и технологические параметры могут быть

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) так же отражены в виде объектов дополненной реальности на изображении обрабатываемого объекта, как это показано на Фиг.9.

Таким образом, в результате описанных выше действий, оператор без непосредственного доступа к обрабатываемому объекту, т.е. дистанционно, без применения специальных маркеров, с требуемой точностью, и изначаль- но не имея 3D модели обрабатываемого объекта сгенерировал программу для обработки объекта. При этом, возможность наглядного отображения ре- зультата работы оператора методами дополненной реальности позволила минимизировать ошибки программирования.

Подводя итог вышеизложенному описанию изобретения, следует заме- тить, что для специалиста в данной области техники, в общем, очевидны раз- личные модификации и усовершенствования изобретения, не выходящие из его объема, который определяется исключительно формулой изобретения.

Описанный выше способ формирования изображения дополненной ре- альности с использованием удаленного компьютера позволяет привлечь к формированию изображения дополненной реальности кроме оператора до- полнительный персонал, который может выступать по отношению к опера- тору как ассистент или супервизор (командир), что позволяет при эксплуата- ции робототехнической системы объединить опыт, компетенции и навыки оператора и ассистента или супервайзера (командира) и таким образом повы- сить эффективность использования робототехнической системы.

Кроме того, данный способ позволяет дистанционно управлять робото- технической системой без присутствия оператора рядом с ней, что обеспечи- вает возможность использования робототехнической системы с системой до- полненной реальности в недоступной для оператора или удаленной от опера- тора среде, облегчает программирования робототехнической системы и, как следствие, расширяет функциональные возможности и области применения робототехнических систем с дополненной реальностью.

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26) Изобретение может найти применение при проведении любых работ, где используются роботы с перемещаемыми по программе роботами- манипуляторами и использоваться на предприятиях ядерной энергетики, хи- мической, биотехнологической, электронной промышленности, практически во всех отраслях, где в настоящее время используются промышленные робо- ты. Так же настоящее изобретение может использоваться в других различных экстремальных ситуациях и средах, где нахождение оператора вблизи мани- пулятора невозможно без ущерба для здоровья.

ЗАМЕНЯЮЩИЙ ЛИСТ (ПРАВИЛО 26)