ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

Область техники, к которой относится изобретение

Изобретение относится устройствам, предназначенным для воздействия на виртуальные объекты, а именно к устройствам для воздействия на виртуальные объекты дополненной реальности, содержащее корпус, в котором размещены видеокамера, дисплей, микрофон, соединенные с вычислительным модулем, обрабатывающим данные.

В данной работе используются следующие термины.

Виртуальный объект - созданный техническими средствами объект, передаваемый человеку через его ощущения: зрение, слух и другие.

Дополненная реальность — воспринимаемая смешанная реальность, создаваемая с использованием «дополненных» с помощью компьютера элементов воспринимаемой реальности (когда виртуальные объекты монтируются в поле восприятия).

Устройство для создания и просмотра объектов дополненной реальности - любое компьютерное устройство, имеющее в комплекте дисплей и видеокамеру, которое может передавать на дисплей изображение с видеокамеры в режиме реального времени и выводить на дисплей дополнительное виртуальное изображение. Типичный представитель такого устройства: смартфон, планшетный компьютер, компьютер с гарнитурой в виде очков дополненной реальности типа Google Glass и тому подобное.

Смартфон (англ. smartphone— умный телефон)— сотовый телефон, дополненный функциональностью карманного персонального компьютера.

Марковская модель - статистическая модель, имитирующая работу процесса, похожего на марковский процесс с неизвестными параметрами, и задачей ставится разгадывание неизвестных параметров на основе наблюдаемых. Полученные параметры могут быть использованы в дальнейшем анализе, например, для распознавания образов.

Фонетическое представление словаря голосовых команд - фонетическое многообразие различных вариантов произношения одинаковых слов, соответствующих командам. Уровень техники

В настоящее время все большее количество людей используют различные электронные устройства и взаимодействуют с виртуальными объектами. Это происходит не только в компьютерных играх, но и в процессе обучения, а также, например, при удаленной торговле товарами, когда покупатель принимает решение о покупке, пользуясь виртуальной моделью товаров. При этом наиболее перспективным направлением развития выглядит создание дополненной реальности - то есть совмещение на дисплее компьютерного устройства или смартфона и очков виртуальной или дополненной реальности виртуальных объектов вместе с реальным изображением, получаемым в режиме реального времени с видеокамеры указанного устройства.

Кроме простого наблюдения за объектами дополненной реальности необходимо с ними взаимодействовать, то есть с помощью разных средств посылать управляющие сигналы, которые приводят к тому, что объект дополненной реальности реагирует на воздействие.

Известны устройства для воздействия на виртуальные объекты дополненной реальности, содержащее корпус, в котором размещены видеокамера, дисплей, микрофон, соединенные с вычислительным модулем, обрабатывающим данные. Этот уровень техники раскрыт в публикации описания патента на полезную модель РФ N°138628 от 20.03.2014

Данное устройство является наиболее близким по технической сути и достигаемому техническому результату и выбрано за прототип предлагаемого изобретения.

Недостатком этого прототипа является невозможность управлять действиями или движениями объекта дополненной реальности в зависимости от звуковых команд.

Раскрытие изобретения

Настоящая изобретение, главным образом, имеет целью предложить устройство для воздействия на виртуальные объекты дополненной реальности, позволяющее, по меньшей мере, сгладить, как минимум, один из указанных выше недостатков, а именно, обеспечить возможность воздействия на виртуальные объекты дополненной реальности в том числе звуковыми командами и, что и является поставленной технический задачей. Для достижения этой цели устройство имеет блок хранения базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными звуковыми командами, соединенный с вычислительным модулем, который имеет электронный блок распознавания среди звуковых данных, поступивших через микрофон устройства, звуковых команд из базы данных, выход блока распознавания соединен с входом расположенного в вычислительном модуле электронного блока активации действий виртуальных объектов дополненной реальности, соответствующих распознанным звуковым командам.

Благодаря данным выгодным характеристикам появляется возможность управлять объектами дополненной реальности путем звуковых команд, издаваемых пользователем. В зависимости от произнесенной или любым образом поданной звуковой команды объект будет выполнять действия, соответствующие указанной команде. Например, виртуальная собака в дополненной реальности по команде «Лежать» будет ложиться. Виртуальный человек в дополненной реальности по звуковой команде «Эй» будет оборачиваться. Виртуальный ребенок в дополненной реальности при исполнении колыбельной песни засыпает.

Существует вариант изобретения, в котором блок распознавания звуковых команд имеет модуль заранее подготовленных параметров скрытой марковской модели для языка. Благодаря данной выгодной характеристике появляется возможность распознавать слова среди общего звукового потока, получаемого микрофоном устройства.

Существует также вариант изобретения, в котором блок распознавания звуковых команд имеет модуль языковой модели языка. Благодаря данной выгодной характеристике появляется возможность более точно распознавать слова, согласовывая их с языковой моделью языка.

Существует и такой вариант изобретения, в котором блок распознавания звуковых команд имеет модуль фонетического представления словаря голосовых команд. Благодаря данной выгодной характеристике появляется возможность разделять команды на фонемы и учитывать фонетическое многообразие различных вариантов произношения одинаковых слов, соответствующих командам. То есть при этом команды «Стоять» и «Стаять» воспринимаются одинаково, как команда «Стоп».

Существует также вариант изобретения, в котором блок распознавания звуковых команд имеет модуль определения интонации принимаемого звука. Благодаря данным выгодным характеристикам появляется возможность по- разному воздействовать на виртуальные объекты дополненной реальности в зависимости от интонации команд.

Существует еще вариант изобретения, в котором блок распознавания звуковых команд имеет модуль определения громкости принимаемого звука. Благодаря данным выгодным характеристикам появляется возможность по- разному воздействовать на виртуальные объекты дополненной реальности в зависимости от уровня громкости команд.

Кроме того, существует вариант изобретения, в котором блок распознавания звуковых команд имеет модуль преобразования звука в текстовую информацию. Благодаря данной выгодной характеристике появляется возможность сравнивать распознанную команду, переведенную в письменную форму с командой в письменной форме, для которой есть запрограммированное действие объекта дополненной реальности. Краткое описание чертежей

Другие отличительные признаки и преимущества данного изобретения ясно вытекают из описания, приведенного ниже для иллюстрации и не являющегося ограничительным, со ссылками на прилагаемые рисунки, на которых:

- фигура 1 изображает схему устройства для воздействия на виртуальные объекты дополненной реальности согласно изобретению,

- фигура 2 схематично изображает этапы способа воздействия на виртуальные объекты дополненной реальности согласно изобретению.

Согласно фигуре 1 устройство для воздействия на виртуальные объекты дополненной реальности содержит корпус 1 , в котором размещены видеокамера 2, дисплей 3, микрофон 4, соединенные с вычислительным модулем 5, обрабатывающим данные.

Устройство имеет блок хранения 6 базы данных действий виртуальных объектов дополненной реальности, соотнесенных с различными звуковыми командами, соединенный с вычислительным модулем 5, который имеет электронный блок 7 распознавания среди звуковых данных, поступивших через микрофон 4 устройства, звуковых команд из базы данных. Выход блока распознавания 7 соединен с входом расположенного в вычислительном модуле электронного блока 8 активации действий виртуальных объектов дополненной реальности, соответствующих распознанным звуковым командам. Блок распознавания 7 звуковых команд может иметь модуль 9 заранее подготовленных параметров скрытой марковской модели для языка.

Блок распознавания 7 звуковых команд может иметь модуль 10 языковой модели языка.

Блок распознавания 7 звуковых команд может иметь модуль 1 1 фонетического представления словаря голосовых команд.

Блок распознавания 7 звуковых команд может иметь модуль 12 преобразования звука в текстовую информацию.

Блок распознавания 7 звуковых команд имеет модуль 13 определения интонации принимаемого звука

Блок распознавания 7 звуковых команд имеет модуль 14 определения громкости принимаемого звука.

На фигуре 1 также обозначено:

15 - реальный объект, который снимает видеокамера 2,

16 - изображение реального объекта на дисплее 3,

17 - изображение виртуального объекта дополненной реальности на дисплее 3,

18 - пользователь.

Осуществление изобретения

Устройство для воздействия на виртуальные объекты дополненной реальности работает следующим образом. Приведем наиболее исчерпывающий пример реализации изобретения, имея в виду, что данный пример не ограничивает применения изобретения.

Согласно фигуре 2:

Этап А1. До начала воздействия на виртуальные объекты дополненной реальности формируют базу действий виртуальных объектов дополненной реальности, соотнесенных с различными звуковыми командами.

Этап А2. Заранее устанавливают соответствие между звуковой командой и вариантом действий объекта дополненной реальности.

Этап A3. Располагают в области поля зрения видеокамеры устройства для создания и просмотра виртуальных объектов дополненной реальности любое изображение, служащее маркером для создания виртуальных объектов дополненной реальности. Этап A4. Создают объект дополненной реальности и выводят его на дисплей устройства.

Этап А5. Произносят звуковую команду, имеющуюся в базе данных звуковых команд.

Этап А6. Устройство принимает соответствующий звуковой команде аудиосигнал с микрофона.

Этап А7. Затем посредством электронного блока распознавания среди звуковых данных, поступивших через микрофон устройства, подвергают принятый сигнал цифровому преобразованию в реальном времени.

Этап А8. На основе преобразованного сигнала, а также заранее подготовленных параметров скрытой марковской модели для языка, языковой модели языка и фонетического представления словаря голосовых команд, устройство распознаёт произнесённую команду. Результат распознавания передают в виде строкового массива.

Этап А9. С помощью электронного блока активации 8 активируют действия виртуальных объектов дополненной реальности, соответствующих распознанным звуковым командам.

Устройство способно распознавать любой язык, при условии корректных параметров скрытой марковской модели для языка, языковой модели языка и фонетического представления словаря голосовых команд.

Для размещения объектов дополненной реальности на реальных объектах (например, на столе), также могут выполнять следующие операции:

1 . Определяют маркеры реального трехмерного пространства по изображениям, полученным от видеокамеры устройства для создания и просмотра дополненной реальности. В общем маркером может быть любая фигура или объект. Но на практике мы ограничены разрешением веб-камеры (телефона), особенностями цветопередачи, освещения и вычислительной мощностью оборудования, так как все происходит в реальном времени, а потому должно обрабатываться быстро, а потому выбирается обычно черно-белый маркер простой формы

2. Формируют физическую базовую систему координат, привязанную к пространственному положению маркеров реального трехмерного пространства,

3. Задают координаты трехмерных виртуальных объектов дополненной реальности в базовой системы координат. 4. Определяют координаты устройства для создания и просмотра дополненной реальности относительно базовой системы координат посредством анализа изображения с камеры устройства.

Последовательность этапов является примерной и позволяет переставлять, убавлять, добавлять или производить некоторые операции одновременно без потери возможности обеспечивать взаимодействие с виртуальными объектами дополненной реальности.

Промышленная применимость

Предлагаемое устройство для воздействия на виртуальные объекты дополненной реальности может быть осуществлено специалистом на практике и при осуществлении обеспечивает реализацию заявленного назначения, что позволяет сделать вывод о соответствии критерию «промышленная применимость» для изобретения.

В соответствии с предложенным изобретением изготовлен опытный образец устройства. Испытания опытного образца показали, что он обеспечивает возможность:

- определения в звуковой информации звуковых команд, соответствующим тем, что заранее занесены в базу данных звуковых команд,

- определения в базе данных последовательности действий объекта дополненной реальности, соответствующей определенной звуковой команде,

- выполнения указанной последовательности действий, соответствующей определенной звуковой команде, объектом дополненной реальности.

Пример реализации 1. Созданный в качестве объекта дополненной реальности виртуальный пес выполняет команды: «Фас!», «Апорт!» и прочие.

Пример реализации 2. Созданный в качестве объекта дополненной реальности виртуальный солдат марширует и выполняет все строевые команды.

Пример реализации 3. См. фиг. 1 . Созданная в качестве объекта дополненной реальности виртуальная ракета взлетает по команде «Старт!» или «Поехали!»

Таким образом, в данном изобретении достигнута поставленная задача - обеспечение возможности воздействия на виртуальные объекты дополненной реальности в том числе звуковыми командами.