Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
USER INTERACTION IN A COMMUNICATION SYSTEM WITH THE AID OF MULTIPLE LIVE STREAMING OF AUGMENTED REALITY DATA
Document Type and Number:
WIPO Patent Application WO/2019/092590
Kind Code:
A1
Abstract:
What is claimed is: a method for user interaction in a communication system, comprising carrying out real-time live streaming of data from a sender relating to data about a location shown on the screen of the sender's user device with the aid of an image capture device of the sender's user device, and also to data about at least one main virtual object which can be controlled by the sender and shown on the screen of the sender's user device such as to be associated with the specific location shown on the screen of the sender's user device, said object being shown as an augmented reality object, and showing, in real time, live streaming data from the sender on the screen of a user device of at least one receiver, and carrying out real-time live streaming of data from at least one receiver relating to data about at least one main virtual object which can be controlled by the receiver and shown on the receiver's user device such as to be associated with a specific location shown on the screen of the receiver's user device, said object being shown as an augmented reality object, together with live streaming of data from the sender.

Inventors:
SUTOVSKY, Michael Pavlovich (Alia 4, Ashdod, 77465, IL)
Application Number:
IB2018/058699
Publication Date:
May 16, 2019
Filing Date:
November 06, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
GIORGADZE, Aniko Tengizovna (ul. Marshala Tuhachevskogo, d. 37/21 kv. 13, Moscow 4, 123154, RU)
International Classes:
G06F3/0482; G06T15/08; H04N21/4402
Foreign References:
US20130293584A12013-11-07
US20160307374A12016-10-20
US20140282162A12014-09-18
US20140002442A12014-01-02
US20170178272A12017-06-22
US20140306866A12014-10-16
Attorney, Agent or Firm:
"MIKHAILYUK, SOROKOLAT & PARTNERS – PATENT ATTORNEYS" LTD. et al. (Kudrinskaya ploshchad, 1 P.O. Box 3, Moscow 2, 123242, RU)
Download PDF:
Claims:
Формула изобретения

1. Способ взаимодействия пользователей в коммуникационной системе, включающий осуществление в режиме реального времени потокового вещания данных отправителя, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства отправителя при помощи устройства захвата изображения пользовательского устройства отправителя, а также к данным о по меньшей мере одном основном виртуальном объекте, контролируемом отправителем и отображаемом на экране пользовательского устройства отправителя с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства отправителя, как объект дополненной реальности, отображение в режиме реального времени данных потокового вещания отправителя на экране пользовательского устройства по меньшей мере одного получателя, осуществление в режиме реального времени потокового вещания данных по меньшей мере одного получателя, относящихся к данным о по меньшей мере одном основном виртуальном объекте, контролируемом получателем и отображаемом на экране пользовательского устройства получателя с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства получателя, как объект дополненной реальности, совместно с потоковым вещанием данных отправителя.

2. Способ по п. 1, отличающийся тем, что перед осуществлением потокового вещания данных осуществляют по меньшей мере одно из выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства, размещения основного виртуального объекта на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, с его отображением как объекта дополненной реальности.

3. Способ по п. 1, отличающийся тем, что во время осуществления потокового вещания данных осуществляют по меньшей мере одно из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства.

4. Способ по п. 1, отличающийся тем, что в качестве основного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта.

5. Способ по п. 3, отличающийся тем, что в качестве дополнительного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео.

6. Способ по п. 1, отличающийся тем, что задание местоположения обеспечивают посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства отправителя.

7. Способ по п. 1, отличающийся тем, что во время отображения по меньшей мере одного основного виртуального объекта на экранах пользовательских устройств по меньшей мере одному из взаимодействующих пользователей предоставляют возможность осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка.

8. Способ по п. 1, отличающийся тем, что обеспечивают возможность отображения на экранах пользовательских устройств взаимодействующих пользователей по меньшей мере одного основного виртуального объекта под разными углами и с разных точек обзора.

9. Пользовательское устройство для организации взаимодействия пользователей в коммуникационной системе, включающее устройство захвата изображения, по меньшей мере один процессор, машиночитаемый носитель, соединенный с по меньшей мере одним процессором и содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства при помощи устройства захвата изображения пользовательского устройства, а также к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения в режиме реального времени данных потокового вещания на экране пользовательского устройства, предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, совместно с потоковым вещанием данных, которые отображаются.

10. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые перед осуществлением потокового вещания данных обеспечивают предоставление возможности осуществления по меньшей мере одного из выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства, размещения основного виртуального объекта на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, с его отображением как объекта дополненной реальности.

11. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые во время осуществления потокового вещания данных обеспечивают предоставление возможности осуществления по меньшей мере одного из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства.

12. Устройство по п. 9, отличающееся тем, что в качестве основного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта.

13. Устройство по п. 11, отличающееся тем, что в качестве дополнительного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео.

14. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые обеспечивают предоставление возможности задания местоположения посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства.

15. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые во время отображения по меньшей мере одного основного виртуального объекта на экране пользовательского устройства обеспечивают предоставление возможности осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка.

16. Устройство по п. 9, отличающееся тем, что программные инструкции содержат инструкции, которые обеспечивают предоставление возможности отображения по меньшей мере одного основного виртуального объекта на экране пользовательского устройства под разными углами и с разных точек обзора.

17. Коммуникационная система, которая обеспечивает взаимодействие пользовательских устройств и сервера межу собой, содержащая программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства при помощи устройства захвата изображения пользовательского устройства, а также к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения в режиме реального времени данных потокового вещания на экране пользовательского устройства, предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, совместно с потоковым вещанием данных, которые отображаются; и программные инструкции, расположенные на машиночитаемом носителе сервера, которые при приведении их в исполнение по меньшей мере одним процессором сервера обеспечивают получение сервером данных потокового вещания от пользовательского устройства отправителя и передачу полученных данных потокового вещания от сервера на пользовательское устройство по меньшей мере одного получателя.

18. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые перед осуществлением потокового вещания данных обеспечивают предоставление возможности осуществления по меньшей мере одного из выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства, размещения основного виртуального объекта на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, с его отображением как объекта дополненной реальности.

19. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые во время осуществления потокового вещания данных обеспечивают предоставление возможности осуществления по меньшей мере одного из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства.

20. Система по п. 17, отличающаяся тем, что в качестве основного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта.

21. Система по п. 19, отличающаяся тем, что в качестве дополнительного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео.

22. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают предоставление возможности задания местоположения посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства.

23. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые во время отображения по меньшей мере одного основного виртуального объекта на экране пользовательского устройства обеспечивают предоставление возможности осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка.

24. Система по п. 17, отличающаяся тем, что программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, содержат инструкции, которые обеспечивают предоставление возможности отображения по меньшей мере одного основного виртуального объекта на экране пользовательского устройства под разными углами и с разных точек обзора.

25. Машиночитаемый носитель, содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства при помощи устройства захвата изображения пользовательского устройства, а также к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения в режиме реального времени данных потокового вещания на экране пользовательского устройства, предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, совместно с потоковым вещанием данных, которые отображаются.

26. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые перед осуществлением потокового вещания данных обеспечивают предоставление возможности осуществления по меньшей мере одного из выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства, размещения основного виртуального объекта на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, с его отображением как объекта дополненной реальности.

27. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые во время осуществления потокового вещания данных обеспечивают предоставление возможности осуществления по меньшей мере одного из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства.

28. Носитель по п. 25, отличающийся тем, что в качестве основного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта.

29. Носитель по п. 27, отличающийся тем, что в качестве дополнительного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта, текста, аудио или видео.

30. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают предоставление возможности задания местоположения посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства.

31. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые во время отображения по меньшей мере одного основного виртуального объекта на экране пользовательского устройства обеспечивают предоставление возможности осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка.

32. Носитель по п. 25, отличающийся тем, что программные инструкции содержат инструкции, которые обеспечивают предоставление возможности отображения по меньшей мере одного основного виртуального объекта на экране пользовательского устройства под разными углами и с разных точек обзора.

Description:
ВЗАИМОДЕЙСТВИЕ ПОЛЬЗОВАТЕЛЕЙ В КОММУНИКАЦИОННОЙ СИСТЕМЕ ПРИ ПОМОЩИ МНОЖЕСТВЕННОГО ПОТОКОВОГО ВЕЩАНИЯ ДАННЫХ ДОПОЛНЕННОЙ РЕАЛЬНОСТИ

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области коммуникационных технологий, в частности - к способу множественного потокового вещания данных, относящихся к данным о виртуальных объектах дополненной реальности, в режиме реального времени.

УРОВЕНЬ ТЕХНИКИ

С развитием технологий дополненной реальности появляются все новые и новые способы осуществления потокового вещания данных в коммуникационных системах, предоставляющие пользователям возможность осуществлять потоковое вещание данных или онлайн-трансляции в режиме реального времени, используя виртуальные объекты дополненной реальности. Как правило, один из пользователей осуществляет онлайн-трансляцию, а другие пользователи могут присоединиться к ней в качестве зрителей. С целью выявления большей заинтересованности у зрителей существует возможность улучшения известных способов осуществления потокового вещания данных путем расширения и дополнения их функциональных возможностей.

КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

Идея настоящего изобретения заключается в том, что отправитель в режиме реального времени осуществляет потоковое вещание данных, относящихся к данным о местоположении, захватываемом камерой пользовательского устройства отправителя и отображаемом на экране пользовательского устройства отправителя, и к данным о контролируемом отправителем основном виртуальном объекте, отображаемом на экране пользовательского устройства отправителя с привязкой к заданному местоположению как объект дополненной реальности отправителя. Для дальнейшего осуществления множественного потокового вещания данных во время отображения данных потокового вещания отправителя на экранах пользовательских устройств получателей по меньшей мере один из указанных получателей может присоединиться к потоковому вещанию данных отправителя путем осуществления собственного потокового вещания данных, относящихся к другому основному виртуальному объекту. Для этого данный основной виртуальный объект получатель привязывает к заданному местоположению, данные о котором передаются посредством потокового вещания данных отправителя и отображаются на экране пользовательского устройства получателя, после чего указанный основной виртуальный объект отображается на экранах пользовательских устройств как отправителя, так и получателя и определяется при этом как объект дополненной реальности отправителя. Отправитель и получатель контролируют действия только своих виртуальных объектов. Остальные получатели потокового вещания данных отправителя, не принимающие участия в совместном, множественном, потоковом вещании данных, наблюдают на экранах своих пользовательских устройств виртуальные объекты, контролируемые как отправителем, так и получателем и отображаемые с привязкой к заданным местоположениям того местоположения, которое захватывается камерой пользовательского устройства отправителя и данные о котором передаются посредством потокового вещания данных отправителя.

Это краткое изложение сущности изобретения предоставлено для ознакомления с идеей изобретения в упрощенной форме, которая дополнительно раскрыта ниже в Подробном описании изобретения. Данное Краткое изложение сущности изобретения не является направленным на определение существенных признаков заявленных объектов изобретения, а также не является направленным на использование с целью ограничения объема изобретения.

КРАТКОЕ ОПИСАНИЕ ГРАФИЧЕСКИХ МАТЕРИАЛОВ Заявляемое изобретение поясняется с помощью следующих фигур, являющихся неограничивающими примерами реализации настоящего изобретения: фиг. 1 - блок-схема примера осуществления способа взаимодействия пользователей в коммуникационной системе согласно одному из предпочтительных вариантов осуществления настоящего изобретения; фиг. 2а - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя на этапе выбора основного виртуального объекта; фиг. 2Ь - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя, на котором отображен этап задания местоположения основного виртуального объекта; фиг. 2с - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя, на котором отображен 3d анимированный виртуальный объект как объект дополненной реальности в заданном местоположении; фиг. 2d - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя на этапе инициирования потокового вещания данных; фиг. 2е - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе инициирования получения данных потокового вещания отправителя; фиг. 2f - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя, на котором отображены данные потокового вещания отправителя; фиг. 2g - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе инициирования начала потокового вещания данных получателя; фиг. 2h - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе выбора основного виртуального объекта; фиг. 2i - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя, на котором отображен этап задания местоположения основного виртуального объекта; фиг. 2j - схематическое изображение, иллюстрирующее экран пользовательского устройства получателя на этапе осуществления потокового вещания данных получателя; фиг. 2к - схематическое изображение, иллюстрирующее экран пользовательского устройства отправителя на этапе осуществления потокового вещания данных получателя; фиг. 3 - схематическое изображение примера осуществления пользовательского устройства согласно одному из предпочтительных вариантов осуществления настоящего изобретения; фиг. 4 - схематическое изображение примера осуществления коммуникационной системы согласно одному из предпочтительных вариантов осуществления настоящего изобретения.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Настоящее изобретение относится к способу взаимодействия пользователей в коммуникационной системе, пользовательскому устройству для организации взаимодействия пользователей в коммуникационной системе, коммуникационной системе, позволяющей реализовать указанный способ, и машиночитаемому носителю, на котором сохранены программные инструкции, инициирующие выполнение аспектов способа взаимодействия пользователей согласно настоящему изобретению.

В соответствии с первым аспектом настоящего изобретения предложен способ взаимодействия пользователей в коммуникационной системе, включающий осуществление в режиме реального времени потокового вещания данных отправителя, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства отправителя при помощи устройства захвата изображения пользовательского устройства отправителя, а также к данным о по меньшей мере одном основном виртуальном объекте, контролируемом отправителем и отображаемом на экране пользовательского устройства отправителя с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства отправителя, как объект дополненной реальности, отображение в режиме реального времени данных потокового вещания отправителя на экране пользовательского устройства по меньшей мере одного получателя, осуществление в режиме реального времени потокового вещания данных по меньшей мере одного получателя, относящихся к данным о по меньшей мере одном основном виртуальном объекте, контролируемом получателем и отображаемом на экране пользовательского устройства получателя с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства получателя, как объект дополненной реальности, совместно с потоковым вещанием данных отправителя. В соответствии со вторым аспектом настоящего изобретения предложено пользовательское устройство для организации взаимодействия пользователей в коммуникационной системе, включающее устройство захвата изображения, по меньшей мере один процессор, машиночитаемый носитель, соединенный с по меньшей мере одним процессором и содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства при помощи устройства захвата изображения пользовательского устройства, а также к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения в режиме реального времени данных потокового вещания на экране пользовательского устройства, предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, совместно с потоковым вещанием данных, которые отображаются.

В соответствии с третьим аспектом настоящего изобретения предложена коммуникационная система, которая обеспечивает взаимодействие пользовательских устройств и сервера межу собой, содержащая программные инструкции, расположенные на машиночитаемом носителе пользовательского устройства, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства при помощи устройства захвата изображения пользовательского устройства, а также к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения в режиме реального времени данных потокового вещания на экране пользовательского устройства, предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, совместно с потоковым вещанием данных, которые отображаются; и программные инструкции, расположенные на машиночитаемом носителе сервера, которые при приведении их в исполнение по меньшей мере одним процессором сервера обеспечивают получение сервером данных потокового вещания от пользовательского устройства отправителя и передачу полученных данных потокового вещания от сервера на пользовательское устройство по меньшей мере одного получателя.

В соответствии с четвертым аспектом настоящего изобретения предложен машиночитаемый носитель, содержащий программные инструкции для взаимодействия пользователей в коммуникационной системе, которые при приведении их в исполнение по меньшей мере одним процессором пользовательского устройства обеспечивают предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о местоположении, отображаемом на экране пользовательского устройства при помощи устройства захвата изображения пользовательского устройства, а также к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, предоставление возможности отображения в режиме реального времени данных потокового вещания на экране пользовательского устройства, предоставление возможности осуществления в режиме реального времени потокового вещания данных, относящихся к данным о по меньшей мере одном контролируемом основном виртуальном объекте, отображаемом на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, как объект дополненной реальности, совместно с потоковым вещанием данных, которые отображаются.

Таким образом, отправитель имеет возможность в режиме реального времени осуществлять потоковое вещание данных, относящихся к данным о его местоположении, захватываемом камерой его пользовательского устройства, и к данным об основном виртуальном объекте, отображаемом на экране его пользовательского устройства с привязкой к заданному местоположению как объект дополненной реальности отправителя. Для дальнейшего осуществления множественного потокового вещания данных во время отображения данных потокового вещания отправителя на экране пользовательского устройства получателя последний присоединяется к потоковому вещанию данных отправителя путем осуществления своего потокового вещания данных, относящихся к другому основному виртуальному объекту. Данный основной виртуальный объект получателя отображается на экранах пользовательских устройств как отправителя, так и получателя и определяется при этом как объект дополненной реальности отправителя. Отправитель и получатель контролируют действия только своих основных виртуальных объектов. Остальные получатели данных потокового вещания отправителя, не принимающие участия в совместном, множественном вещании, наблюдают на экранах своих пользовательских устройств оба основных виртуальных объекта, контролируемые отправителем и получателем независимо друг от друга и отображаемые с привязкой к данным о местоположении отправителя.

Вышеописанные возможности предоставляют пользователю новый вид и формат общения, влияют на эмоциональную атмосферу, которая создается между пользователями, увеличивают заинтересованность пользователей в осуществлении подобного взаимодействия.

Пользовательские устройства и сервер в коммуникационной системе сообщены через сеть, при помощи которой устанавливают соединения между сервером и пользовательскими устройствами для осуществления взаимодействия пользователей в коммуникационной системе согласно описанному способу, включающую без ограничения сеть интернет, беспроводные коммуникационные сети, сети, использующие стандартные коммуникационные технологии и/или протоколы.

Описанная коммуникационная система может функционировать на любых подходящих пользовательских устройствах вне зависимости от установленных на них операционных систем.

Доступ пользователя к коммуникационной системе может осуществляться при помощи соответствующего приложения, установленного на пользовательском устройстве, посредством сети.

Под приложением понимают программу, установленную на пользовательском устройстве пользователя и предназначенную для взаимодействия пользователей в коммуникационной системе.

В качестве пользовательского устройства может быть использован, например, смартфон, планшетный компьютер, очки дополненной реальности или же любое другое устройство, которое содержит устройство захвата изображения, способное отображать окружающий пользователя мир (например, камера), компонент отображения, способный обеспечивать пользователя возможностью видеть отображаемый устройством захвата изображения окружающий мир (например, экран пользовательского устройства) и сетевой компонент, позволяющий устанавливать связь с по меньшей мере одним другим пользовательским устройством. Такие устройства должны иметь вычислительную способность и компоненты, достаточные для запуска и исполнения приложений с учетом текущего местоположения, а также для осуществления потокового вещания данных.

В контексте настоящего описания под взаимодействующими пользователями следует понимать отправителя и получателя. При этом под отправителем следует понимать пользователя коммуникационной системы, осуществляющего потоковое вещание данных в режиме реального времени, а под получателем - пользователя, принимающего данные потокового вещания в режиме реального времени. Данные потокового вещания отправителя содержат данные об объектах реального мира отправителя, отображаемых на экране пользовательского устройства отправителя при помощи устройства захвата изображения пользовательского устройства отправителя, а также данные о по меньшей мере одном виртуальном объекте, контролируемом отправителем и отображаемом на экране пользовательского устройства отправителя как объект дополненной реальности отправителя. Очевидно, что получатель, который принимает решение осуществлять потоковое вещание данных получателя совместно с потоковым вещанием данных отправителя, автоматически становится отправителем. Далее в контексте данной заявки под получателем следует понимать получателя, который становится «соотправителем». Данные потокового вещания такого получателя, который осуществляет потоковое вещание данных совместно с отправителем, содержат данные о по меньшей мере одном основном виртуальном объекте, контролируемом получателем и отображаемом на экране пользовательского устройства получателя, как объект дополненной реальности отправителя.

Получатель может получить уведомление на свое пользовательское устройство об осуществлении отправителем потокового вещания данных и возможности принять указанные данные. Такое уведомление также может представлять собой публикацию в ленту сообщений взаимодействующих пользователей с возможностью получателем открыть публикацию с дальнейшим осуществлением этапов способа согласно настоящему изобретению. Предпочтительно перед осуществлением потокового вещания отправитель и по меньшей мере один получатель осуществляют по меньшей мере одно из выбора основного виртуального объекта из доступных к выбору виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства и размещения основного виртуального объекта на экране пользовательского устройства с привязкой к заданному местоположению, отображаемому на экране пользовательского устройства, с его отображением как объекта дополненной реальности отправителя.

В одном из наиболее предпочтительных вариантов осуществления настоящего изобретения во время осуществления потокового вещания отправитель и по меньшей мере один получатель осуществляют по меньшей мере одно из объединения отображаемого основного виртуального объекта с дополнительным виртуальным объектом, задания нового местоположения на экране пользовательского устройства с последующим передвижением отображаемого основного виртуального объекта на экране пользовательского устройства в заданное местоположение, замены отображаемого основного виртуального объекта на экране пользовательского устройства на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране пользовательского устройства.

Таким образом, как отправитель, так и получатель во время осуществления в режиме реального времени потокового вещания данных управляют своими собственными основными виртуальными объектами независимо друг от друга. Это управление включает в себя замену отображаемого основного виртуального объекта на другой основной виртуальный объект из списка доступных к замене основных виртуальных объектов, а также изменение местоположения основного виртуального объекта на экране пользовательского устройства. Также каждому из пользователей, осуществляющих потоковое вещание данных, доступно объединение своего основного виртуального объекта с дополнительными виртуальными объектами.

Предпочтительно в качестве основного виртуального объекта используют по меньшей мере один из 2d статичного или анимированного виртуального объекта, 3d статичного или анимированного виртуального объекта.

Также предпочтительно в качестве дополнительного виртуального объекта используют по меньшей мере один из 2d статичного (например, картинка, фотография) или анимированного виртуального объекта, 3d статичного (например, 3d рисунок) или анимированного виртуального объекта, текста, аудио (например, музыка, аудиоэффект, запись голоса пользователя) или видео. Объединение основного виртуального объекта с дополнительным может быть реализовано в качестве предоставления возможности отправителю и/или получателю прикрепить к основному виртуальному объекту дополнительный виртуальный объект. Предпочтительно дополнительный виртуальный объект может быть прикреплен к основному виртуальному объекту в любой момент времени: в начальном заданном местоположении основного виртуального объекта на экране пользовательского устройства отправителя, при осуществлении основным виртуальным объектом передвижения, в новом заданном местоположении основного виртуального объекта. Дополнительные виртуальные объекты также отображаются на экранах пользовательских устройств отправителя и получателя как объекты дополненной реальности отправителя. В предпочтительном варианте осуществления дополнительные виртуальные объекты отображаются с привязкой к основным виртуальным объектам. В одном из наиболее предпочтительных вариантов осуществления настоящего изобретения задание местоположения обеспечивают посредством привязки основного виртуального объекта к географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства отправителя, например, посредством привязки указанного объекта к поверхности стола, отображаемой на экране пользовательского устройства камерой пользовательского устройства отправителя. Это относится как к заданию местоположения отправителем, так и к заданию местоположения получателем. Таким образом, в заданном местоположении отображается основной виртуальный объект, и последующие передвижения основного виртуального объекта, представляющего собой, например, 3d анимированный виртуальный объект, осуществляются уже из указанного заданного местоположения.

Предпочтительно во время отображения основного виртуального объекта на экранах пользовательских устройств по меньшей мере одному из взаимодействующих пользователей, как тому, который осуществляет потоковое вещание данных, так и тому, который принимает данные потокового вещания без осуществления своего потокового вещания данных, предоставляют возможность осуществления по меньшей мере одной из следующих операций: передачи текстового сообщения, передачи голосового сообщения, передачи видео сообщения, передачи мультимедийного сообщения, видео звонка.

В одном из предпочтительных вариантов осуществления настоящего изобретения обеспечивают возможность отображения на экранах пользовательских устройств отправителя и/или по меньшей мере одного получателя основного виртуального объекта под разными углами и с разных точек обзора. Это означает, что после отображения по меньшей мере одного основного виртуального объекта на экранах пользовательских устройств отправителя и/или получателя пользователь имеет возможность рассмотреть основной виртуальный объект при помощи устройства захвата изображения своего пользовательского устройства с разных точек обзора, например, сверху, сбоку или обойти его кругом.

Описанные выше варианты реализации настоящего изобретения в равной степени относятся ко всем заявленным его аспектам, а именно к способу взаимодействия пользователей в коммуникационной системе, пользовательскому устройству для организации взаимодействия пользователей в коммуникационной системе, машиночитаемому носителю, коммуникационной системе, обеспечивающей взаимодействие пользовательских устройств и сервера между собой.

Аспекты настоящего изобретения далее раскрыты в данном описании со ссылками на графические материалы, которые являются неограничивающими примерами реализации настоящего изобретения.

Фиг. 1 иллюстрирует блок-схему примера осуществления способа взаимодействия пользователей в коммуникационной системе согласно одному из предпочтительных вариантов осуществления настоящего изобретения. Этапы проиллюстрированного блок-схемой способа будут далее более подробно раскрыты со ссылками на фиг. 2а - 2к.

При инициировании потокового вещания данных в режиме реального времени на экране 200 пользовательского устройства 202 отправителя отображают объекты 204 реального мира отправителя при помощи устройства захвата изображения пользовательского устройства 202 отправителя, а также панель 206 с доступными к выбору основными виртуальными объектами, как проиллюстрировано на фиг. 2а. Отправитель осуществляет выбор основного виртуального объекта 208 из доступных к выбору основных виртуальных объектов. Указанный этап описан в блоке 100 блок-схемы, приведенной на фиг. 1.

Далее отправитель осуществляет размещение выбранного основного виртуального объекта 208 на экране 200 пользовательского устройства 202 отправителя. Для этого отправитель задает местоположение 210 основного виртуального объекта 208, как проиллюстрировано на фиг. 2Ь. Заданное местоположение 210 отображается устройством захвата изображения пользовательского устройства 202 отправителя на экране 200 пользовательского устройства 202 отправителя. Отправитель может задавать местоположение объекта, например, посредством касания пальцем определенного места сенсорного экрана 200 или «перетаскивания» пальцем выбранного основного виртуального объекта 208 по сенсорному экрану 200 до определенного местоположения, после чего указанный объект 208 привязывается к заданному географическому местоположению, отображаемому устройством захвата изображения пользовательского устройства 202 отправителя, и отображается как объект дополненной реальности, как проиллюстрировано на фиг. 2с. Т.е. на экране 200 пользовательского устройства 202 отправителя отображается как основной виртуальный объект 208, так и объекты 204 реального мира отправителя, к которым обращено устройство захвата изображения пользовательского устройства 202 отправителя. Отправитель может осмотреть отображаемый основной виртуальный объект 208 с разных сторон через экран 200 пользовательского устройства 202 отправителя, меняя угол обзора, при помощи устройства захвата изображения пользовательского устройства 202 отправителя. В наиболее предпочтительном варианте исполнения изобретения основной виртуальный объект 208 представляет собой 3d анимированный виртуальный объект. Указанный этап размещения основного виртуального объекта 208 описан в блоке 102 блок-схемы, приведенной на фиг. 1

После размещения основного виртуального объекта 208 на экране 200 пользовательского устройства 202 отправителя последнему посредством пользовательского интерфейса на экране 200 пользовательского устройства 202 предоставляется возможность начать осуществление в режиме реального времени потокового вещания данных, относящихся к данным об объектах 204 реального мира отправителя, отображаемых на экране 200 пользовательского устройства 202 отправителя, а также к данным об основном виртуальном объекте 208 отправителя. При этом на экране 200 пользовательского устройства 202 отправителя может быть, к примеру, отображена иконка 212 с надписью «Начать потоковое вещание данных», как проиллюстрировано на фиг. 2с, при касании которой, как отображено на фиг. 2d, начинается осуществление потокового вещания данных отправителя в режиме реального времени. Указанный этап описан в блоке 104 блок-схемы, приведенной на фиг. 1

После касания указанной иконки 212 отправитель может в любой последовательности, например, объединять отображаемый основной виртуальный объект 208 с дополнительным виртуальным объектом (например, текстом, 2d или 3d виртуальным объектом, аудио или видео); задавать новое местоположение на экране 200 пользовательского устройства 202 отправителя, как это описано выше, с последующим передвижением отображаемого основного виртуального объекта 208 на экране 200 пользовательского устройства 202 отправителя в новое заданное местоположение; заменять отображаемый основной виртуальный объект 208 на экране 200 пользовательского устройства 202 отправителя на другой основной виртуальный объект из доступных к выбору основных виртуальных объектов посредством пользовательского интерфейса на экране 200 пользовательского устройства 202 отправителя и т.д. Объединение основного виртуального объекта 208 с дополнительными виртуальными объектами может быть осуществлено, например, посредством выбора соответствующего дополнительного виртуального объекта из файлов, хранящихся на пользовательском устройстве 202 отправителя, например, из фотографий, или посредством выбора из доступных к выбору примеров, «выпадающих» после касания пальцем соответствующего окна с надписью «Нажмите для добавления дополнительного виртуального объекта». Таким образом, отправитель может осуществлять любые доступные действия над своим отображаемым основным виртуальным объектом (основным виртуальным объектом 208 или новым основным виртуальным объектом, которым может быть заменен основной виртуальный объект 208), т.е. осуществлять управление своим основным виртуальным объектом. При этом в режиме реального времени будет осуществляться потоковое вещание данных, относящихся к данным об объектах 204 реального мира отправителя, отображаемых при помощи устройства захвата изображения пользовательского устройства 202 отправителя, и данных, относящихся к данным о виртуальных объектах отправителя, отображаемых на экране 200 пользовательского его устройства 202, как объекты дополненной реальности отправителя (основные и дополнительные виртуальные объекты отправителя), т.е., к примеру, данных, связанных с нахождением основного виртуального объекта 208 в заданном местоположении, с отображением дополнительных виртуальных объектов в объединении с основным виртуальным объектом 208, с передвижением основного виртуального объекта 208.

Предпочтительно получателю предоставляют возможность получения данных потокового вещания отправителя посредством соответствующей иконки 214, как проиллюстрировано на фиг. 2е, касание которой инициирует отображение данных потокового вещания отправителя на экране 216 пользовательского устройства 218 получателя.

После касания указанной иконки 214 на экране 216 пользовательского устройства получателя отображаются данные потокового вещания отправителя, относящиеся к объектам 204 реального мира отправителя и к основному виртуальному объекту 208 отправителя, как проиллюстрировано на фиг. 2f. Указанный этап отображения данных потокового вещания описан в блоке 106 блок-схемы, приведенной на фиг.1.

Далее получатель может наблюдать за происходящим на экране 216 пользовательского устройства 218 получателя и в определенный момент времени решить, что он хочет осуществлять потоковое вещание данных (данных получателя) совместно с потоковым вещанием данных отправителя.

Предпочтительно получателю предоставляют возможность осуществления своего собственного потокового вещания данных посредством соответствующей иконки 220, как проиллюстрировано на фиг. 2g, касание которой инициирует начало потокового вещания данных отправителя. Предпочтительно после получения согласия отправителя на присоединение к своему потоковому вещанию данных получатель осуществляет выбор основного виртуального объекта 222 на экране 216 пользовательского устройства 218 получателя, как проиллюстрировано на фиг. 2h.

Предпочтительно перед отображением основного виртуального объекта 222 получателя на экране 216 пользовательского устройства 218 получателя, отображающем данные потокового вещания отправителя, задают местоположение 224, как проиллюстрировано на фиг. 2i, для дальнейшего прикрепления основного виртуального объекта 222 получателя, как проиллюстрировано на фиг. 2j.

Предпочтительно действия получателя, осуществляемые для задания местоположения основного виртуального объекта получателя на экране пользовательского устройства получателя, аналогичны действиям отправителя при задании им местоположения основного виртуального объекта отправителя. После задания получателем местоположения на экране 216 пользовательского устройства 218 получателя отображается выбранный основной виртуальный объект 222 получателя как объект дополненной реальности отправителя. Указанный этап осуществления потокового вещания данных получателя описан в блоке 108 блок-схемы, приведенной на фиг. 1.

Таким образом, на экранах пользовательских устройств получателя и отправителя теперь отображаются данные множественного потокового вещания, относящиеся к данным потокового вещания получателя (основной виртуальный объект 222 получателя) и к данным потокового вещания отправителя (основной виртуальный объект 208 отправителя и объекты 204 реального мира отправителя), как проиллюстрировано на фиг. 2j и 2к соответственно.

Получатель может осуществлять любые доступные действия над своим основным виртуальным объектом аналогичные доступным действиям отправителя в отношении своего основного виртуального объекта. Каждый из пользователей, осуществляющих потоковое вещание данных в режиме реального времени, контролирует свой собственный основной виртуальный объект независимо от другого пользователя.

Как отправитель, так и получатель могут осмотреть отображаемые основные виртуальные объекты 208 и 222 с разных сторон через экраны своих собственных пользовательских устройств, меняя угол обзора, при помощи устройства захвата изображения пользовательского устройства.

На фиг. 3 приведено схематическое изображение примера осуществления пользовательского устройства согласно одному из вариантов осуществления настоящего изобретения. Указанное пользовательское устройство может быть как пользовательским устройством отправителя, так и пользовательским устройством получателя и содержит процессор 300 и связанные с ним экран 302, машиночитаемый носитель 304, сетевой компонент 306 и устройство 308 захвата изображения.

На фиг. 4 приведено схематическое изображение примера осуществления коммуникационной системы согласно одному из вариантов осуществления настоящего изобретения. Указанная коммуникационная система содержит сервер 400 и связанные с ним пользовательские устройства 402 и 404 отправителя и получателя соответственно. Как видно из рассматриваемой фигуры, потоковое вещание данных от пользовательского устройства отправителя осуществляется посредством сервера 400. Следует принять во внимание, что способ взаимодействия пользователей в коммуникационной системе, пользовательское устройство для организации взаимодействия пользователей в коммуникационной системе, коммуникационная система, позволяющая реализовать указанный способ, и машиночитаемый носитель, на котором сохранены программные инструкции, инициирующие выполнение аспектов способа взаимодействия пользователей согласно настоящему изобретению, не ограничены конкретными признаками или этапами, описанными выше. Напротив, конкретные признаки и этапы, описанные выше, раскрыты в качестве примеров, реализующих настоящее изобретение, и другие эквивалентные признаки и этапы могут быть охвачены объемом настоящего изобретения.