| US20190208117A1 | 2019-07-04 | |||
| US20160284095A1 | 2016-09-29 | |||
| US20160286132A1 | 2016-09-29 | |||
| CN104717413A | 2015-06-17 |
| ФОРМУЛА 1. Компьютерно-реализованный способ фото/видео съемки цифровым устройством, включающим в себя оптическое(-ие) устройство(-ва), на основе предоставления рекомендаций по профессиональной постановке кадра, содержащий этапы, на которых: принимают на цифровом устройстве поток данных через оптическое устройство; поток данных обрабатывают, используя методы машинного обучения с применением моделей, обученных множеством изображений, включающих, по меньшей мере, информацию о композиции, чтобы рекомендовать наилучший кадр; осуществляют съемку, по меньшей мере, в одном режиме, автоматическом, или полуавтоматическом, или следящей съемки или в режиме направляемой съемки; причем, в автоматическом режиме, при нажатии на любую зону экрана, инициируют процесс съемки; в полуавтоматическом или следящем режиме съемки выполняют съемку при совмещении зоны захвата кадра и трехмерный рамки кадра; если в автоматическом, полуавтоматическом и следящем режимах возможность для создания профессионально скомпонованного кадра отсутствует, то включается направляющий режим съемки, в котором отображают карту с обозначением трехмерных объектов точек съемки, где каждая точка содержит интерактивную информацию, для получения профессионально скомпонованного кадра; полученные кадры во время съемки, по меньшей мере, в одном из режимов отправляют в буфер пред-сохраненных результатов съемки, где производят экспресс- постобработку и полученный результат съемки выводят на экран; дальнейшее взаимодействие с результатами записывается и обрабатывается методами машинного обучения с подкреплением для последующего совершенствования процессов съемки и результатов. 2. Способ по п.1, отличающийся тем, что оптическое устройство является камерой. 3. Способ по п.2, отличающийся тем, что включает, по меньшей мере, одну камеру. 4. Способ по п.1, отличающийся тем, что поток данных содержит, по меньшей мере, метаданные, включая EXIF. 5. Способ по п.1 , отличающийся тем, что создают индивидуальный портретный профиль посредством сканирования лица и определяют, по меньшей мере, один удачный вариант позирования. 6. Способ по п.5, отличающийся тем, что при определении в кадре живого объекта, соответствующего настроенному индивидуальному портретному профилю, при съемке будут учитываться параметры этого профиля. 7. Способ по п.6, отличающийся тем, что при определении в кадре более одного живого объекта, в первую очередь выбирают живой объект с сохраненным портретным профилем. 8. Способ по п.1, отличающийся тем, что в режиме автоматической съемки при нажатии на любую часть экрана, удерживают палец и перемещают цифровое устройство в разных плоскостях и направлениях. 9. Способ по п.8, отличающийся тем, что результат съемки выводится на экран, когда отжимают палец. 10. Способ по п.1 , отличающийся тем, что в режиме полуавтоматической съемки трехмерная рамка является фиксированным ориентиром. 11. Способ по п.1 , отличающийся тем, что в режиме полуавтоматической съемки, ориентируются, относительно перемещенной и фиксированной в пространстве трехмерной рамки, и совмещают зону захвата кадра и трехмерную рамку кадра. 12. Способ по п.1 , отличающийся тем, что в режиме полуавтоматической съемки и режиме следящей съемки, когда определяется в зоне охвата фокуса живой объект, его подсвечивают контуром, далее графически отрисовывают трехмерный манекен поверх объекта и манекен анимировано сменяет позу на более удачную. 13. Способ по п.12, отличающийся тем, что, если определено более одного живого объекта, пользователь может выбрать приоритетный объект. 14. Способ по п.1, отличающийся тем, что в следящем режиме съемки трехмерная рамка является следящей. 15. Способ по п.1, отличающийся тем, что в режиме следящей съемки, стабилизируют, относительно центральной точки, и совмещают следящую зону захвата кадра и следящую трехмерную рамку кадра. 16. Способ по п.11 и п.15, отличающийся тем, что за пару секунд до и после стабилизации и совмещения делают серию кадров и/или видео ряда. 17. Способ по п.11 и п.15, отличающийся тем, что трехмерная рамка указывает на ориентацию камеры, для получения профессионально скомпонованного кадра. 18. Способ по п.1, отличающийся тем, что режим направляемой съемки оператор может выбрать после запуска системы 19. Способ по п.1, отличающийся тем, в направляющем режиме съемки запускается карта, где пользователь выбирает нужную точку, приближает устройство к данной точке и автоматически переключают режим съемки на сохраненный в данной точке. 20. Способ по п.1, отличающийся тем, что карта с отображением трехмерных точек съемки представлена в двух форматах: двумерная карта и AR-карта. 21. Способ по п.20, отличающийся тем, что двумерная карта с отображением трехмерных точек съемки может отображаться во весь экран или в виде миниатюры, миниатюру можно перемещать в любое место по экрану. 22. Способ по п.20, отличающийся тем, что на AR-карте указываются точки съемки с учетом радиуса до них: в радиусе до 50 метров показывают трехмерный объект точки съемки с детальной интерактивной информацией, такой как: информация о рейтинге точки, информация об авторе точки, информация о времени жизни точки; в радиусе от 50 до 10 километров показывают трехмерные объекты скопления точек съемки с детальной информацией, такой как: информация о количестве точек в скоплении, расстоянии до скопления точек и информация о времени жизни скопления точек. 23. Способ по п.1, отличающийся тем, что вывод результата съемки занимает центральную часть экрана, при этом свободные области экрана остаются активными и при нажатии на данные активные области возвращаются к режиму, во время которого осуществлялась съемка. 24. Способ по п.23, отличающийся тем, что полученный результат съемки откладывается в буфер до следующий сессии вывода полученных результатов съемки, которые ставятся в очередь на сортировку. 25. Способ по п. 24, отличающийся тем, что для сохранения результата съемки, перетаскивают результат съемки вправо. 26. Способ по п.24, отличающийся тем, что для удаления результата съемки, перетаскивают результат съемки влево. 27. Способ по п. 1, отличающийся тем, что при взаимодействии с результатами съемки обучение может осуществляться как на устройстве, так и на сервере. 28. Машиночитаемый носитель, содержащий инструкции, исполняемые процессором, при этом процессор выполнен с возможностью осуществления этапов способа по п.1-27. |
ОБЛАСТЬ ТЕХНИКИ
Настоящее техническое решение относится к области искусственного интеллекта (далее - ИИ), задачей которого является наиболее точное воспроизведение работы мозга человека в процессах принятия решений, восприятия и определения визуальных объектов, образов, композиций и других творческих аспектов, интуитивно понятных человеку. Такие решения функционируют благодаря принципам и алгоритмам машинного обучения, включая глубокое машинное обучение.
В частности, техническое решение относится к области вычислительной техники, в частности, к способу предоставления рекомендаций по выбору композиции для фото/видео съемки цифровым устройством, основанному на предварительной, интуитивной и автоматической обработке изображений, с использованием систем ИИ.
УРОВЕНЬ ТЕХНИКИ
Из уровня техники известен источник информации US 2019208117 А1, 04.07.2019, в котором раскрыт способ по предоставлению рекомендательной информации, для создания снимков. Способ включает в себя обнаружение электронным устройством лица субъекта на экране предварительного просмотра, просматриваемом камерой электронного устройства и отображаемом на дисплее электронного устройства, идентификацию информации о текущей композиции экрана предварительного просмотра на основе обнаруженного лица субъекта на экране предварительного просмотра. Определяют рекомендуемую фотографическую композицию на основе текущей информации о композиции экрана предварительного просмотра и информации о композиции, которая расположена по центру и предоставляют визуальное руководство по композиции на дисплее электронного устройства, перемещение которого ограниченно в одной плоскости, на основе определенного рекомендуемого снимка. Обработка данных происходит на сервере, то есть для получения рекомендаций по съемке, необходим доступ в Интернет.
Заявленное техническое решение отличается от известного решения тем, что в интерфейсе отсутствуют элементы, при нажатии на которые происходит съемка, то есть сама система определяет момент нажатия «кнопки спуска затвора», а интерфейс может быть в частном случае тактильным для инициирования процесса съемки в автоматическом режиме или в общем - для сервисных целей. Панорамирование и перемещение устройства в пространстве обеспечивается способом во всех доступных степенях свободы и плоскостях. Взаимодействие с результатами записывается и обрабатывается методами машинного обучения с подкреплением для последующего совершенствования процессов съемки и результатов. В заявленном техническом решении применение принципа децентрализации вычислений искусственного интеллекта на устройствах без прямой привязки к серверам (AI on the Edge). Так, существенная часть вычислений и процессов обработки входящей информации осуществляется системой на самом цифровом устройстве, не зависимо от того есть ли сетевое соединение или нет, а полученные результаты обучения с подкреплением, доступные для публичного обмена, могут быть синхронизированы напрямую с другими устройствами по открытому межсетевому каналу (например по каналу Wi-Fi без доступа к сети интернет) или через облако, когда соединение доступно. Кроме того, заявленный способ содержит режим направляемой съемки, в котором отображают карту с обозначением трехмерных объектов точек съемки, где каждая точка содержит интерактивную информацию, для получения профессионально скомпонованного кадра.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Технической проблемой, на решение которой направлено заявленное техническое решение, является создание компьютерно-реализованного способа фото/видео съемки цифровым устройством, включающим в себя оптическое(-ие) устройство(-ва), на основе предоставления рекомендаций по профессиональной постановке кадра, без применения привычной кнопки спуска затвора, и с возможностью создания с первой попытки профессионально скомпонованные и проэкспонированные кадры, не требующие последующей выборки и постобработки.
Технический результат заключается в получении профессионально скомпонованных фото/видео кадров, без последующей постобработки.
В предпочтительном варианте реализации заявлен компьютерно-реализованный способ фото/видео съемки цифровым устройством, включающим в себя оптическое(-ие) устройство(-ва), на основе предоставления рекомендаций по профессиональной постановке кадра, содержащий этапы, на которых: принимают на цифровом устройстве поток данных через оптическое устройство; поток данных обрабатывают, используя методы машинного обучения с применением моделей, обученных множеством изображений, включающих, по меньшей мере, информацию о композиции, чтобы рекомендовать наилучший кадр; осуществляют съемку, по меньшей мере, в одном режиме, автоматическом, или полуавтоматическом, или следящей съемки или в режиме направляемой съемки; причем, в автоматическом режиме, при нажатии на любую зону экрана, инициируют процесс съемки; в полуавтоматическом или следящем режиме съемки выполняют съемку при совмещении зоны захвата кадра и трехмерный рамки кадра; если в автоматическом, полуавтоматическом и следящем режимах возможность для создания профессионально скомпонованного кадра отсутствует, то включается направляющий режим съемки, в котором отображают карту с обозначением трехмерных объектов точек съемки, где каждая точка содержит интерактивную информацию, для получения профессионально скомпонованного кадра; полученные кадры во время съемки, по меньшей мере, в одном из режимов отправляют в буфер пред-сохраненных результатов съемки, где производят экспресс- постобработку и полученный результат съемки выводят на экран; дальнейшее взаимодействие с результатами записывается и обрабатывается методами машинного обучения с подкреплением для последующего совершенствования процессов съемки и результатов.
В частном варианте оптическое устройство является камерой.
В другом частном варианте, оптическое устройство включает, по меньшей мере, одну камеру.
В другом частном варианте, поток данных содержит, по меньшей мере, метаданные, включая EXIF.
В другом частном варианте, создают персональный портретный профиль посредством сканирования лица и определяют, по меньшей мере, один удачный вариант позирования.
В другом частном варианте, при определении в кадре живого объекта, соответствующего настроенному персональному портретному профилю, при съемке будут учитываться параметры этого профиля.
В другом частном варианте, при определении в кадре более одного живого объекта, в первую очередь выбирают живой объект с сохраненным портретным профилем.
В другом частном варианте, в режиме автоматической съемки при нажатии на любую часть экрана, удерживают палец и перемещают цифровое устройство в разных плоскостях и направлениях.
В другом частном варианте, результат съемки выводится на экран, когда отжимают палец.
В другом частном варианте, в режиме полуавтоматической съемки трехмерная рамка является фиксированным ориентиром. В другом частном варианте, в режиме полуавтоматической съемки, ориентируются, относительно перемещенной и фиксированной в пространстве трехмерной рамки, и совмещают зону захвата кадра и трехмерную рамку кадра.
В другом частном варианте, в режиме полуавтоматической съемки и режиме следящей съемки, когда определяется в зоне охвата фокуса живой объект, его подсвечивают контуром, далее графически отрисовывают трехмерный манекен поверх объекта и манекен анимировано сменяет позу на более удачную.
В другом частном варианте, если определено более одного живого объекта, пользователь может выбрать приоритетный объект.
В другом частном варианте, в следящем режиме съемки трехмерная рамка является следящей.
В другом частном варианте, в режиме следящей съемки, стабилизируют, относительно центральной точки, и совмещают следящую зону захвата кадра и следящую трехмерную рамку кадра.
В другом частном варианте, за пару секунд до и после стабилизации и совмещения делают серию кадров и/или видео ряда.
В другом частном варианте, трехмерная рамка указывает на ориентацию камеры, для получения профессионально скомпонованного кадра.
В другом частном варианте, режим направляемой съемки оператор может выбрать после запуска системы.
В другом частном варианте, в направляющем режиме съемки запускается карта, где пользователь выбирает нужную точку, приближает устройство к данной точке и автоматически переключают режим съемки на сохраненный в данной точке.
В другом частном варианте, карта с отображением трехмерных точек съемки представлена в двух форматах: двумерная карта и AR-карта.
В другом частном варианте, двумерная карта с отображением трехмерных точек съемки может отображаться во весь экран или в виде миниатюры, миниатюру можно перемещать в любое место по экрану.
В другом частном варианте, на AR-карте указываются точки съемки с учетом радиуса до них: в радиусе до 50 метров показывают трехмерный объект точки съемки с детальной интерактивной информацией, такой как: информация о рейтинге точки, информация об авторе точки, информация о времени жизни точки; в радиусе от 50 до 10 километров показывают трехмерные объекты скопления точек съемки с детальной информацией, такой как: информация о количестве точек в скоплении, расстоянии до скопления точек и информация о времени жизни скопления точек. В другом частном варианте, вывод результата съемки занимает центральную часть экрана, при этом свободные области экрана остаются активными и при нажатии на данные активные области возвращаются к режиму, во время которого осуществлялась съемка.
В другом частном варианте, полученный результат съемки откладывается в буфер до следующий сессии вывода полученных результатов съемки, которые ставятся в очередь на сортировку.
В другом частном варианте, для сохранения результата съемки, перетаскивают результат съемки вправо.
В другом частном варианте, для удаления результата съемки, перетаскивают результат съемки влево. В другом частном варианте, при взаимодействии с результатами съемки обучение может осуществляться как на устройстве, так и на сервере.
Машиночитаемый носитель, содержащий инструкции, исполняемые процессором, при этом процессор выполнен с возможностью осуществления этапов вышеописанного способа.
В контексте данной заявки под системой понимается вычислительное устройство, которое содержит по меньшей мере процессор и память, причем память содержит инструкции, которые выполняются процессором. В общем случае вычислительное устройство содержит такие компоненты, как: один или более процессоров, по меньшей мере одну память, средство хранения данных, интерфейсы ввода/вывода, средство В/В, средства сетевого взаимодействия.
Процессор устройства выполняет основные вычислительные операции, необходимые для функционирования устройства или функциональности одного или более его компонентов. Процессор исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти.
Память, как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.
Средство хранения данных может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.
Интерфейсы представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п. Выбор интерфейсов зависит от конкретного исполнения устройства , которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.
В качестве средств В/В данных в любом воплощении системы, реализующей описываемый способ, должна использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB- портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.
Средства сетевого взаимодействия выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.
Компоненты устройства сопряжены посредством общей шины передачи данных.
В роли манипулятора устройства, на котором осуществляется способ, может выступать как человек - пользователь (оператор) (далее - оператор), так и программно- аппаратный комплекс автономного маневрирования и перемещения в пространстве (далее - ПАК) устройства, выполненного по типу автоматизированного дрона, БПЛА, робота и т.п. (далее - машины).
Сферы применения способа: любительская фото и видео съемка, профессиональная операторская съемка, компьютерное зрение, где требуется творческий подход к анализу картинки, в том числе медицина (обеспечение работы перспективных глазных имплантатов), а также такие пограничные варианты применения как, например, точное AR- позиционирование или генерация фотореалистичных пространств для 3D- дизайна, кино и игровой индустрии и т.п. ОПИСАНИЕ ЧЕРТЕЖЕЙ
Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:
ФИГ. 1 иллюстрирует варианты мульти-камерности цифровых устройств.
ФИГ. 2 иллюстрирует, различную зону охвата (поле зрения), масштаб кадра в зависимости от фокусного расстояния объектива камеры.
ФИГ. 3 иллюстрирует работу широкоугольного объектива, его зону охвата (поле зрения), масштаб кадра и способ переключения между фокусными расстояниями (далее - кратность увеличения).
ФИГ. 4 иллюстрирует работу стандартного объектива, его зону охвата (поле зрения), масштаб кадра и способ переключения кратности.
ФИГ. 5 иллюстрирует работу телеобъектива, его зону охвата (поле зрения), масштаб кадра и способ переключения кратности.
ФИГ. 6 иллюстрирует динамический прием панорамирования «слежение», в трех плоскостях с учетом крена, рысканья и тангажа относительно центра устройства.
ФИГ. 7 иллюстрирует стационарный прием панорамирования «оглядывание» вокруг оператора.
ФИГ. 8 иллюстрирует динамический прием панорамирования «оглядывание» вокруг объекта съемки.
ФИГ. 9 иллюстрирует процесс сканирования оператора, для создания персонального портретного профиля.
ФИГ. 10 иллюстрирует процесс настройки и ретуши созданного персонального портретного профиля.
ФИГ. 11 иллюстрирует потоковую диаграмму алгоритма создания персонального портретного профиля в системе.
ФИГ. 12 иллюстрирует блок-схему алгоритма работы ядра ИИ системы.
ФИГ. 13 иллюстрирует раскадровку процесса взаимодействия с интерфейсом в режиме автоматической съемки.
ФИГ. 14 иллюстрирует общую потоковую диаграмму алгоритма использования оператором режима автоматической съемки.
ФИГ. 15 иллюстрирует детальную блок-схему алгоритма работы системы в режиме автоматической съемки. ФИГ. 16 иллюстрирует раскадровку процесса взаимодействия с интерфейсом в режиме полуавтоматической съемки.
ФИГ. 17 иллюстрирует раскадровку процесса взаимодействия с интерфейсом в режиме полуавтоматической съемки, при наличие живого объекта в кадре, например, человека и/или животного.
ФИГ. 18 иллюстрирует общую потоковую диаграмму алгоритма использования оператором режима полуавтоматической съемки.
ФИГ. 19 иллюстрирует подробную блок-схему алгоритма работы системы в режиме полуавтоматической съемки.
ФИГ. 20 иллюстрирует раскадровку процесса взаимодействия с интерфейсом в режиме следящей съемки.
ФИГ. 21 иллюстрирует общую потоковую диаграмму алгоритма использования оператором режима следящей съемки.
ФИГ. 22 иллюстрирует подробную блок-схему алгоритма работы системы в режиме следящей съемки.
ФИГ. 23 иллюстрирует подробную блок-схему алгоритма работы системы в части съемочного процесса.
ФИГ.24 иллюстрирует отображение в режиме направляемой съемки активной карты точек съемки (ракурсов) в дополненной реальности (далее - AR-карта).
ФИГ. 25 иллюстрирует общую потоковую диаграмму алгоритма использования оператором режима направляемой съемки.
ФИГ. 26 иллюстрирует подробную блок-схему алгоритма обработки данных и представление визуальной информации в режиме направляемой съемки.
ФИГ. 27 иллюстрирует вывод результата съемки для сохранения или удаления.
ФИГ. 28 иллюстрирует процесс взаимодействия оператора с интерфейсом во время сохранения результата(-ов) съемки.
ФИГ. 29 иллюстрирует процесс взаимодействия оператора с интерфейсом во время удаления результата(-ов) съемки.
ФИГ. 30 иллюстрирует подробную блок-схему алгоритма работы системы в части обработки результата(-ов) съемки.
ФИГ. 31 иллюстрирует подробную блок-схему алгоритма работы системы в облаке (серверная часть).
ФИГ. 32 иллюстрирует общую блок-схему взаимодействия ядер ИИ системы на устройствах, применяющих технологии пограничного ИИ, их процесс обмена данными в сети системы и Интернет, и каналов распределения вычислительных мощностей между устройствами, с применением туманных вычислений.
ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.
Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.
Помимо базовых задач точного определения объектов, расстояния, глубины, визуальной одометрии и цветокоррекции, заявленный способ решает проблему правильной постановки кадра, выбора композиции, экспозиции, точки и угла съемки (далее - Ракурс). Устраняет необходимость сортировки и постобработки изображений. А также может имитировать работу различной оптики.
Для оператора способ, осуществляемый системой, представляет собой простую функциональность взаимодействия. При наведении оператором камеры цифрового устройства на интересующую область съемки, система анализирует доступное пространство вокруг и начинает взаимодействовать с оператором в одном из выбранных оператором четырех режимах: автоматическом, полуавтоматическом, следящем и в режиме направляемой съемки. Каждый режим подробно описан далее в материалах заявки.
Способ содержит этапы, на которых кадры для оператора делаются системой автоматически. В интерфейсе системы, при помощи которой осуществляется способ, нет привычной кнопки спуска затвора.
Распознают объекты в кадре, выделяют главный, определяют жанр, удачную композицию, экспозицию, настройки и цветокоррекцию, точку и ракурс. Одновременно отслеживают внешние атмосферные (погода, инсоляция, астронавигация) и временные параметры. Все эти данные собираются для обработки и постановки кадра. Синхронизируют все потоки изображений с доступных камер на цифровом устройстве. Определяют перспективный кадр для съемки с учетом перемещения устройства и самого оператора с устройством во всех плоскостях с максимально доступным ракурсом. В процессе обработки на программном уровне имитируют работу объективов камер недоступных аппаратно (компьютерная оптикокоррекция).
На цифровых устройствах предусмотрено применение принципа пограничных вычислений ИИ (далее - пограничное ИИ), также известных как «Edge AI» или «AI on the Edge» (на момент раскрытия информации в области ИИ нет устоявшегося термина). Когда существенная часть вычислений и процессов обработки входящей информации происходит на самом цифровом устройстве. Пограничное ИИ, не требует сетевого соединения и/или подключения к сети Интернет, то есть возможна работа без подключения к сети Интернет.
При этом обмен между цифровыми устройствами, внутри сети, может осуществляться путем прямой синхронизации с другими устройствами по открытым межсетевым каналам, таким как Bluetooth, Wi-Fi и т.п. без доступа к сети интернет, или же через сеть Интернет напрямую или через облако (далее - Сервер) способ обмена определяется автоматически, делая выбор в пользу максимальной пропускной способности. Цифровые устройства обмениваются полученными результатами, в том числе результатами машинного обучения с подкреплением (необходимого для постоянного комплексного совершенствования системы), доступными для публичного обмена внутри сети.
Для обеспечения роста скорости вычислений в режиме реального времени предусматривают возможность взаимодействия с другими устройствами, входящими в системную сеть, для распределения вычислительных мощностей между ними по запросу (далее - туманные вычисления).
Система, каждый раз взаимодействуя с оператором, тренируется и адаптируется под предпочтения и вкусы оператора, становясь индивидуальным инструментом и вырабатывая уникальный стиль съемки. При этом система также тренируется глобально в рамках всей сети, для совершенствования работы алгоритма. И если пользователь ограничивает передачу данных о взаимодействии с системой для тренировки персонализированных улучшений, то он сможет воспользоваться только доступными глобальными улучшениями.
Любые слова по тексту, указанные в единственном числе, могут также читаться, интерпретироваться и толковаться, как слова с тем же значением во множественном числе, если только по контексту не прослеживается однозначное толкование слова в единственном числе.
Термин оператор (700) подразумевает под собой не только пользователя системы и/или владельца устройства, на котором установлена система, но и любого другого человека, которому пользователь и/или владелец передоверил устройство для осуществления съемки. Для описания заявленного способа представлен наиболее распространенный на момент раскрытия информации вариант манипулирования устройством - «Система и Оператор». Однако, все те же описанные правила, алгоритмы и примеры применимы для комбинации - «Система и Машина».
Пропорции кадра напрямую зависят от физических пропорций матрицы камеры. Стандартное значение для большинства камер 4:3. Система на программном уровне, путем кадрирования, может использовать, согласно предпочтениям пользователя, любые другие пропорции кадра, например, 3:2, 16:9, 1:1 или произвольно заданные значения в настройках фотосъемки.
Устройство - это любое цифровое устройство или машина, оснащенное камерами. Обязательно наличие в устройстве центрального процессора, графического процессора, оперативной памяти, специальных чипов/модулей для беспроводного удаленного и внутрисетевого обмена данными.
Согласно выбору оператора в настройках системы, указав правша он или левша, все тактильные элементы интерфейса, которые нужно нажимать и/или удерживать «зеркалируются» справа налево или обратно, обеспечивая лучший опыт пользовательского взаимодействия с системой.
Под понятием размеченный датасет (1501) стоит понимать набор кадров, в которых вручную или программно обозначены графически (цветом и/или окантовкой) и/или иным способом подписаны все доступные объекты. Такой набор как правило используется в машинном обучении для тренировки нейронных сетей с последующим получением готовых нейросетевых моделей.
Для начала описания способа фото/видео съемки цифровым устройством, включающим в себя оптическое(-ие) устройство(-ва), на основе предоставления рекомендаций по профессиональной постановке кадра, стоит рассмотреть главные базовые оптические возможности устройств, использующих систему, и объяснить возможности пространственного взаимодействия системы устройства с окружающей средой в рамках съемочного процесса.
На ФИГ. 1 показаны четыре варианта устройств (100) с различным количеством камер. Количество камер напрямую связано с возможностями форм-фактора самого устройства (100), его компактности и толщины посадочного гнезда объектива камеры. Объективы бывают с фиксированным и переменным фокусным расстоянием. В отличии от фиксированных, у переменных объективов сложная конструкция, требующая телескопического выдвижения линз внутри объектива, для изменения фокусного расстояния. На компактные устройства чаще устанавливают одну или серию камер с фиксированными объективами из-за габаритных возможностей устройств. При этом учитывают камеры, расположенные на любой из сторон (фронтальная, задняя или боковая) устройства (100).
Вариант с одной камерой (101), как правило это стандартный объектив с эквивалентом широкоугольного фокусного расстояния около 26 мм (угол обзора около 85°), наиболее близкий к варианту фокусного расстояния человеческого глаза.
Вариант с двумя камерами (102), как правило оснащается стандартным и зумобъективом, с эквивалентом стандартного фокусного расстояния 52 мм (угол обзора около 47°), также встречаются комбинации из двух стандартных, стандартного и расширенного объектива, с эквивалентном ультраширокого фокусного расстояния 13 мм (угол обзора около 120°).
Вариант с тремя камерами (103), где применяются все три типа объективов.
Вариант с большим количеством объективов (104), как правило это варианты промежуточных фокусных расстояний или же перспективные варианты более широкого охвата или большего фокусного расстояния.
На момент раскрытия способа зафиксированы коммерческие решения с 16 фиксированными камерами различного фокусного расстояния, эквивалентом от 11 мм до 135 мм.
Для анализа окружающей ситуации и принятия решений по композиции и экспозиции в работе способа используют все камеры устройства (100) с доступными зонами охвата кадра.
На ФИГ. 2 иллюстрируются различные зоны охвата (поле зрения) и масштаб кадра, который может быть зафиксирован, в зависимости от выбранного фокусного расстояния объектива камеры.
Так, поле зрения кадра широкого объектива (201) охватывает большую область съемки, в сравнении с человеческим взглядом, и получается эффект отдаления.
Поле зрения стандартного объектива (202) охватывает меньшую область съемки и в сравнении с человеческим взглядом, получается очень близкая по восприятию картинка.
Поле зрения зумобъектива (203) охватывает еще меньшую область съемки, в сравнении с человеческим взглядом, получается эффект приближения (зумирования).
Варианты (204) являются альтернативными, при наличии аппаратных возможностей размещения большего количества фиксированных объективов и/или использования объективов с переменным фокусным расстоянием, а также применимо для изменения фокусного расстояния на программном уровне, имитируя работу различных объективов и их фокусных расстояний. На ФИГ. 3 иллюстрируется пример работы широкого объектива (201). Чаще всего такая зона охвата применяется в пейзажной фотографии, чтобы запечатлеть масштаб снимаемой сцены.
Как представлено на ФИГ. 3 в правом верхнем углу интерфейса на кадре 1 в специальной зоне (300), в зависимости от выбранных настроек оператора, может появляться индикатор кратности (приближения/отдаления) поля зрения кадра. При однократном нажатии на специальную зону (300) система будет переключаться между доступными объективами (201, 202, 203, 204) устройства. При нажатии и удержании специальной зоны (300) откроется анимированная круговая шкала (400), как показано в кадре 2 на ФИГ. 3. Передвигая эту шкалу (400) можно вручную точно выбирать необходимую кратность изображения, используя аппаратные возможности оптического и цифрового зумирования.
На ФИГ. 4 иллюстрируется пример работы стандартного объектива (202). Такая зона охвата применяется для многожанровой фотографии и является самой распространенной.
На ФИГ. 5 иллюстрируется пример работы зумобъектива (203). Чаще всего, такая зона охвата применяется в портретной фотографии или для съемки удаленных объектов, в том числе крупным планом.
Далее стоит отметить, что до и во время съемочного процесса, при работе способа, анализируют множество входных данных. Такие как изображение с камер, данные геопозиционирования, данные с гироскопического датчика, данные акселерометрии, визуальной одометрии, доступный рельеф карты местности. Благодаря упомянутым данным координируют процесс перемещения устройства и оператора в пространстве.
На ФИГ. 6 иллюстрируется динамический прием панорамирования «слежение». Этот прием используется для перемещения устройства (100) в трех плоскостях с учетом крена, рысканья и тангажа относительно центра устройства. То есть его перемещение и вращение по всем трем осям X, U, Z.
На ФИГ. 7 иллюстрируется стационарный прием панорамирования «оглядывание» вокруг оператора (700). Этот прием используется для свободного перемещения устройства (100) вокруг оператора (700), с ограничением на столкновение с естественными препятствиями .
На ФИГ. 8 иллюстрируется динамический прием панорамирования «оглядывание» вокруг объекта (800) съемки. Этот прием используется для свободного перемещения оператора (700) вместе с устройством (100) вокруг объекта (800) съемки, с ограничением на столкновение с естественными препятствиями. To есть при принятии решений о том, где и с каким ракурсом лучше провести перспективную съемку система, осуществляющая способ, не ограничена лишь информацией, попадающей в видоискатель камер, а благодаря пространственному координированию может искать перспективные варианты для съемки выходящие за границы зоны охвата и предлагать оператору переместиться к нужной точке съемки.
Таким образом, в заявленном способе заложены существенные признаки того, что используют единовременно визуальную информацию всех камер со всеми доступными фокусными расстояниями. При этом, для создания перспективных съемочных планов у системы отсутствуют ограничения на степени свободы по панорамированию.
Система, как комплексное решение для съемки, в основном позиционируется как индивидуальное решение, которое взаимодействует с собственником устройства (100), обучается и стремится соответствовать ожиданиям пользователя в отношении творческого видения в съемке. Однако, она может использоваться и в многопользовательских решениях.
Для улучшения пользовательского опыта взаимодействия с системой в момент ее первого запуска на устройстве (100) оператору (700) предлагается создать персональный портретный профиль (1001). Стоит сказать, что, если этот шаг будет пропущен в начале, пользователь может к нему вернуться в любой другой удобный для него момент времени.
Портретный профиль (1001) - это комбинация из подробного сканирования лица оператора (700), выбора удачной стороны и настроек ретуши, которые соответствуют ожиданиям пользователя и считаются естественными и наиболее удачными с точки зрения пользователя для портретной съемки.
Пользовать не ограничен одним лишь портретным профилем, по его желанию в систему на устройстве, также может быть добавлено необходимое количество портретных профилей других людей, например, близких родственников или друзей. Сканирование и тонкая настройка дополнительных портретных профилей происходит исключительно с согласия оператора (700).
Система построена таким образом, чтобы обеспечить максимальную защиту данных, связанных с портретными профилями, которые хранятся в зашифрованном виде исключительно на самом устройстве, доступ к которым предоставляется по ключ-паролю или другим системам аутентификации пользователя доступным на устройстве, и не синхронизируются ни в облаке, ни с другими устройствами.
В случае полной потери устройства (100) будут утеряны и персональные портретные профили (1001). Поскольку, это единственный вид данных, которые невозможно синхронизировать при повторной установке системы на новое устройство. В таком случае от пользователя потребуется повторно создать портретный профиль (1001) уже на новом устройстве (100).
На ФИГ. 9 иллюстрируется создание портретного профиля (1001), где оператор (700) снимает («сканирует») свое лицо (902) с помощью фронтальной камеры (900) на устройство (100), которое держит в руках. Элементы интерфейса (901) подсказывают оператору (700) как повернуть голову, чтобы осуществить точное сканирование всех особенностей головы и черт лица (902). Подсказки выполнены в виде элементов интерфейса (901), и последовательно указывают на полное вращение головы вокруг, повороты анфас и профиль, подъем и наклон подбородка, воспроизведение различных эмоций: грусть, нейтральное состояние, легкая улыбка, уверенная улыбка, широкая улыбка, смех, закрытые глаза, обычно открытые глаза, широко раскрытые глаза.
Ядро ИИ системы (далее - Ядро) анализирует полученные данные и, сравнивая с профессиональными портретными профилями, которые входят в состав профессиональных датасетов (1507), определяет наиболее удачный(-ые) вариант(-ы) позирования для пользователя. Работа ядра будет рассмотрена дальше вместе с изображением ФИГ. 12.
Задача пользователя на следующем этапе, проиллюстрированном на ФИГ. 10, выбрать из предложенных вариантов, в режиме «карусели», наиболее точный вариант «рабочей» стороны портретного профиля (1001). Затем, перемещая ползунки (1003), настроить параметры (1002) лица и головы. И сохранить результат в системе.
Теперь в ходе съемки, когда будут определять в кадре живой объект (1700), соответствующий настроенному портретному профилю (1001), будут учитывать предпочтения пользователя по ракурсу и ретуши, для формирования идеального портретного кадра.
Таким образом решается проблема, когда пользователь просил другого оператора (700) сделать портретный снимок, и результат не соответствовал его ожиданиям.
В случае, если в кадре система детектирует более одного живого объекта, с установленными портретными профилями (1001), система в первую очередь выберет в качестве приоритетного портретный профиль пользователя/собственника устройства (100), затем уже оператор может самостоятельно выбрать главный объект и выстраивать кадр в соответствии с его портретным профилем (1001), при этом максимально стараясь соответствовать остальным портретным профилям, определенным в кадре.
На ФИГ. 11 представлена потоковая диаграмма пошагового алгоритма создания персонального портретного профиля (1001). Оператор (700) запускает режим создания портретного профиля (1001), далее как выше описывалось в ФИГ. 9 осуществляется первый проход сканирования, определяют точки, признаки и особенности, повторно проводят сканирование, закрепляя и валидируя полученные данные за первый проход, и создают варианты оцифрованной модели лица/головы (902) оператора (700), для последующего выбора подходящего варианта в «карусели» и применения настроек параметров антропологических признаков и ретуши. После чего оператор (700) сохраняет полученный портретный профиль (1001) и выходит из режима.
Ключевым и центральным элементом системы является ядро ИИ системы (ФИГ. 12). Задача ядра - обрабатывать входящий поток данных (1206, 1202, 1203, 1204, 1205, 1206, 1207, 1208, ФИГ. 26), чтобы на выходе получать варианты по композиции и экспозиции кадра (1209, 1210), говоря образно, помочь устройству (100) видеть окружающий мир творчески, так как это бы делал профессиональный фотохудожник и/или видео оператор.
На ФИГ. 12 иллюстрируется общая блок-схема алгоритма работы ядра, генерирующего удачную композицию и экспозицию кадра с помощью комбинированных методов глубокого машинного обучения (с учителем, с частичным привлечением учителя, без учителя, с подкреплением) (1200) (далее - Deep ML), а также обсчитывающего и ранжирующего точки съемки на AR-карте, которые будут более детально рассмотрены далее вместе с ФИГ. 26.
Так, первоначально, со всех доступных камер устройства (100) собираются фото/видео потоки (1201) и с помощью промежуточного слоя предустановленных, натренированных сверточных нейросетевых моделей (1500) (далее - CNNs) в потоках кадров размечаются (далее - детектируются) все объекты, рассчитывается глубина кадра, расстояние между объектами, детектируется (при наличии) персональный(-ые) портретный(-ые) профиль(-и) (1001), определяют приоритетный объект (800) в фокусе, оценивают освещенность сцены, составляется единая матрица изображения со всех камер с разметкой по зонам охвата (201, 202, 203, 204), как на изображении ФИГ. 2 (1206).
Затем с устройства (100) собираются данные: с гироскопа о положении в пространстве, с датчиков GPS/ГЛОНАСС о геопозиционировании, а также акселерометрии и визуальной одометрии, при необходимости, когда первых двух типов данных недостаточно, например, при манипулировании Машиной через ПАК.
Далее выгружаются метаданные изображений (1203) из потоков (1201), в состав которых входят, но не ограничиваются ими, следующие данные, описывающие условия и способы получения, авторство и т.п.: производитель цифрового устройства (камеры), модель цифрового устройства (камеры), авторство, выдержка, диафрагма, светочувствительность в ед. ISO, использование вспышки, разрешение кадра, фокусное расстояние, размер матрицы, эквивалентное фокусное расстояние, глубина резкости, дата и время съёмки, ориентация камеры (вертикально или горизонтально), тип баланса белого, экспозиция, параметры гистограммы, адрес места съёмки и т.д. (далее - EXIF метаданные).
При наличии подключения к сети Интернет, из открытых источников по API подгружаются данные, в т.ч. и прогнозные на период ближайших 7 дней на случай отсутствия Интернет-соединения, о внешних атмосферных условиях (погода, инсоляции и астронавигации (1204)). В совокупности эти данные дают точное представление об уровне освещенности сцены и продолжительности определенного состояния, а также помогают точно спрогнозировать и подобрать правильную композицию и экспозицию, например, для съемки в период «золотого часа» (это первый час после восхода солнца и последний час перед заходом солнца, хотя точная продолжительность варьируется в зависимости от времени года) или ночной замедленной астросъемки млечного пути (т.н. «ночной таймлапс»).
В рамках подстраховки, если на этапе (1206) персональные портретные профили (1001) не были определены, все предустановленные персональные портретные профили (1001) подгружаются к процессу (1200).
Затем Deep ML (1200) подкрепляет вычисления подбором соответствующей, натренированной нейросетевой модели (1207) из состава базы данных натренированных нейромоделей (1506), описание которых будет представлено в детальной блок-схеме алгоритма работы системы в режиме автоматической съемки ФИГ. 15.
В ходе непрерывного цикла сбора данных ядра о результатах съемки для обучения с подкреплением, о котором подробно будет рассказано в рамках описания подробной блок- схемы алгоритма работы системы в части обработки результата(-ов) съемки ФИГ. 30, DeepML (1200) получает промежуточные результаты нейромоделей машинного обучения с подкреплением (1208) на основе персонализированных данных пользователя о результатах (1514) и активности в социальный сетях (1516), описание которых будет представлено в детальной блок-схеме алгоритма работы системы в режиме автоматической съемки ФИГ. 15. Доступ к упомянутым данным пользователь предоставляет, по собственному выбору и этот выбор может быть в любой момент изменен в параметрах конфиденциальности системы.
Как было упомянуто ранее, в рамках работы ядра на финальном шаге Deep ML (1200) подгружают данные о точках съемки на AR-карте и их ранжировании, для выработки альтернативных вариантов композиции и экспозиции (1210).
Так, в ходе обработки ядро может предоставлять системе три вывода:
- возможность для создания кадра присутствует, предоставляются варианты композиции и экспозиции (1209, 1210); - создание кадра вероятно, для чего необходимо системе дать больше данных (расширить зону охвата) (ФИГ. 2, 6, 7, 8);
- возможность для создания качественного, профессионально поставленного кадра отсутствует, например, когда кадр полностью не в фокусе, в таком случае система переходит в режим направляемой съемки, который будет подробно описан далее вместе с изображением ФИГ.24.
И в завершение описания ядра ИИ системы (ФИГ. 12) стоит указать, что на аппаратном уровне, для обеспечения вычислений пограничного ИИ, система работает совместно с контроллером машинного обучения и автоматически распределяет задачи между так называемой системой «нейронного движка», центральным и графическим процессорами.
К этому моменту раскрытия информации описаны и определены все базовые принципы и ключевые элементы системы, позволяющие обеспечить более полное понимание нового способа фото/видео съемки цифровым устройством, включающим в себя оптическое(-ие) устройство(-ва), на основе предоставления рекомендаций по профессиональной постановке кадра.
После запуска системы, оператор (700) выбирает один из режимов съемки: автоматический, полуавтоматический, следящий или режим направляемой съемки. Ниже приведены примеры вышеуказанных режимов.
ФИГ. 13 иллюстрирует раскадровку процесса взаимодействия оператора (700) с интерфейсом правой рукой (кадр 1) и левой рукой (кадр 2), в режиме автоматической съемки. В данном режиме оператору (700) достаточно навести камеру на необходимый объект съемки (800), нажать на любое место на экране в активной зоне (1301) и, удерживая палец, перемещать плавно устройство (100) в разных плоскостях и направлениях, согласно описанию представленному на ФИГ. 6, 7, 8, по желанию пользователя.
Далее, продолжая описание в рамках общей потоковой диаграммы алгоритма использования оператором режима автоматической съемки, продемонстрированной на ФИГ. 14, в момент панорамирования кадра активно производят захват поступающего потока изображений вместе с метаданными (1201, 1202, 1203). Одновременно CNNs (1500) детектируют все объекты в кадре, портретные профили пользователей, при наличии, их приоритетность, положение и расстояние, глубину кадра, освещенность сцены, внешние атмосферные условия (погодные, инсоляции и астронавигации и др.) (1204, 1205, 1206). После чего ядро ИИ системы (ФИГ. 12) обрабатывает входные данные, в т.ч. (1207, 1208), и предоставляет системе варианты наиболее удачных комбинаций композиции и экспозиции (1209, 1210). В ходе автоматической съемки, кадры, соответствующие удачным комбинациям (1209, 1210), отправляются в буфер пред-сохраненных результатов, где происходит экспресс-постобработка (1511).
А после того, как пользователь отжимает палец, система выдает на экране интерфейса полученный(-ые) результат(-ы) на суд пользователю.
Отбор результатов и подробная блок-схема алгоритма работы системы в части обработки результата(-ов) съемки продемонстрированы на изображениях ФИГ. 27, 28, 29, 30, которые будут рассмотрены далее по тексту.
Далее продолжается подробное описание способа съемки в автоматическом режиме, продемонстрированное на ФИГ. 15, где указана детальная блок-схема алгоритма работы в этом режиме.
Углубляясь в детали способа, стоит разобрать процесс получения данных о соответствующей натренированной нейросетевой модели (1207).
База данных (далее - БД) размеченных датасетов (1501), с которой начинается процесс обучения, делится на три группы:
- жанровые датасеты из отобранных профессиональных кадров, опубликованных в течение всей истории всемирной фотографии (1502);
- кадры из социальных сетей, проходящие минимальный порог валидации (в зависимости от жанра, пороговое значение определенного параметра валидации (лайки, комментарии, репосты, клики, переходы, и т.п.) может меняться (процесс определения параметров валидации не раскрывается по соображениям коммерческой тайны), попадают в жанровые датасеты с после дующей разметкой (1503);
- жанровые датасеты, составленные из кадров пользователей системы (1504).
БД размеченных датасетов (1501) обрабатывается методами машинного обучения, предназначенными для создания натренированных моделей, в т.ч. методом обучения с учителем, например, уже упоминаемые ранее CNNs, которые прекрасно справляются с распознаваниями и определениями образов (1505).
Натренированные на распознавание образов и их композиций в зависимости от жанров съемки нейромодели, также, как и датасеты, распределяются в единой БД (1506) на три уровня:
- модели профессиональной компоновки (в мире фото/видео съемки существует свыше двадцати общеизвестных композиционных правил и в рамках раскрытия информации о заявленном способе нет необходимости о каждом рассказывать отдельно) и экспонирования жанровой съемки (1507), включающие также группу профессиональных портретных профилей, - модели популярной компоновки и экспонирования жанровой съемки, натренированные на популярных кадрах из социальных сетей (1508), модели пользовательской компоновки и экспонирования жанровой съемки, натренированные на непрерывно пополняемых пользовательских кадрах (1509).
Таким образом, ядро занимается подбором соответствующей, натренированной нейросетевой модели (1207) из состава базы данных натренированных нейромоделей (1506), в зависимости от обработанных Deep ML (1200) входных данных.
Вместе с этим, как упоминалось ранее, для имитации недоступных на устройстве (100) объективов камер используется, так называемая компьютерная оптикокоррекция. Для этого используют натренированные модели генеративно-состязательных сетей (далее - GANs), которые имитируют работу объективов (1510).
GAN (1510) состоит из нейронных сетей «Генератора» и «Дискриминатора», которые итерационно соревнуются друг с другом, в процессе создания реалистичного варианта изображения. На этапе 1510, фиг.15, «Генератор» стремится создать имитацию дисторсии и приближения объектов, удаленных друг от друга по глубине кадра, соответствующую существующим объективам, а «Дискриминатор» в свою очередь отсекает нереалистичные варианты, которые с изображениями, выдаваемыми существующими объективами, не совпадают.
Модели GANs (1510), также аккумулируются в ядре (ФИГ. 12), однако применяются лишь по сценарию, на этапе экспресс-постобработки (1511), когда вариант выявленной композиции (1209) имеет назначение к применению вне аппаратного фокусного расстояния (104, 204).
Итак, в ходе обработки ядра (ФИГ. 12) система в автоматическом режиме съемки может предоставлять два вывода: возможность для создания кадра присутствует, предоставляются варианты композиции и экспозиции (1209, 1210);
- возможность для создания качественного и профессионально поставленного кадра отсутствует, например, когда кадр полностью не в фокусе. В таком случае на экране система показывает предупреждение (1517) о том, что кадр «поймать» не получается в прежних условиях, и отображает в интерфейсе варианты необходимые для перемещения устройства (100) в пространстве, для захвата большего количества данных (расширить зону охвата) (ФИГ. 2, 6, 7, 8). А если и это не помогает, тогда система переходит в режим направляемой съемки, который будет подробно описан далее вместе с изображением ФИГ.24. В случае же первого вывода, ядро (ФИГ. 12) передает системе сгенерированные варианты удачных композиций и экспозиций (1209, 1210), которые отправляются в буфер пред-сохраненных результатов, где происходит экспресс-постобработка (1511) с применением жанровых настроек (таких как яркость, контрастность, четкость и т.п. - для всех жанров в фото/видео индустрии уже отработаны промышленные стандарты применения таких параметров, потому, описывая заявленный способ, в рамках раскрытия информации, останавливаться на этом не будем) и, при необходимости, с применением GANs (имитирующих объективы) (1510) и GANs (имитирующих художественный стиль) (1512).
Последние GANs (1512) имеют тот же механизм генерации изображений, что и GANs (1510), только натренированных на художественных стилях/приемах известных фотохудожников и видео операторов, а также популярных фотографов и видео любителей из социальных сетей.
После того, как оператор (700) отжимает палец, система выдает на экране интерфейса полученные результат(ы) на суд пользователю (ФИГ. 27).
Отбор результатов и подробная блок-схема алгоритма работы системы, в части, обработки результата(-ов) съемки продемонстрирован на изображениях ФИГ. 28, 29, 30, которые будут рассмотрены и описаны далее по тексту.
Главное, что стоит отметить в ходе детального описания ФИГ. 15, это журналирование (сохранение) данных о сохранении и удалении пользователем результатов съемки (1514) и данных о распространении результата в социальных сетях и активности взаимодействия с ним (1516).
При этом, оба типа данных (1514, 1516) журналируются с согласия пользователя и в любой момент времени такое согласие может быть отозвано, а переданные ранее данные при дополнительном указании на это, могут быть удалены с правом восстановления в срок, не превышающий 30 дней.
Оба типа данных (1514, 1516) используются для выявления претендентов на статус «точки съемки», последующего ранжирования и размещения на AR-карте (ФИГ. 26) и для обучения с подкреплением глобально в рамках сети и выработки индивидуального подхода к пользователю.
Таким образом, система может адаптироваться к предпочтениям пользователя и учиться на своих «ошибках» (когда результат съемки отправляется в папку «Удаленные» (ФИГ. 29)), чтобы в последствии предвосхищать и угадывать творческие идеи пользователя устройства (100), на котором установлена система. На ФИГ. 16 проиллюстрирован процесс манипулирования устройством (100) в режиме полуавтоматической съемки.
Чтобы съемка была произведена в полуавтоматическом режиме, оператору (700) необходимо совместить друг с другом (далее - «наложить»), как последовательно продемонстрировано на кадрах 5 и 6 ФИГ. 16 и 17, зону захвата кадра (1600) устройства (100) и целевую рамку кадра (1601), которая свободно смещается до места целевой точки съемки в AR пространстве, как последовательно продемонстрировано на кадрах 1, 2, 3, 4 ФИГ. 16 и 17.
В момент наложения, а именно за пару секунд до и пару секунд после, осуществляют серию кадров и/или видео ряд, из которого выбирает результат.
На ФИГ. 17 также, как и ФИГ. 16, проиллюстрирован процесс манипулирования устройством (100) в режиме полуавтоматической съемки, только в обозначенном примере добавлен сюжет съемки живого объекта (1700) в кадре, человека. При этом под живым объектом (1700) понимается не только человек, но и животные, которые могут быть распознаны CNNs (1500).
Когда система распознает в зоне охвата в фокусе живой объект (1700), она его подсвечивает контуром (1701), как последовательно продемонстрировано на кадрах 1, 2, 3 ФИГ. 17. Если в зоне охвата распознано и выделено контуром (1701) более одного живого объекта (1700), пользователь может выбрать приоритетный объект (1700) для съемки, нажав пальцем по нему на экране устройства (100).
Далее система графически обрисовывает трехмерный манекен (1702) поверх объекта, как продемонстрировано в кадре 4 ФИГ. 17.
И на основании полученных рекомендаций (1209) от ядра (ФИГ. 12) манекен (1702) анимировано сменяет позу на более удачную (1703), как последовательно продемонстрированно на кадрах 4 и 5 ФИГ. 17.
В дополнение, к указанным выше действиям, для осуществления портретной съемки, в полуавтоматическом режиме, оператору (700) необходимо посоветовать человеку - объекту съемки (1700), занять предлагаемую удачную позу (1703) и/или же постараться поймать объект съемки (1700), когда он займет положение, соответствующее предлагаемой позе (1703).
Стоит отметить, что в режиме полуавтоматической съемки в приоритете стоит наложение зоны охвата (1600) и целевой рамки (1601), а уже во вторую очередь - совпадение объекта съемки (1700) с удачной позой (1703). При этом система будет стараться максимально приблизить момент съемки, когда обе задачи будут выполнены. Далее продолжается описание в рамках общей потоковой диаграммы алгоритма использования оператором режима полуавтоматической съемки, продемонстрированной на ФИГ. 18.
В момент панорамирования кадра и наведения камер на желаемый объект съемки, производят захват поступающего потока изображений вместе с метаданными (1201, 1202, 1203). Одновременно CNNs (1500) детектируют все объекты в кадре, портретные профили пользователей, при наличии, их приоритетность, положение и расстояние, глубину кадра, освещенность сцены, внешние атмосферные условия (погода, инсоляция и астронавигация и др. (1204, 1205, 1206)). После чего ядро ИИ системы (ФИГ. 12) обрабатывает входные данные, в т.ч. (1207, 1208), и предоставляет системе варианты наиболее удачных комбинаций композиции и экспозиции (1209, 1210). Лучший вариант (1209) в виде трехмерного объекта целевой рамки (1601) смещается до места целевой точки съемки в AR пространстве, как последовательно продемонстрировано на кадрах 1, 2, 3, 4 ФИГ. 16 и 17.
После самого процесса полуавтоматической съемки (1902) и (1511), описанного выше, полученный результат отправляются в буфер пред-сохраненных результатов, где происходит экспресс-постобработка (1511).
Дальше выдают на экране интерфейса полученный(-ые) результат(-ы) на суд пользователю.
Отбор результатов и подробная блок-схема алгоритма работы системы, в части, обработки результата(-ов) съемки, продемонстрированы на изображениях ФИГ. 27, 28, 29, 30, которые будут рассмотрены далее по тексту.
Далее продолжается подробное описание способа съемки в полуавтоматическом режиме, продемонстрированное на ФИГ. 19, изображающей детальную блок-схему алгоритма работы системы в этом режиме.
Углубляясь в детали способа, стоит отметить, что процессы получения данных о соответствующей натренированной нейросетевой модели (1207), совпадают с упомянутыми ранее процессами. Для имитации недоступных на устройстве (100) объективов камер используется, так называемая компьютерная оптикокоррекция, в которой используют модели GANs (1510).
Итак, в ходе обработки ядра (ФИГ. 12) система в полуавтоматическом режиме съемки может предоставлять три вывода:
- возможность для создания кадра присутствует, предоставляются варианты композиции и экспозиции (1209, 1210);
- создание кадра вероятно, для чего необходимо системе дать больше данных (расширить зону охвата) (ФИГ. 2, 6, 7, 8); - возможность для создания качественного, профессионально поставленного кадра отсутствует, например, когда кадр полностью не в фокусе, в таком случае система переходит в режим направляемой съемки, который будет подробно описан далее вместе с изображением ФИГ.24.
В случае же первого вывода, ядро (ФИГ. 12) передает системе сгенерированные варианты удачных композиций и экспозиций (1209, 1210), лучший из которых (1209), по результату ранжирования, в виде трехмерного объекта целевой рамки (1601) смещается до места целевой точки съемки в AR пространстве, как последовательно продемонстрировано на кадрах 1, 2, 3, 4 ФИГ. 16 и 17.
После самого процесса полуавтоматической съемки (1902) и (1511), описанного выше, полученный результат отправляются в буфер пред-сохраненных результатов, где происходит экспресс-постобработка (1511).
Дальше система выдает на экране интерфейса полученный(-ые) результат(-ы) на суд пользователю (ФИГ. 27).
Отбор результатов и подробная блок-схема алгоритма работы системы, в части, обработки результата(-ов) съемки, продемонстрирован на изображениях ФИГ. 28, 29, 30, которые будут рассмотрены и описаны далее по тексту.
Главное, на что стоит обращать внимание в ходе детального описания ФИГ. 19, это журналирование (сохранение) данных, которое также подробно описывалось выше.
ФИГ. 20 иллюстрирует процесс манипулирования устройством (100) в режиме следящей съемки.
Чтобы съемка была произведена в следящем режиме оператору (700) необходимо стабилизировать, относительно центральной точки друг друга и «наложить» одну на другую следящую зону захвата кадра (2000) устройства (100) и следящую («качающуюся») трехмерную рамку кадра (2001), которая очевидно для оператора (700), но не значительно с точки зрения интерфейса устройства (100), смещается относительно центра кадра (2000), в соответствии с принципами панорамирования, описанными в ФИГ. 6, в сторону, где должен быть запечатлен итоговый кадр, соответствующий наиболее удачной композиции и экспозиции (1209). То есть процесс «слежения» осуществляется до виртуального местоположения целевой точки съемки в AR пространстве, где местоположение целевой точки выполнено без графических представлений на экране. Последовательность действий описанного выше следящего режима продемонстрирована на кадрах 1, 2, 3, 4, 5 ФИГ. 20.
В момент стабилизации/отцентровки и наложения, а именно за пару секунд до и пару секунд после, система делает серию кадров и/или видео ряд, из которого система выбирает результат. Принцип создания портретных кадров и/или иной жанровой съемки живых объектов (1700) в рамках следящего режима полностью соответствует описанному выше принципу, применимому к полуавтоматической съемке.
Далее продолжается описание в рамках общей потоковой диаграммы алгоритма использования оператором режима следящей съемки, продемонстрированной на ФИГ. 21. В момент панорамирования кадра и наведения камер на желаемый объект съемки, система активно производит захват поступающего потока изображений вместе с метаданными (1201, 1202, 1203). Одновременно CNNs (1500) детектируют все объекты в кадре, портретные профили пользователей, при наличии, их приоритетность, положение и расстояние, глубину кадра, освещенность сцены, внешние атмосферные условия (погода инсоляция и астронавигация и др. (1204, 1205, 1206)). После чего ядро ИИ системы (ФИГ. 12) обрабатывает входные данные, в т.ч. (1207, 1208), и предоставляет системе варианты наиболее удачных комбинаций композиции и экспозиции (1209, 1210). Лучший вариант (1209) загружается в фоновом режиме на место целевой точки съемки в AR пространстве, и является невидимым ориентиром для смещения следящей («качающейся») трехмерной рамки кадра (2001), как последовательно продемонстрировано на кадрах 1, 2, 3, 4, 5, 6 ФИГ. 20.
После самого процесса следящей съемки (2202) и (1511), описанного выше, полученный(-ые) результат (-ты) отправляются в буфер пред-сохраненных результатов, где происходит экспресс-постобработка (1511).
Дальше система выдает на экране интерфейса полученный(-ые) результат(-ы) съемки на суд пользователю (ФИГ. 27).
Отбор результатов и подробная блок-схема алгоритма работы системы в части обработки результата(-ов) съемки продемонстрированы на изображениях ФИГ. 28, 29, 30, которые будут рассмотрены далее по тексту.
Далее продолжается подробное описание способа съемки в следящем режиме, продемонстрированное на ФИГ. 22, изображающей детальную блок-схему алгоритма работы системы в этом режиме.
Углубляясь в детали способа, стоит отметить, что процессы получения данных о соответствующей натренированной нейросетевой модели (1207), совпадают с упомянутыми ранее процессами. Для имитации недоступных на устройстве (100) объективов камер используется, так называемая компьютерная оптикокоррекция, в которой используют модели GANs (1510).
Итак, в ходе обработки ядра (ФИГ. 12) система в следящем режиме съемки может предоставлять три вывода: - возможность для создания кадра присутствует, предоставляются варианты композиции и экспозиции (1209, 1210);
- создание кадра вероятно, для чего необходимо системе дать больше данных (расширить зону охвата), а визуально кадр (2000) наклоняется и/или смещается относительно центра кадра, указывая направление для расширения поля зрения камер (кадр 4 ФИГ. 20);
- возможность для создания качественного, профессионально поставленного кадра отсутствует, например, когда кадр полностью не в фокусе, в таком случае система переходит в режим направляемой съемки, который будет подробно описан далее вместе с изображением ФИГ.24.
В случае же первого вывода, ядро (ФИГ. 12) передает системе сгенерированные варианты удачных композиций и экспозиций (1209, 1210), лучший из которых (1209), по результату ранжирования, в фоновом режиме перемещается на место целевой точки съемки в AR пространстве, и является невидимым ориентиром для смещения следящей («качающейся») трехмерной рамки кадра (2001), как последовательно продемонстрировано на кадрах 1, 2, 3, 4, 5, 6 ФИГ. 20.
После самого процесса следящей съемки (2202) и (1511), описанного выше, полученный(-ые) результат отправляются в буфер пред-сохраненных результатов, где происходит экспресс-постобработка (1511), процесс которой подробно изложен выше.
Дальше система выдает на экране интерфейса полученный(-ые) результат(-ы) на суд пользователю (ФИГ. 27).
Отбор результатов и подробная блок-схема алгоритма работы системы в части обработки результата(-ов) съемки продемонстрирована на изображениях ФИГ. 28, 29, 30, которые будут рассмотрены и описаны далее по тексту.
Главное, на что стоит обращать внимание в ходе детального описания ФИГ. 22, это журналирование (сохранение) данных, которое также подробно описывалось выше.
Ниже по тексту рассматривается подробная блок-схема алгоритма работы системы в части съемочного процесса (ФИГ. 23).
Так, все вышеописанные режимы съемки раскрываемого способа, проходят один и тот же цикл съемочного процесса, детально изложенного ранее на этапе описания ФИГ. 15.
Далее рассмотрим четвертый режим съемки заявленного способа - режим направляемой съемки.
На ФИГ. 24, проиллюстрирован интерфейс системы, в режиме направляемой съемки с активной картой точек съемки (ракурсов) (2400) в дополненной реальности (далее - AR- карта). Пользователю доступны два вида отображения точек съемки (2400) в интерфейсе:
Первый вид - это двухмерная карта (2410), которая может отображаться во весь экран или в виде миниатюры (2407), которая по умолчанию располагается внизу экрана, однако пользователь может перетащить ее в любое удобное место, для обеспечения лучшей навигации по точкам съемки (2400).
Второй вид - это AR-карта, проецируемая на экран устройства (100) в виде трехмерных графических и текстовых элементов (2400, 2401, 2402, 2403, 2404, 2405, 2406, 2407, 2408, 2409, 2410), дополняющих реальное пространство, попадающее в объективы камер.
Так на ФИГ. 24 представлены в виде трехмерных объектов, размещенные в дополненной реальности, следующие важные элементы.
Точка съемки (ракурс) (2400) - это трехмерный объект, который может быть выполнен в виде трехмерной рамки, цифрового устройства с экраном, фотокарточки, багетной рамки и т.п, виды отображения пользователь может выбирать в настройках системы, а по умолчанию используется простая цифровая рамка. Точка съемки (2400) точно соответствует координатам и положению кадра в пространстве, сделанного пользователем (далее - автор), далеко не всегда пользователем/оператором устройства (100).
Точки (2400) отображаются в дополненной реальности, если находятся в радиусе 50 метром от оператора (700) Данный параметр установлен по умолчанию, и может быть изменен пользователем в любое время до 1000 метров в настройках.
Внутри точки (2400) отображаются следующие данные: публичное имя автора точки (2406), органический рейтинг точки (2405) - это количество фотографий, которое было сделано (сохранено в памяти устройства (100) и/или размещено в сети Интернет) другими пользователями системы, при взаимодействии с выбранной точкой, и время жизни точки (2403) - это оставшееся время функционирования точки с учетом актуальных измеряемых устройством (100) данных (1202, 1203), а также подгружаемых прогнозных данных (1204).
Нажимая на точку (2400), можно посмотреть оригинал кадра, который был сделан автором (2406), размещенного в социальных сетях, просмотреть краткий обзор аккаунта автора (2406), его рейтинг в системе, другие кадры, подписаться (отслеживать) или отправить запрос в чат для переписки.
Группа (скопление) точек (2401) - это трехмерный объект, который может быть выполнен в виде трехмерного шара, таблички, куба и прочих фигур с указателем, перпендикулярным поверхности земли. Виды отображения пользователь может выбирать в настройках системы, а по умолчанию используется простая форма шара. Группы точек съемки (2401) - это скопления точек (2400) в одном месте, которые отображается в дополненной реальности, если находятся в радиусе от 50 метров до 10 километров от оператора (700). Первый параметр ближней границы радиуса установлен по умолчанию, и может быть изменен пользователем в любое время начиная от 1000 метров в настройках системы.
Внутри объекта группы точек (2401) цифрой отображается количество точек (2404) в группе, рядом указано расстояние от оператора (700) до группы точек (2402). В зависимости от выбранной в настройках системы мер и весов, метрической или имперской, расстояние будет отражаться в километрах или милях. Также рядом отображается время жизни группы точек (2403) - это оставшееся время функционирования самой скорой точки (2400) внутри группы (2401) с учетом актуальных измеряемых устройством (100) данных (1202, 1203), а также подгружаемых прогнозных данных (1204).
После того как срок жизни (2403) самой ранней точки истечет, отображаемое количество точек (2404) уменьшится на одну единицу, а время жизни (2403) группы точек (2401) обновится по ближайшему сроку жизни следующей точки (2400) в группе (2401).
Вне зависимости от радиуса положения все точки можно найти на двухмерной карте (2410). Там же можно увидеть по центру точку (2409), отображающую точное местоположение устройства (100) и зону охвата и направление (2408) куда оно (100) «смотрит».
В популярных местах, где потенциально точек (2400), в радиусе 50 метров, больше 10 штук, а активных пользователей системы в зоне пересекаемых километровых радиусов больше одного, система покажет каждому пользователю не более десяти точек (2400) единовременно и эти точки (2400) будут отличаться друг от друга и точек (2400), которые видят на AR карте другие пользователи системы.
ФИГ. 25 иллюстрирует на примере общей потоковой диаграммы процесс использования оператором (700) режима направляемой съемки.
Так, после получения подтверждения от ядра ИИ (ФИГ. 12) об отсутствии возможности для съемки в автоматическом, полуавтоматическом или следящем режиме, система переводит оператора (700) в режим направляемой съемки и запускает AR-карту (ФИГ. 24). Оператор (700) осуществляет поиск подходящей точки (2400) для съемки, может дополнительно получить информацию о точке (2400), нажав на нее. После выбора нужной точки (2400), оператору (700) необходимо приблизить устройство (100) к точке (2400) на расстоянии тридцати сантиметров, и тогда система переключится в один из описанных ранее режимов съемки. Автоматический, полуавтоматический или следящий режим - зависит от точки (2400) и/или выбранных предпочтений в настройках пользователя. По умолчанию выбран для перехода следящий режим. Процессы съемки в указанных режимах были подробно разобраны ранее. А по итогам съемки результаты сохраняются/удаляются, а метаданные о сортировке журналируются и используются для машинного обучения ядра с подкреплением. Режим направляемой съемки также можно использовать индивидуально, оператор (700), после запуска системы, может сразу выбрать данный режим.
Далее рассматривается подробная блок-схема алгоритма обработки данных и предоставления визуальной информации в интерфейсе системы в режиме направляемой съемки (ФИГ. 26).
Работа AR-Карты (ФИГ. 24) точек съемки (2400) с интерактивным взаимодействием и элементами социальной активности и сети, поддерживается центральным процессором устройства (100), сервером и специализированным программным модулем управления отображения элементов в дополненной реальности.
AR-карта (ФИГ. 24) постоянно мониторит поступающие данные для актуального отображения точек (2400) в дополненной реальности. Так, данные EXIF, GPS/ГЛОНАСС, визуальной одометрии и экспонометрии (1202, 1203), поступающие из БД размеченных датасетов (1501), дают представление о положении и исходной освещенности точки (2400) в пространстве. Данные об активности пользователей социальных сетей (1516) во взаимодействии с результатами съемки, опубликованными в социальных сетях (2701), помогают правильно ранжировать точки (2400) для преодоления перспективной точкой (2400) пороговых значений, чтобы получить возможность размещаться на AR-карте (ФИГ. 24). Данные о внешних атмосферных условиях (1204) (погода, освещенность, астронавигация) подгружаются из открытых источников метеоусловий (2603), инсоляции (2604), астронавигации (2605) по API, вместе с прогнозными значениями на семь дней вперед, чтобы не зависеть от Интернет-подключения, для уточнения актуализации времени жизни точек (2403).
Как описывалось выше, точки (2400), в режиме направляемой съемки, могут отображаться как на двухмерной карте (2410), где можно увидеть все доступные точки (2400) на карте (2602), так и в режиме дополненной реальности, но с учетом радиуса от оператора (700): в радиусе до 50 метров (2600) показывает трехмерные объекты точек съемки (2400), с детальной интерактивной информацией о рейтинге точки (2405), авторе (2406) и времени жизни точки (2403); в радиусе от 50 метров до 10 километров (2601) от оператора (700) показывает трехмерные объекты скопления точек (2401), с детальной информацией о количестве точек (2404), расстоянии до них (2402) и времени жизни группы (2403).
Далее предоставленные изображения (ФИГ. 27, 28, 29) демонстрируют процесс взаимодействия пользователя с интерфейсом в процессе отбора полученных результатов. Для упрощения разъяснения представлен горизонтальный вариант расположения экрана, однако, возможно и вертикальное использование этого режима, согласно выбору пользователя или исходного процесса съемки.
ФИГ. 27, проиллюстрирован вывод результата съемки в интерфейсе системы для сохранения или удаления полученного результата съемки, сразу после того, как система произвела съемку и экспресс-постобработку (1511).
Результат занимает центральную область (2701) экрана. Оставшиеся области (2202), по краям экрана (слева-справа для горизонтального расположения, снизу-сверху для вертикального), являются активными (кликабельными) и при единовременном нажатии моментально возвращают пользователя к текущему режиму съемки, который продолжает работать в фоновом режиме еще 10 секунд. При этом полученный ранее результат откладывается в специальную папку-буфер внутри приложения до следующей сессии вывода (ФИГ. 27) полученных результатов и ставится в очередь. Отложенные результаты до завершения процедуры сортировки (ФИГ. 28, 29) не сохраняются в папке результатов на устройстве (100).
ФИГ. 28, проиллюстрирован процесс взаимодействия оператора (700) с интерфейсом во время сохранения результата(-ов) съемки. Пользователь перетаскивает (смахивает) результат вправо, таким действием, отдавая команду системе сохранить предоставленный результат.
Если результатов съемки было несколько и/или в папке-буфере накопились результаты, требующие сортировки, то эти результаты друг за другом, как указано на позиции 2801, появляются вслед за сохраненным результатом.
ФИГ. 29, иллюстрирует процесс взаимодействия оператора (700) с интерфейсом во время удаления результата(-ов) съемки. Пользователь перетаскивает (смахивает) результат влево, таким действием, отдавая команду системе удалить предоставленный результат.
Если результатов съемки было несколько и/или в папке-буфере накопились результаты, требующие сортировки, то эти результаты друг за другом, как указано на позиции 2801, появляются вслед за удаленным результатом.
Удаленный результат поступает во внутреннее хранилище системы внутри устройства (100) и может быть восстановлен пользователем в течение 30 дней, если был удален ошибочно.
Все метаданные о сортировке результатов (1514) журналируются.
Далее рассматривается подробная блок-схема алгоритма работы системы в части обработки результата(-ов) съемки (ФИГ. 30). После сохранения/удаления результатов (ФИГ. 28, 29) ведется журналирование (учет) данных о сохранении и удалении пользователем результатов съемки (1514) и данных о распространении результата в социальных сетях и активности взаимодействия с ним (1516).
Оба типа данных (1514, 1516) журналируются с согласия пользователя и в любой момент такое согласие может быть отозвано, а переданные ранее данные при дополнительном указании на это, могут быть удалены с правом восстановления в срок, не превышающий 30 дней.
Оба типа данных (1514, 1516) используются системой: для выявления претендентов на статус «точки съемки», последующего ранжирования и размещения на AR-карте (ФИГ. 26) и для обучения с подкреплением глобально в рамках сети и выработки индивидуального подхода к пользователю. Таким образом система может адаптироваться к предпочтениям пользователя и учится на своих «ошибках» (когда результат съемки отправляется в папку «Удаленные» ), а метаданные об удачных кадрах, а также данные об успешной имитации объективов (1510), добавляют к пользовательским жанровым датасетам (1504), чтобы в последствии предвосхищать и угадывать творческие идеи пользователя устройства (100), на котором установлена система.
Таким образом натренированные нейромодели (1506) и GANs (1510, 1512) непрерывно обновляются, тем самым улучшая Deep ML (1200), результат съемки и пользовательский опыт взаимодействия с системой, как глобально в рамках сети, так и персонифицировано.
ФИГ. 31 иллюстрирует какие процессы и задачи обрабатываются на сервере. БД размеченных датасетов (1501) постоянно синхронизируются с устройствами (100), обновляются и пополняются. Вместе с этим, для имитации недоступных на устройстве (100) объективов камер используют, так называемую компьютерную оптикокоррекцию, в которой используют модели GANs (1510).
Данные об их применении в создании результатов журналируются и синхронизируются с размеченными датасетами (1501).
Также на сервере помимо постоянно тренирующегося Ядра ИИ (ФИГ. 12) собираются и журналируются данные о взаимодействии с результатами в социальных сетях и на основании этих данных система обучается, отчего растет пользовательский опыт взаимодействия с режимами съемки, в т.ч. направляемой съемкой в дополненной реальности.
Облачные вычисления необходимы для фундаментальных расчетов и глобального обучения с подкреплением на данных, собираемых со всех устройств (100) и прочих источников в течение суток. Серверная часть постоянно обновляет ядро (ФИГ. 12) и это является единственной возможностью для обновления и усовершенствования системы теми пользователям, которые руководствуясь личными соображениями о безопасности и конфиденциальности, запретили обмен данными с облаком системы, при этом они осознанно отказываются от персонализации системы под их предпочтения.
В завершении раскрытия заявки обязательно стоит рассмотреть ключевую особенность системы, которая описана в рамках общей блок-схемы взаимодействия ядер ИИ системы на устройствах, применяющих технологии пограничного ИИ, их процесс обмена данными в сети системы и Интернет и каналов распределения вычислительных мощностей между устройствами, с применением туманных вычислений.
Изображенная на ФИГ. 32 упрощенная блок-схема, взаимодействия, иллюстрирует как применяя технологии пограничных ИИ, все вычисления в рамках внутренних ядер (ФИГ. 12), производятся на самих устройствах (100), которые в свою очередь способны напрямую устанавливать каналы (3202) обмена данными, что обеспечивает не только скорость обмена размеченных и обработанных данных, но и позволяет использовать возможности распределения вычислительных мощностей между устройствами, существенно ускоряя процесс обработки данных. При этом в структуре также неизменно присутствует облачное ядро (3200), размещенное на серверах системы (ФИГ. 31), обращение к которому и обмен происходит по каналам Интернет (3201).
Благодаря подобной структуре с ростом сети пользователи максимально автономно и оперативно смогут осуществлять съемку любой сложности без задержек.
В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.
Next Patent: PIANO KEY MECHANISM