ПРЕДПОЧТЕНИЙ ПОЛЬЗОВАТЕЛЯ

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области систем автоматического монтажа цифровых фильмов из материала, снятого пользователем, позволяющих ему создавать и/или обрабатывать видеоконтент (динамическое изображение, сопровождаемое звуком, характеризуемое метаданными).

УРОВЕНЬ ТЕХНИКИ На сегодняшний день существуют автоматизированные приложения для обработки видеоконтента, которые могут выбирать "подходящие" фрагменты из исходного видео, автоматически оформлять созданный фильм в соответствии с выбранной темой оформления и озвучивать фильм наложением выбранного музыкального трека. Однако, даже самые автоматизированные приложения, разработчики которых декларируют "простоту" и "массовость" своих продуктов, ставят перед пользователем задачи, требующие от него значительных временных и интеллектуальных затрат.

Так, например, система предлагает пользователю добавить к создаваемому фильму музыку, и, если он соглашается с предложением, открывает окно со списком из десятков музыкальных треков. Система ставит перед пользователем задачу: выбрать из представленного множества трек, "подходящий" для озвучивания создаваемого видеофильма. Для решения такой задачи, необходимо, как минимум, знание содержания предложенных треков, формирование представления "подходит ли" каждый из треков к создаваемому фильму по динамике, смысловому содержанию, "характеру".

Или, например, система предлагает автоматически смонтировать и оформить создаваемый видеофильм. Если пользователь соглашается с таким простым и понятным предложением, система выдает ему список из нескольких вариантов шаблонов и предлагает выбрать по теме: "путешествие", "концерт", "вечеринка", "отдых", "лето", "дети" и т.д. Выглядит очень просто, но, что если пользователь снимал видео о том, как он ездил в путешествие летом с детьми? Он вынужден задуматься о приоритетах, начать просматривать содержание различных вариантов оформления и прогнозировать, какой "подойдет лучше", а какой "хуже". Анализ опубликованных изобретений и рынка мобильных приложений для создания и/или обработки видео контента показывает, что, на сегодняшний день, подобная, "частично автоматизированная" модель поведения приложений, является абсолютно доминирующей. Известна система и способ автоматизации создания обработанного медиа контента, включающая формирование медиа-контента, содержащего первый блок метаданных, связанных с медиа-контентом, обзор медиа-контента и применение первого блока метаданных и по меньшей мере, одного набора правил для медиа-контента и формирование настраиваемой среды вывода, основанной на медиа-контенте, первом блоке метаданных и, по меньшей мере, одного набора правил (CM.US2010076967, G06F17/30, 2010).

Известна система и метод полуавтоматического редактирования видеоконтента, реализованные в виде компьютеризированной системы обеспечивающей извлечения метаданных о характеристиках потока средств массовой информации, отображение этих метаданных для пользователю, получение от него команды, для генерирования модифицированного видеоконтента, на основании по меньшей мере одной характеристики, представляемой метаданными и обработку видеоконтента для его модифицирования, в ответ на команду (см. US2013343727, H04N9/87, 2013).

Известна система редактирования видеоматериала, включает использование простых приемов отбора и задание их параметров, чтобы обеспечить сжатую версию видеоматериала, при этом система редактирования автоматически обеспечивает либо готовую сжатую версию видеоматериала или выбирает множество клипов на основе приемов отбора и заданных параметров, причем, пользовательский интерфейс позволяет пользователю выбрать приемы отбора для идентификации видеоклипов из отснятого материала, параметры отбора также могут быть установлены Submit CorrectionsClose для автоматического редактирования клипов желаемым образом, при этом, для сборки желательных клипов для выбранных типов событий используют временные комбинации методов отбора и параметров формирования шаблонов (см. US N° 7248778, G1 1B27/034; G 1 1B27/34; H04N5/76; H04N5/91 ; H04N5/93, 2007). Известен также, выбранный в качестве прототипа, способ автоматического создания видеоконтента, с учетом предпочтений пользователя, включающий формирование цифрового файла данных с помощью которого осуществляют сортировку исходного контента материалов, и, по меньшей мере, последующие обработка видеоконтента, отобранного для формирования исходящего видеоконтента и звуковое оформление последнего (см. WO 2013/187796, G11B27/00; G06F7/06, 2013). Перечисленные способы автоматизированной обработки видеоконтента, реализованные в соответствующие автоматизированные о приложения для обработки видеоконтента, могут выбирать «подходящие» фрагменты из исходного видео, автоматически оформлять созданный фильм в соответствии с выбранной темой оформления и озвучивать фильм наложением выбранного музыкального трека. Однако, даже самые автоматизированные приложения, разработчики которых декларируют «простоту» и «массовость» своих продуктов, зачастую ставят перед пользователем задачи, требующие от него значительных временных и интеллектуальных затрат.

Так, методы, описанные в аналогах и прототипе, предлагают пользователю оценить медиаконтент и/или его метаданные и принять решение: использовать данный контент или метаданные или настройки или шаблон для дальнейшей работы или принять иное решение, т.е., пользователь должен определить настройки системы, в соответствии с которыми будет создаваться результат работы.

Недостатки такого подхода в следующем:

- пользователь, не имеющий опыта в области создания и/или обработки видеоконтента, может принять ошибочное решение относительно настроек, параметров, признаков, шаблонов в соответствии с которым будет создаваться и/или обрабатываться видеоконтент, в результате чего будет создан некачественный и/или несоответствующий предпочтениям пользователя результат;

- принятие подобных «судьбоносных» решений требует от неспециалиста существенных временных и интеллектуальных затрат, в частности, времени на ознакомление с предложенными к выбору материалами, умения моделировать процесс и прогнозировать результат («Если я выберу вариант N, каким будет результат? Удовлетворит ли он меня?»), а, нередко, и просто ставит пользователя в тупик, отсутствием понятных критериев выбора того или иного варианта; - в процессе развития конкретного экземпляра приложения для создания и/или обработки видеоконтента будут возникать новые настройки, параметры, признаки, шаблоны, что потребует от пользователя изменения привычных способов взаимодействия с системой и дополнительного обучения. Таким образом, известные способы автоматического создания видеоконтента, с учетом предпочтений пользователя не позволяют минимизировать степень вовлечения пользователя в процесс создания и/или обработки видеоконтента, упростить процедуры этого участия для пользователя до вынесения оценки «нравится / не нравится» созданному видеоконтенту. РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Задача на решение которой направлено заявленное решение выражается в обеспечении возможности получение высококачественного, соответствующего предпочтениям пользователя видеоконтента, без его прямого вовлечения в процесс создания и/или обработки видеоконтента. Технический результат, проявляющийся при решении поставленной задачи выражается в обеспечении возможности получения высококачественного соответствующего предпочтениям пользователя видеоконтента при отсутствии у пользователя каких-либо навыков создания и/или обработки видеоконтента, при этом, процедуры этого участия для пользователя сводятся к вынесению оценки «ДА или НЕТ» созданному видеоконтенту в смысле «нравится/не нравится». Кроме того, сохраняется неизменной модель взаимодействия (привычки) пользователя при работе с приложением, реализующим заявленный способ, в процессе развития такого приложения.

Для решения поставленной задачи, способ автоматического создания видеоконтента, с учетом предпочтений пользователя, включает в себя формирование цифрового файла данных, с помощью которого осуществляют сортировку исходного контента материалов, и, по меньшей мере, последующие обработку видеоконтента, отобранного для формирования исходящего видеоконтента и звуковое оформление последнего, отличается тем, что процесс реализуют в несколько последовательных этапов, при этом, в рамках одного этапа осуществляют только работы необходимые для достижения цели этого этапа, причем, результатом исполнения каждого этапа является исходящий видеоконтент этапа, с возможностью его демонстрации пользователю, который оценивает его соответствие своим предпочтениям, принимая решение типа «ДА или НЕТ», кроме того, формирование цифрового файла данных включает предварительное формирование средств сортировки на классы элементов контента, входящего на этапе, в т.ч. видеоматериалов, для чего формируют массив признаков, сочетания которых однозначно идентифицируют классы элементов контента, а также методы их обработки, в соответствии с целью соответствующего этапа, при этом, на первом этапе осуществляют сортировку исходного видеоконтента, по результатам которой, формируют исходящий видеоконтент этапа, причем входящий контент анализируют на предмет соответствия признакам классов и, по результатам анализа, наборы классов и методы их обработки ранжируют по степени соответствия идентификационным признакам, после чего формируют исходящий видеоконтент первого этапа с использованием наиболее релевантных классов и методов их обработки, далее, после ознакомления с ним пользователь оценивает его соответствие своим предпочтениям, принимая решение типа «ДА или НЕТ», при этом решение «ДА» завершает первый этап и инициирует следующий, если текущий этап не является последним, а решение «НЕТ» запускает повторное исполнение первого этапа с использованием метода обработки, следующего по уровню релевантности, что при необходимости повторяют с использованием менее релевантных методов, до их исчерпания или получения от пользователя, решения «ДА», далее в аналогичном порядке, последовательно реализуют последующие этапы обработки видеоматериалов, используя одобренный пользователем исходящий контент предыдущего этапа, в качестве входящего контента последующего этапа, при этом, исходящий видеоконтент последнего этапа является исходящим видеоконтентом процедуры его автоматического создания, кроме того, если все методы этапа дают идентичные результаты или если все классы этапа показывают нулевую релевантность к входящему контенту, то демонстрацию результата этапа не производят и решение «ДА» принимается без участия пользователя. Кроме того, для сортировки методов по релевантности анализируют не только входящий контент на предмет соответствия признакам, но и решения пользователя, принятые ранее и/или информацию о пользователе. Кроме того, один класс имеет не менее одного метода обработки. Кроме того, результат этапа демонстрируют ускоренно, по крайней мере, на первом этапе. Кроме того, пользователь имеет возможность вернуться к инициации исполненного ранее любого этапа.

Сопоставительный анализ признаков заявленного решения с признаками аналогов свидетельствует о соответствии заявленного решения критерию «новизна». Признаки отличительной части формулы изобретения решают следующие функциональные задачи:

Признак «процесс реализуют в несколько последовательных этапов, при этом, в рамках одного этапа осуществляют только работы необходимые для достижения цели этого этапа, причем, результатом исполнения каждого этапа является исходящий видеоконтент этапа» обеспечивает независимость этапов друг от друга и возможность оценки пользователем каждого отдельного этапа, с учетом проведенной однородной обработки (воздействия) на оцениваемом этапе, когда базой для работ на последующем этапе является видеоконтент сформированный на предшествующем этапе. Признаки указывающие на возможность демонстрации этапа «пользователю, который оценивает его соответствие своим предпочтениям, принимая решение типа «ДА или НЕТ» позволяет пользователю дать демонстрируемому результату адекватную оценку на каждом этапе.

Признак «формирование цифрового файла данных включает предварительное формирование средств сортировки на классы элементов контента, входящего на этапе, в т.ч. видеоматериалов» обеспечивает возможность оценки и отбора материалов контента, их обработку с созданием результата каждого этапа, и автоматизацию этого процесса, что позволяет определить необходимые свойства создаваемого контента и создать результат этапа в виде видеоконтента, без привлечения к этому пользователя. Признак «формируют массив признаков, сочетания которых однозначно идентифицируют классы элементов контента, а также методы их обработки, в соответствии с целью соответствующего этапа» позволяет определить какими методами следует создавать и/или обрабатывать видеоконтент на данном этапе в зависимости от свойств входящего контента. Признак «на первом этапе осуществляют сортировку исходного видеоконтента, по результатам которой, формируют исходящий видеоконтент этапа» обеспечивают возможность визуализации первого этапа обработки исходного видеоконтента.

Признаки «входящий контент анализируют на предмет соответствия признакам классов и, по результатам анализа, наборы классов и методы их обработки ранжируют по степени соответствия идентификационным признакам, после чего формируют исходящий видеоконтент первого этапа с использованием наиболее релевантных классов и методов их обработки» раскрывают содержание первого этапа обработки входящего контента позволяют рассортировать методы, подходящие для данного входящего контента, по вероятности получения положительной оценки результата и позволяет начать исполнение этапа определенным отобранным методом.

Признак «после ознакомления с ним пользователь оценивает его соответствие своим предпочтениям, принимая решение типа «ДА или НЕТ»: удовлетворяет ли его продемонстрированный результат» обеспечивает высокое качество и соответствие созданного результата предпочтениям пользователя. Признак «решение «ДА» завершает первый этап и инициирует следующий, если текущий этап не является последним» позволяет последовательно продолжать процесс создания и/или обработки видеоконтента без необходимости принятия пользователем дополнительных решений.

Признак «решение «НЕТ» запускает повторное исполнение первого этапа с использованием метода обработки, следующего по уровню релевантности, что при необходимости повторяют с использованием менее релевантных методов, до их исчерпания или получения от пользователя, решения «ДА» позволяет автоматически редактировать созданное решение, если оно не обладает высоким качеством или не соответствует предпочтениям пользователя, без необходимости принятия пользователем дополнительных решений.

Признак «далее в аналогичном порядке, последовательно реализуют последующие этапы обработки видеоматериалов, используя одобренный пользователем исходящий контент предыдущего этапа, в качестве входящего контента последующего этапа» обеспечивает реализацию всех этапов способа. Признак «исходящий видеоконтент последнего этапа является исходящим видеоконтентом процедуры его автоматического создания» завершает и останавливает процедуру автоматического создания видеоконтента, с учетом предпочтений пользователя.

Признак «если все методы этапа дают идентичные результаты или если все классы этапа показывают нулевую релевантность к входящему контенту, то демонстрацию результата этапа не производят и решение «ДА» принимается без участия пользователя» позволяет ускорить исполнение процесса.

Признак «для сортировки методов по релевантности анализируют не только входящий контент на предмет соответствия признакам, но и решения пользователя, принятые ранее и/или информацию о пользователе» позволяет уменьшить вероятность получения решения «НЕТ» за счет адаптации процесса к привычкам пользователя и к его индивидуальным особенностям.

Признак «один класс имеет не менее одного метода обработки» позволяет создавать разнообразные (отличающиеся) результаты для одного класса входящего контента. Признак «результат этапа демонстрируют ускоренно, по крайней мере на первом этапе» позволяет уменьшить общую продолжительность процесса.

Признак «пользователь имеет возможность вернуться к инициации исполненного ранее любого этапа» позволяет внести изменения в процесс создания и/или обработки видеоконтента на любом этапе, в соответствии с изменениями предпочтений пользователя.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На фиг. 1 показана блок-схема реализации этапов процесса создания и/или обработки видеоконтента.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ Заявленный способ автоматического создания видеоконтента, с учетом предпочтений пользователя предназначен для использования в вычислительных устройствах, таких как компьютеры, мобильные вычислительные устройства, планшетные компьютеры, «умные» носимые устройства, смартфоны и т.п. Способ реализуется программным образом - посредством программного обеспечения - приложения, запускаемого на этих устройствах и обеспечивает выполнение всех вышеперечисленных операций. Далее по тексту упоминается термин «система», как приложение, работающее в вычислительном устройстве.

Способ реализуется следующим образом: Доступный для использования контент (изображения, видео, звук, документы, данные) созданный известным образом, с помощью известных технических средств, загружают в систему.

Весь процесс разбивается на этапы, например: - Отбор содержательного видеоконтента (который будет целесообразно использовать в работе) из всего контента доступного для использования;

- Создание дополнительного видеоконтента;

- Визуальное и звуковое оформление созданного видеоконтента;

- Модификация визуальной части видеоконтента с учетом особенностей звуковой части. Автоматически инициируется этап 1 : «Отбор исходного контента из всего контента доступного для использования». См. фиг. 1.

Предварительно, формируют средства сортировки на классы элементов контента, являющегося входящим на конкретном этапе. Для этого, все возможные виды входящего контента, которые могут быть использованы на каждом этапе делят на классы из списка, например: «Событие», «Интервью», «Путешествие» и т.п., каждый из которых может быть описан различными сочетаниями признаков. В качестве таких сочетаний признаков могут быть использованы, например: (а) - количество стран где снимался контент, (Ь) - количество дней съемок, (с) - доля кадров в которых крупно видно лицо, (d) - доля кадров в которых есть распознаваемая речь и др. При этом, вышеупомянутые классы, могут быть описаны сочетаниями упомянутых признаков следующим образом, например:

«Событие»: а = 1, b <= 2, с < 50%, d < 70%; «Интервью»: а = 1, b <= 2, с => 50%, d => 70%; «Путешествие»: а > 1, Ь > 1, с < 50%, d < 50%.

Если анализ исходного доступного контента показал: а = 2, b = 2, с = 40%, d = 30%, то классы будут рассортированы по релевантности следующим образом: «Путешествие» - совпадают 4 признака, «Событие» - 3 признака, «Интервью» - 1 признак (в случае, если у нескольких классов количество совпавших признаков одинаково, то эти классы имеют одинаковую релевантность, и запускаются, в произвольном порядке, например, в алфавитном).

Далее запускают реализацию методов исполнения соответствующих классу «Путешествие». Видеоконтент, созданный из отобранных элементов исходного доступного контента демонстрируется пользователю, который принимает решение типа «ДА или НЕТ», тем самым отвечает подходит ему демонстрируемый видеоконтент или нет.

При ответе «ДА» система завершает исполнение текущего этапа и экспортирует созданный видеоконтент как входящий для следующего этапа. При ответе «НЕТ» система выбирает следующий в отсортированном списке методов, соответствующих классу «Путешествие» и запускает повторное исполнение первого этапа с использованием метода обработки, следующего по уровню релевантности, что при необходимости повторяют с использованием других, еще менее релевантных методов, до исчерпания их перечня или получения от пользователя, решения «ДА». При ответе «НЕТ» на все использованные методы класса «Путешествие» система выбирает следующий в отсортированном списке классов, менее релевантный класс - «Событие», выбирает в нем наиболее релевантный метод исполнения и создает новый видеоконтент, который также демонстрирует с принятием решения пользователя, вплоть до исчерпания их перечня или получения от пользователя, решения «ДА». При ответе «ДА» система завершает исполнение текущего этапа и экспортирует созданный видеоконтент как входящий для следующего этапа.

При ответе «НЕТ» на все использованные методы класса «Событие» система выбирает следующий в отсортированном списке классов, менее релевантный класс - «Интервью», выбирает в нем наиболее релевантный метод исполнения и создает новый видеоконтент, который также демонстрирует с принятием решения пользователя, вплоть до исчерпания их перечня или получения от пользователя, решения «ДА».

При ответе «ДА» система завершает исполнение текущего этапа и экспортирует созданный видеоконтент как входящий для следующего этапа. Ответ «НЕТ» на все использованные методы класса «Интервью» является признаком ошибки приложения и свидетельствует о необходимости его доработки.

Все последующие этапы исполняются аналогичным способом, с тем отличием, что каждый этап имеет собственный список классов описываемых собственными наборами признаков и обладающими собственными методами исполнения.

Например, если на этапе 2 во входящем видеоконтенте будут содержаться фрагменты исходного контента созданные в значительно удаленных друг от друга местах (например, в разных странах), релевантным окажется класс «Дальнее путешествие» выбор которого запустит исполнение метода генерирующего, например, карты с маршрутами от одной точки создания контента к другой. В результате этого этапа будет создан видеоконтент демонстрирующий перемещения пользователя во время путешествия и этот контент будет добавлен в результат этапа 2 в те места, где происходили изменения точек создания исходного контента.

Или же, если на этапе 3 релевантным будет признан, например, класс «Репортаж», его метод наложит на входящий контент надписи, поясняющие где и когда была произведена съемка.

Или же, если на этапе 4, входящий видеоконтент соответствует признаку «наличие музыкального сопровождения», то в список релевантных попадет класс «Музыкальный видеоклип» обладающий методом монтажа видео, при котором точки монтажных переходов располагаются во времени в соответствии с ритмическим рисунком музыкального сопровождения, для получения дополнительного эмоционального эффекта от синхронного изменения визуальной и звуковой частей видеоконтента.

Фактический список этапов, списки классов, их признаки и методы исполнения для каждого этапа формируют на основе существующего опыта создания и/или обработки видеоконтента и расширяют или совершенствуют в процессе тестирования или эксплуатации приложения, при получения сигналов о исчерпании релевантных методов этапа, либо если частота решений «НЕТ» превышает частоту решений «ДА».

На протяжении всего процесса создания и/или обработки видеоконтента, пользователь участвует в процессе исключительно как потребитель создаваемого видеоконтента, что позволяет создать высококачественный видеоконтент соответствующий его предпочтениям, даже при полном отсутствии у него каких-либо навыков создания и/или обработки видеоконтента.

Вследствие полной невидимости для пользователя деталей процесса создания результата, любые изменения в количестве и составе этапов, в классах контента и в методах создания результата не повлияют на механизмы взаимодействия пользователя с системой, на его привычки, что обеспечивает преемственность для него новых версий приложения.

Способ (и система его реализующая) предусматривает возможность исключения процедуры демонстрации результата этапа и автоматического применения решения «ДА», если все методы этапа дают идентичные результаты или если все классы этапа показывают нулевую релевантность входящему контенту.

Например, если весь доступный для использования контент состоит из единственной короткой видеосъемки, система пропустит демонстрацию результата этапа 1, использует неизменный входящий контент в качестве исходящего контента и автоматически инициирует этап 2. Или, если на этапе 4 «Модификация визуальной части видеоконтента с учетом особенностей звуковой части», входящий контент не соответствует признаку «есть звуковая часть контента», все классы этапа покажут 0 совпадений с признаками входящего контента, ни один из методов не будет исполнен, этап завершится и исходящий контент будет идентичен входящему. Для сортировки списка методов исполнения по релевантности анализируется не только входящий контент на предмет соответствия признакам, но и решения пользователя принятые ранее и информация о пользователе. Если на этапе N пользователь одобрил результат созданный методом исполнения класса X, и в этапе N+1 присутствует аналогичный класс X, то названный метод исполнения этого класса получит первое место в сортированном по релевантности списке методов исполнения вне зависимости от фактического соответствия входящего контента этапа N+1 признакам класса X.

Как показывает опыт обработки видеоконтента, многократное применение одного стиля оформления к однотипному исходному видео вызывает негативную реакцию у потребителя создаваемого видеоконтента, поэтому, для создания разнообразных результатов, один класс должен иметь несколько методов исполнения. На начальных этапах обработки видеоконтента объем исходного материала может составлять десятки минут, и простой просмотр его займет значительное время, поэтому следует демонстрировать его ускоренно или выборочными фрагментами для сокращения длительности процесса просмотра.

Как показывает опыт работы с заказчиками видеоконтента, пользователь может изменить систему своих предпочтений, «передумать», непосредственно в процессе работы по созданию и/или редактированию видеоконтента. Для разрешения подобной конфликтной ситуации способ (и система его реализующая) предусматривает возможность вернуться к инициации исполненного ранее любого из этапов.