Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
VIDEO GENERATION METHOD, AND TRAINING METHOD FOR VIDEO GENERATION MODEL
Document Type and Number:
WIPO Patent Application WO/2023/146466
Kind Code:
A2
Abstract:
Provided in the embodiments of the present disclosure are a video generation method, and a training method for a video generation model. The video generation method comprises: acquiring a first video, wherein the first video comprises a first object image; and inputting the first video into a pre-trained video generation model to obtain a second video, wherein the video generation model is obtained by means of performing training on the basis of a target image and a plurality of sample image pairs obtained from a plurality of first sample images, an object image in the second video is generated on the basis of a preset animal image in the target image and the first object image, and a background image of the second video is generated on the basis of a first background image of the first video. The video generation method, and the training method for a video generation model provided in the present disclosure can be used for improving the quality of a second video.

Inventors:
ZHU YIZHE (US)
LIU BINGCHEN (US)
YANG XIAO (US)
Application Number:
PCT/SG2022/050907
Publication Date:
August 03, 2023
Filing Date:
December 15, 2022
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
LEMON INC (SG)
Attorney, Agent or Firm:
POH, Chee Kian, Daniel (SG)
Download PDF:
Claims:
权 利 要 求 书

1. 一种视频生成方法, 包括: 获取第一视频; 所述第一视频中包括第一对象图像; 将所述第一视频输入预先训练好的视频生成模型,得到第二视频;所述视频生成模型基于 目标图像和多张第一样本图像得到的多个样本图像对进行训练得到, 所述第二视频中的对象 图像基于所述目标图像中的预设动物图像和所述第一对象图像生成, 所述第二视频的背景图 像基于所述第一视频的第一背景图像生成。

2. 根据权利要求 1所述的方法, 其中, 所述样本图像对包括第一样本图像和第一样本图像对应的第二样本图像; 所述第二样本图像基于所述第一样本图像、 所述目标图像和所述第一样本图像对应的第 一样本背景图像得到。

3. 根据权利要求 2所述的方法, 其中, 所述第一样本图像中包括第一样本对象图像和初 始背景图像; 所述第一样本对象图像和所述初始背景图像不重叠; 所述第一样本背景图像为对所述初始背景图像进行背景补充处理之后的图像。

4. 根据权利要求 2或 3所述的方法, 其中, 所述第二样本图像基于所述第一样本背景图像和第三样本图像中的对象图像的对象前景 图得到; 所述第三样本图像基于所述第一样本图像和所述目标图像得到, 所述第三样本图像中的 对象图像基于所述预设动物图像和所述第一样本对象图像生成。

5. 根据权利要求 4所述的方法, 其中, 所述第二样本图像为对所述第一样本背景图像和所述对象前景图进行融合处理得到。

6. 根据权利要求 4所述的方法, 其中, 所述第二样本图像基于色彩差异信息和第四样本图像得到; 所述色彩差异信息基于所述第四样本图像和所述第一样本图像得到; 所述第四样本图像基于所述对象前景图和所述第一样本背景图像得到。

7. 根据权利要求 6所述的方法,其中,所述色彩差异信息包括 R通道对应的第一色彩值、 G 通道对应的第一色彩值和 B通道对应的第一色彩值; 所述 R通道对应的第一色彩值基于 R通道对应的第二色彩值与 R通道对应的第三色彩值 得到,所述 G通道对应的第一色彩值基于 G通道对应的第二色彩值与 G通道对应的第三色彩 值得到, 所述 B通道对应的第一色彩值基于 B通道对应的第二色彩值与 B通道对应的第三色 彩值得到; 所述 R通道对应的第二色彩值、 所述 G通道对应的第二色彩值、 所述 B通道对应的第二 色彩值分别基于所述第四样本图像包括的像素的色彩值得到; 所述 R通道对应的第三色彩值、 所述 G通道对应的第三色彩值、 所述 B通道对应的第三 色彩值分别基于所述第一样本图像包括的像素的色彩值得到。

8. 一种视频生成模型的训练方法, 包括: 获取多张第一样本图像、 以及目标图像; 确定每个第一样本图像对应的第一样本背景图像; 针对每个第一样本图像,根据所述第一样本图像、所述目标图像和对应的第一样本背景图 像, 生成第二样本图像; 将所述第一样本图像和所述第二样本图像, 确定为样本图像对; 所述 第二样本图像中的对象图像基于所述目标图像中的预设动物图像和所述第一样本图像中的第 一样本对象图像生成, 所述第二样本图像的背景图像基于所述对应的第一样本背景图像生成; 根据多个样本图像对, 对初始视频生成模型进行训练, 以得到视频生成模型。

9. 根据权利要求 8所述的方法, 其中, 所述确定每个第一样本图像对应的第一样本背景 图像, 包括: 针对每个第一样本图像, 获取所述第一样本图像中除所述第一样本对象图像之外的初始 背景图像; 对所述初始背景图像进行背景补充处理, 得到所述第一样本图像对应的第一样本背景图 像。

10. 根据权利要求 8或 9所述的方法, 其中, 所述根据所述第一样本图像、所述目标图像 和对应的第一样本背景图像, 生成第二样本图像, 包括: 通过预设图像生成模型,对所述第一样本图像和所述目标图像进行处理,得到第三样本图 像; 所述第三样本图像中的对象图像基于所述预设动物图像和所述第一样本对象图像生成; 获取所述第三样本图像中的对象图像的对象前景图; 根据所述对象前景图和所述第一样本背景图像, 确定所述第二样本图像。

11. 根据权利要求 10所述的方法, 其中, 所述根据所述对象前景图和所述第一样本背景 图像, 确定所述第二样本图像, 包括: 对所述对象前景图和所述第一样本背景图像进行融合处理, 得到所述第二样本图像。

12. 根据权利要求 10所述的方法, 其中, 所述根据所述对象前景图和所述第一样本背景 图像, 确定所述第二样本图像, 包括: 对所述对象前景图和所述第一样本背景图像进行融合处理, 得到第四样本图像; 获取所述第四样本图像和所述第一样本图像的色彩差异信息; 根据所述色彩差异信息, 对所述第四样本图像进行色彩调整, 得到所述第二样本图像。

13. 根据权利要求 12所述的方法, 其中, 所述色彩差异信息包括 R通道对应的第一色彩 值、 G通道对应的第一色彩值和 B通道对应的第一色彩值; 所述获取所述第四样本图像和所 述第一样本图像的色彩差异信息, 包括: 对所述第四样本图像包括的像素的色彩值进行统计处理,得到 R通道对应的第二色彩值、

G 通道对应的第二色彩值和 B通道对应的第二色彩值; 对所述第一样本图像包括的像素的色彩值进行统计处理,得到 R通道对应的第三色彩值、

G 通道对应的第三色彩值和 B通道对应的第三色彩值; 将所述 R通道对应的第二色彩值和所述 R通道对应的第三色彩值的差值, 确定为所述 R 通道对应的第一色彩值; 将所述 G通道对应的第二色彩值与所述 G通道对应的第三色彩值的差值, 确定为所述 G 通道对应的第一色彩值; 将所述 B通道对应的第二色彩值与所述 B通道对应的第三色彩值的差值, 确定为所述 B 通道对应的第一色彩值。

14. 根据权利要求 13所述的方法, 其中, 所述根据所述色彩差异信息, 对所述第四样本 图像进行色彩调整, 得到所述第二样本图像, 包括: 针对所述第四样本图像中包括的每个像素, 根据色彩差异信息包括的 R通道对应的第一 色彩值、 G通道对应的第一色彩值和 B通道对应的第一色彩值, 对所述像素的色彩值进行调 整, 以得到所述第二样本图像。

15. 一种图像的生成装置, 包括: 预设图像分割模块、 预设背景补全模块、 预设图像生成 模块和前背景融合模块; 其中, 所述预设图像分割模块, 用于通过预设图像分割模型对第一样本图像进行图像分割处理, 得到所述第一样本图像中除第一样本对象图像之外的初始背景图像; 所述预设背景补全模块, 用于通过预设背景补全模型对所述初始背景图像进行背景补充 处理, 得到第一样本背景图像; 所述预设图像生成模块,用于对所述第一样本图像和目标图像进行处理,得到第三样本图 像; 所述预设图像分割模块,还用于通过所述预设图像分割模型,对所述第三样本图像进行图 像分割处理, 得到对象前景图; 所述前背景融合模块,用于对所述对象前景图和所述第一样本背景图像进行融合处理,得 到第二样本图像。

16. 一种图像的生成装置, 包括: 预设图像分割模块、 预设背景补全模块、 预设图像生成 模块、 前背景融合模块和色彩处理模块; 其中, 所述预设图像分割模块, 用于通过预设图像分割模型对第一样本图像进行图像分割处理, 得到所述第一样本图像中除第一样本对象图像之外的初始背景图像; 所述预设背景补全模块, 用于通过预设背景补全模型对所述初始背景图像进行背景补充 处理, 得到第一样本背景图像; 所述预设图像生成模块,用于对所述第一样本图像和目标图像进行处理,得到第三样本图 像; 所述预设图像分割模块, 还用于通过预设图像分割模型对所述第三样本图像进行图像分 割处理, 得到对象前景图; 所述前背景融合模块,用于对所述对象前景图和所述第一样本背景图像进行融合处理,得 到第四样本图像; 所述色彩处理模块,用于获取所述第四样本图像和所述第一样本图像的色彩差异信息,并 根据所述色彩差异信息, 对所述第四样本图像进行色彩调整, 得到第二样本图像。

17. 一种电子设备, 包括: 处理器和与所述处理器通信连接的存储器; 所述存储器存储计算机执行指令; 所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求 1-7任一项所述的 方法。

18. 一种模型训练设备, 包括: 处理器和与所述处理器通信连接的存储器; 所述存储器存储计算机执行指令; 所述处理器执行所述存储器存储的计算机执行指令, 以实现如权利要求 8-14任一项所述 的方法。

19. 一种计算机可读存储介质,其中,所述计算机可读存储介质中存储有计算机执行指令, 所述计算机执行指令被处理器执行时用于实现如权利要求 1-7任一项所述的方法或者权利要

19 求 8-14任一项所述的方法。

20. 一种计算机程序产品, 包括计算机程序, 该计算机程序被处理器执行时实现如权利要 求 1-7任一项所述的方法或者权利要求 8-14任一项所述的方法。

21. 一种计算机程序, 其中, 该计算机程序被处理器执行时实现如权利要求 1-7任一项所 述的方法或者权利要求 8-14任一项所述的方法。

20

Description:
视 频生 成 方法 以及 视频 生 成模 型的 训练 方法 相关申请的交叉引用 本 申请要求于 2022年 01月 29日提交中国专利局、 申请号为 202210109748.X、 申请 名称为 “视频生成方法以及视频生成模型的训练方法 ”的中国专利申请的优先权, 其全部 内容通过引用结合在本文中。 技术领域 本公开涉及图像处理的技术领域, 尤其涉及一种视频生成方法以及视频生成模型 的训练 方法。 背景技术 目前,针对包括家庭宠物的脸部图像的视频, 能够对视频中家庭宠物的脸部图像进行特效 变换, 以将视频中的家庭宠物的面部图像变化为其他 特定动物的脸部图像。 在相关技术中, 设计师设计出 3D动物脸部图像道具作为其他特定动物的脸部 像, 并采 用 3D动物图像道具替换视频中包括的家庭宠物的 部图像, 以得到新视频。 在上述过程中, 采用 3D动物脸部图像道具替换视频中包括的家庭宠 的面部图像, 得到 新视频, 导致在新视频中, 3D动物脸部图像道具和家庭宠物的面部图像的 合性差, 进而导 致新视频的质量较差。 发明内容 本公开实施例提供一种视频生成方法以及视频 生成模型的训练方法, 用以解决新视频的 质量较差的问题。 第一方面, 本公开实施例提供一种视频生成方法, 包括: 获取第一视频; 第一视频中包括第一对象图像; 将第一视频输入预先训练好的视频生成模型, 得到第二视频;视频生成模型基于目标图像 和多张第一样本图像得到的多个样本图像对进 行训练得到, 第二视频中的对象图像基于目标 图像中的预设动物图像和第一对象图像生成, 第二视频的背景图像基于第一视频的第一背景 图像生成。 在一种可能的设计中, 样本图像对包括第一样本图像和第一样本图像 对应的第二样本图 像; 第二样本图像基于第一样本图像、 目标图像和第一样本图像对应的第一样本背景 图像得 到。 在一种可能的设计中,第一样本图像中包括第 一样本对象图像和初始背景图像;第一样本 对象图像和初始背景图像不重叠; 第一样本背景图像为对初始背景图像进行背景 补充处理之后的图像。 在一种可能的设计中, 第二样本图像基于第一样本背景图像和第三样 本图像中的对象图 像的对象前景图得到; 第三样本图像基于第一样本图像和目标图像得 到, 第三样本图像中的对象图像基于预设 动物图像和第一样本对象图像生成。 在一种可能的设计中, 第二样本图像为对第一样本背景图像和对象前 景图进行融合处理 得到。 在一种可能的设计中,第二样本图像基于色彩 差异信息和第四样本图像得到;色彩差异信 息基于第四样本图像和第一样本图像得到; 第四样本图像基于对象前景图和第一样本背景 图 像得到。 在一种可能的设计中, 色彩差异信息包括 R通道对应的第一色彩值、 G通道对应的第一 色彩值和 B通道对应的第一色彩值;

R 通道对应的第一色彩值基于 R通道对应的第二色彩值与 R通道对应的第三色彩值得到 , G 通道对应的第一色彩值基于 G通道对应的第二色彩值与 G通道对应的第三色彩值得到, B 通道对应的第一色彩值基于 B通道对应的第二色彩值与 B通道对应的第三色彩值得到;

R 通道对应的第二色彩值、 G通道对应的第二色彩值、 B通道对应的第二色彩值分别基于 第四样本图像包括的像素的色彩值得到;

R 通道对应的第三色彩值、 G通道对应的第三色彩值、 B通道对应的第三色彩值分别基于 第一样本图像包括的像素的色彩值得到。 第二方面, 本公开实施例提供一种视频生成模型的训练方 法, 包括: 获取多张第一样本图像、 以及目标图像; 确定每个第一样本图像对应的第一样本背景图 像; 针对每个第一样本图像,根据第一样本图像、 目标图像和对应的第一样本背景图像,生成 第二样本图像;将第一样本图像和第二样本图 像,确定为样本图像对;第二样本图像中的对 象 图像基于目标图像中的预设动物图像和第一样 本图像中的第一样本对象图像生成, 第二样本 图像的背景图像基于对应的第一样本背景图像 生成; 根据多个样本图像对, 对初始视频生成模型进行训练, 以得到视频生成模型。 在一种可能的设计中, 确定每个第一样本图像对应的第一样本背景图 像, 包括: 针对每个第一样本图像, 获取第一样本图像中除第一样本对象图像之外 的初始背景图像; 对初始背景图像进行背景补充处理, 得到第一样本图像对应的第一样本背景图像。 在一种可能的设计中,根据第一样本图像、 目标图像和对应的第一样本背景图像,生成第 二样本图像, 包括: 通过预设图像生成模型,对第一样本图像和目 标图像进行处理,得到第三样本图像;第三 样本图像中的对象图像基于预设动物图像和第 一样本对象图像生成; 获取第三样本图像中的对象图像的对象前景图 ; 根据对象前景图和第一样本背景图像, 确定第二样本图像。 在一种可能的设计中,根据对象前景图和第一 样本背景图像,确定第二样本图像,包括: 对对象前景图和第一样本背景图像进行融合处 理, 得到第二样本图像。 在一种可能的设计中,根据对象前景图和第一 样本背景图像,确定第二样本图像,包括: 对对象前景图和第一样本背景图像进行融合处 理, 得到第四样本图像; 获取第四样本图像和第一样本图像的色彩差异 信息; 根据色彩差异信息, 对第四样本图像进行色彩调整, 得到第二样本图像。 在一种可能的设计中, 色彩差异信息包括 R通道对应的第一色彩值、 G通道对应的第一 色彩值和 B通道对应的第一色彩值; 获取第四样本图像和第一样本图像的色彩差异 信息, 包 括: 对第四样本图像包括的像素的色彩值进行统计 处理,得到 R通道对应的第二色彩值、 G通 道对应的第二色彩值和 B通道对应的第二色彩值; 对第一样本图像包括的像素的色彩值进行统计 处理,得到 R通道对应的第三色彩值、 G通 道对应的第三色彩值和 B通道对应的第三色彩值; 将 R通道对应的第二色彩值和 R通道对应的第三色彩值的差值, 确定为 R通道对应的第 一色彩值; 将 G通道对应的第二色彩值与 G通道对应的第三色彩值的差值,确定为 G通道对应的第 一色彩值; 将 B通道对应的第二色彩值与 B通道对应的第三色彩值的差值, 确定为 B通道对应的第 一色彩值。 在一种可能的设计中,根据色彩差异信息,对 第四样本图像进行色彩调整,得到第二样本 图像, 包括: 针对第四样本图像中包括的每个像素, 根据色彩差异信息包括的 R通道对应的第一色彩 值、 G通道对应的第一色彩值和 B通道对应的第一色彩值, 对像素的色彩值进行调整, 以得 到第二样本图像。 第三方面, 本公开实施例提供一种视频生成装置, 包括: 处理模块; 处理模块用于: 获取第一视频; 第一视频中包括第一对象图像; 将第一视频输入预先训练好的视频生成模型, 得到第二视频;视频生成模型基于目标图像 和多张第一样本图像得到的多个样本图像对进 行训练得到, 第二视频中的对象图像基于目标 图像中的预设动物图像和第一对象图像生成, 第二视频的背景图像基于第一视频的第一背景 图像生成。 在一种可能的设计中, 样本图像对包括第一样本图像和第一样本图像 对应的第二样本图 像; 第二样本图像基于第一样本图像、 目标图像和第一样本图像对应的第一样本背景 图像得 到。 在一种可能的设计中,第一样本图像中包括第 一样本对象图像和初始背景图像;第一样本 对象图像和初始背景图像不重叠; 第一样本背景图像为对初始背景图像进行背景 补充处理之 后的图像。 在一种可能的设计中, 第二样本图像基于第一样本背景图像和第三样 本图像中的对象图 像的对象前景图得到;第三样本图像基于第一 样本图像和目标图像得到,第三样本图像中的 对 象图像基于预设动物图像和第一样本对象图像 生成。 在一种可能的设计中, 第二样本图像为对第一样本背景图像和对象前 景图进行融合处理 得到。 在一种可能的设计中,第二样本图像基于色彩 差异信息和第四样本图像得到;色彩差异信 息基于第四样本图像和第一样本图像得到; 第四样本图像基于对象前景图和第一样本背景 图 像得到。 在一种可能的设计中, 色彩差异信息包括 R通道对应的第一色彩值、 G通道对应的第一 色彩值和 B通道对应的第一色彩值; R通道对应的第一色彩值基于 R通道对应的第二色彩值 与 R通道对应的第三色彩值得到, G通道对应的第一色彩值基于 G通道对应的第二色彩值与 G 通道对应的第三色彩值得到, B通道对应的第一色彩值基于 B通道对应的第二色彩值与 B 通道对应的第三色彩值得到;

R 通道对应的第二色彩值、 G通道对应的第二色彩值、 B通道对应的第二色彩值分别基于 第四样本图像包括的像素的色彩值得到;

R 通道对应的第三色彩值、 G通道对应的第三色彩值、 B通道对应的第三色彩值分别基于 第一样本图像包括的像素的色彩值得到。 第四方面, 本公开实施例提供一种视频生成模型的训练装 置, 包括: 处理模块; 处理模块 用于: 获取多张第一样本图像、 以及目标图像; 确定每个第一样本图像对应的第一样本背景图 像; 针对每个第一样本图像,根据第一样本图像、 目标图像和对应的第一样本背景图像,生成 第二样本图像;将第一样本图像和第二样本图 像,确定为样本图像对;第二样本图像中的对 象 图像基于目标图像中的预设动物图像和第一样 本图像中的第一样本对象图像生成, 第二样本 图像的背景图像基于对应的第一样本背景图像 生成; 根据多个样本图像对, 对初始视频生成模型进行训练, 以得到视频生成模型。 在一种可能的设计中, 处理模块具体用于: 针对每个第一样本图像, 获取第一样本图像中除第一样本对象图像之外 的初始背景图像; 对初始背景图像进行背景补充处理, 得到第一样本图像对应的第一样本背景图像。 在一种可能的设计中, 处理模块具体用于: 通过预设图像生成模型,对第一样本图像和目 标图像进行处理,得到第三样本图像;第三 样本图像中的对象图像基于预设动物图像和第 一样本对象图像生成; 获取第三样本图像中的对象图像的对象前景图 ; 根据对象前景图和第一样本背景图像, 确定第二样本图像。 在一种可能的设计中, 处理模块具体用于: 对对象前景图和第一样本背景图像进行融合处 理, 得到第二样本图像。 在一种可能的设计中, 处理模块具体用于: 对对象前景图和第一样本背景图像进行融合处 理, 得到第四样本图像; 获取第四样本图像和第一样本图像的色彩差异 信息; 根据色彩差异信息, 对第四样本图像进行色彩调整, 得到第二样本图像。 在一种可能的设计中, 色彩差异信息包括 R通道对应的第一色彩值、 G通道对应的第一 色彩值和 B通道对应的第一色彩值; 处理模块具体用于: 对第四样本图像包括的像素的色彩值进行统计 处理,得到 R通道对应的第二色彩值、 G通 道对应的第二色彩值和 B通道对应的第二色彩值; 对第一样本图像包括的像素的色彩值进行统计 处理,得到 R通道对应的第三色彩值、 G通 道对应的第三色彩值和 B通道对应的第三色彩值; 将 R通道对应的第二色彩值和 R通道对应的第三色彩值的差值, 确定为 R通道对应的第 一色彩值; 将 G通道对应的第二色彩值与 G通道对应的第三色彩值的差值,确定为 G通道对应的第 一色彩值; 将 B通道对应的第二色彩值与 B通道对应的第三色彩值的差值, 确定为 B通道对应的第 一色彩值。 在一种可能的设计中, 处理模块具体用于: 针对第四样本图像中包括的每个像素, 根据色彩差异信息包括的 R通道对应的第一色彩 值、 G通道对应的第一色彩值和 B通道对应的第一色彩值, 对像素的色彩值进行调整, 以得 到第二样本图像。 第五方面, 本公开实施例提供图像的生成装置, 包括: 预设图像分割模块、预设背景补全 模块、 预设图像生成模块和前背景融合模块; 其中, 预设图像分割模块,用于通过预设图像分割模 型对第一样本图像进行图像分割处理,得到 第一样本图像中除第一样本对象图像之外的初 始背景图像; 预设背景补全模块,用于通过预设背景补全模 型对初始背景图像进行背景补充处理,得到 第一样本背景图像; 预设图像生成模块, 用于对第一样本图像和目标图像进行处理, 得到第三样本图像; 预设图像分割模块,还用于通过预设图像分割 模型,对第三样本图像进行图像分割处理, 得到对象前景图; 前背景融合模块,用于对对象前景图和第一样 本背景图像进行融合处理,得到第二样本图 像。 第六方面, 本公开实施例提供一种图像的生成装置, 包括: 预设图像分割模块、预设背景 补全模块、 预设图像生成模块、 前背景融合模块和色彩处理模块; 其中, 预设图像分割模块,用于通过预设图像分割模 型对第一样本图像进行图像分割处理,得到 第一样本图像中除第一样本对象图像之外的初 始背景图像; 预设背景补全模块,用于通过预设背景补全模 型对初始背景图像进行背景补充处理,得到 第一样本背景图像; 预设图像生成模块, 用于对第一样本图像和目标图像进行处理, 得到第三样本图像; 预设图像分割模块,还用于通过预设图像分割 模型对第三样本图像进行图像分割处理,得 到对象前景图; 前背景融合模块,用于对对象前景图和第一样 本背景图像进行融合处理,得到第四样本图 像; 色彩处理模块,用于获取第四样本图像和第一 样本图像的色彩差异信息,并根据所述色彩 差异信息, 对第四样本图像进行色彩调整, 得到第二样本图像。 第七方面,本公开实施例提供一种电子设备, 包括:处理器和与处理器通信连接的存储器; 存储器存储计算机执行指令;处理器执行存储 器存储的计算机执行指令,以实现如第一方面 以 及第一方面的各种可能的设计所述的方法。 第八方面,本公开实施例提供一种模型训练设 备,包括: 处理器和与处理器通信连接的存 储器;存储器存储计算机执行指令; 处理器执行存储器存储的计算机执行指令, 以实现如第二 方面以及第二方面的各种可能的设计所述的方 法。 第九方面,本公开实施例提供一种计算机可读 存储介质,计算机可读存储介质中存储有计 算机执行指令,计算机执行指令被处理器执行 时用于实现如第一方面、第二方面或者各个方 面 的各种可能的设计所述的方法。 第十方面,本公开实施例提供一种计算机程序 产品,包括计算机程序,该计算机程序被处 理器执行时实现如第一方面、 第二方面或者各个方面的各种可能的设计所述 的方法。 第十一方面,本公开实施例提供一种计算机程 序,该计算机程序被处理器执行时实现如第 一方面、 第二方面或者各个方面的各种可能的设计所述 的方法。 本公开实施例提供视频生成方法以及视频生成 模型的训练方法,该视频生成方法包括:获 取第一视频;第一视频中包括第一对象图像; 将第一视频输入预先训练好的视频生成模型, 得 到第二视频; 视频生成模型基于目标图像和多张第一样本图 像得到的多个样本图像对进行训 练得到,第二视频中的对象图像基于目标图像 中的预设动物图像和第一对象图像生成,第二 视 频的背景图像基于第一视频的第一背景图像生 成。在上述方法中,第二视频中的对象图像为 在 预设动物图像和第一对象图像较好结合的基础 上得到的, 而且第二视频的背景图像基于第一 视频的第一背景图像生成, 而不是简单地将第一对象图像替换为预设动物 图像得到第二视频 中的对象图像, 因此可以提高第二视频的质量。 附图说明 此处的附图被并入说明书中并构成本说明书的 一部分, 示出了符合本公开的实施例, 并 与说明书一起用于解释本公开的原理。 图 1为本公开实施例提供的视频生成方法的应用 景示意图; 图 2为本公开提供的视频生成方法的流程图; 图 3为本公开提供的视频生成模型的训练方法的 程图; 图 4为本公开实施例提供的第一样本背景图像的 意图; 图 5为本公开实施例提供的得到第三样本图像的 意图; 图 6为本公开实施例提供的得到第二样本图像的 意图; 图 7为本公开实施例提供的确定第二样本图像的 法流程图; 图 8为本公开实施例提供的两个第二样本图像的 意图; 图 9为本公开实施例提供的一种图像的生成装置 结构示意图; 图 10为本公开实施例提供的另一种图像的生成装 的结构示意图; 图 11为本公开提供的视频生成装置的结构示意图 图 12为本公开提供的视频生成模型的训练装置的 构示意图; 图 13为本公开实施例提供的电子设备的硬件示意 ; 图 14为本公开实施例提供的模型训练设备的硬件 意图。 通过上述附图, 巳示出本公开明确的实施例, 后文中将有更详细的描述。 这些附图和文 字描述并不是为了通过任何方式限制本公开构 思的范围, 而是通过参考特定实施例为本领域 技术人员说明本公开的概念。 具体实施方式 这里将详细地对示例性实施例进行说明,其示 例表示在附图中。下面的描述涉及附图时, 除非另有表示,不同附图中的相同数字表示相 同或相似的要素。以下示例性实施例中所描述 的 实施方式并不代表与本公开相一致的所有实施 方式。相反,它们仅是与如所附权利要求书中 所 详述的、 本公开的一些方面相一致的装置和方法的例子 。 在相关技术中,在相关技术中,设计师设计出 3D动物脸部图像道具(或者 3D动物头套) 作为其他特定动物的脸部图像, 并采用 3D动物图像道具 (或者 3D动物头套) 替换视频中包 括的家庭宠物的面部图像, 以得到新视频。在上述过程中, 采用 3D动物脸部图像道具(或者 3D动物头套)替换视频中包括的家庭宠物的面 图像, 得到新视频, 导致在新视频中, 3D动 物脸部图像道具(或者 3D动物头套)和家庭宠物的面部图像的结合性 , 进而导致新视频的 质量较差。 在本公开中,为了提高新视频的质量,发明人 想到,采用一种数据计算量小的视频生成模 型, 对第一视频进行处理, 得到第二视频(为新的视频)。 在第二视频中, 第二视频中的对象 图像基于目标图像中预设动物图像和第一对象 图像的生成, 使得预设动物图像和第一对象图 像的结合性较好, 进而提高第二视频的质量。 下面以预设动物图像为老虎图像、 第一对象图像为宠物狗图像为例结合图 1 对本公开提 供的视频生成方法的应用场景进行说明。 图 1为本公开实施例提供的视频生成方法的应用 景示意图。 如图 1所示, 包括: 目标 图像、 多张第一样本图像、 初始视频生成模型、 视频生成模型、 原始图像和生成图像。 视频生成模型为采用多个样本图像对训练初始 视频生成模型之后得到的。其中,多个样本 图像对基于目标图像和多张第一样本图像得到 。 视频生成模型用于对原始图像进行处理,得到 生成图像。生成图像具有目标图像和原始图 像的特征。 下面以具体地实施例对本公开的技术方案以及 本公开的技术方案如何解决上述技术问题 进行详细说明。下面这几个具体的实施例可以 相互结合,对于相同或相似的概念或过程可能 在 某些实施例中不再赘述。 下面将结合附图, 对本公开的实施例进行描述。 图 2为本公开提供的视频生成方法的流程图。 如图 2所示, 该方法包括:

S201 , 获取第一视频, 第一视频中包括第一对象图像。 可选地, 本公开的执行主体可以为电子设备, 也可以为设置在电子设备中的视频生成装 置, 该视频生成装置可以通过软件和 /或硬件的结合来实现。硬件包括但不限于 GPU(graphics processing unit,图形处理器)o GPU的计算速度可以较快,也可以较慢。在本公 开中,由于 GPU 的计算速度可以较快,也可以较慢,因此使得 能够部署本公开提供的视频生成方法的电子设 备 的范围较广。 例如, 当 GPU的计算速度较慢时, 电子设备可以为 PDA(Personal Digital Assistant, 个人 数字助理)、 UE (User Equipment, 用户设备)。 用户设备例如可以为智能手机等。 可选地,第一视频可以为电子设备实时采集到 的视频,也可以为预先存储在电子设备中的 视频。 第一视频中包括 N帧原始图像。 N为大于或等于 2的整数。 可选地, 第一对象图像可以为原始图像中的动物图像、 人物图像。 S202, 将第一视频输入预先训练好的视频生成模型, 得到第二视频。 视频生成模型基于目标图像和多张第一样本图 像得到的多个样本图像对进行训练得到。 第二视频中的对象图像基于目标图像中的预设 动物图像和第一对象图像生成, 第二视频 的背景图像基于第一视频的第一背景图像生成 。 第二视频中包括 N帧生成图像(包括 N帧原始图像各自对应的生成图像)。具体的 针对 第一视频中的每帧原始图像,视频生成模型对 原始图像进行处理,得到第二视频中与原始图 像 对应的生成图像。 可选地,预设动物图像可以为十二生肖中的任 意一种动物的图像,也可以为其他动物的图 像。 当第一对象图像为动物图像时, 第一对象图像指示的动物和预设动物图像指示 的动物可 以不同。 例如,当预设动物图像指示的动物为老虎时, 第一对象图像指示的动物可以猫、狗、鹿等。 与现有技术不同, 在现有技术中, 采用 3D动物脸部图像道具替换视频中包括的家庭宠 的面部图像, 使得 3D动物脸部图像道具和家庭宠物的面部图像的 合性差、 真实度低, 降低 了新视频的质量。 而在本公开的图 2 实施例提供的视频生成方法中, 第二视频中的对象图像为在预设动物 图像和第一对象图像较好结合的基础上得到的 , 而且第二视频的背景图像基于第一视频的第 一背景图像生成,并不是直接将第一对象图像 替换为预设动物图像, 因此预设动物图像和第一 对象图像的结合性好、 真实度高, 因此提高了第二视频的质量。 在上述实施例的基础上, 下面结合图 3对视频生成模型的训练方法进行说明。具体 , 请 参见图 3实施例。 图 3为本公开提供的视频生成模型的训练方法的 程图。 如图 3所示, 该方法包括:

5301 , 获取多张第一样本图像、 以及目标图像。 可选地,视频生成模型的训练方法的执行主体 可以为电子设备,也可以为设置在电子设备 中的视频生成模型的训练装置,还可以为服务 器、或者设置在服务器中的视频生成模型的训 练 装置。 其中, 视频生成模型的训练装置可以通过软件和 /或硬件的结合来实现。 第一样本图像中包括第一样本对象图像。 第一样本对象图像可以为人物图像、 或者动物图像。 目标图像中包括预设动物图像。 当第一样本对象图像为动物图像时, 第一样本对象图像指示的动物和预设动物图像 指示 的动物可以不同。

5302, 确定每个第一样本图像对应的第一样本背景图 像。 针对每个第一样本图像,可以通过如下方法得 到第一样本背景图像:获取第一样本图像中 除第一样本对象图像之外的初始背景图像;对 初始背景图像进行背景补充处理,得到第一样 本 图像对应的第一样本背景图像。 在第一样本图像中, 初始背景图像和第一样本对象图像不重 叠。 可选地,通过预设图像分割模型,对第一样本 图像进行图像分割处理,得到初始背景图像。 可选地, 通过预设背景补全模型, 对初始背景图像进行背景补充处理, 得到第一样本图像 对应的第一样本背景图像。 下面结合图 4,对得到第一样本背景图像的示意图进行说明 图 4为本公开实施例提供的 第一样本背景图像的示意图。如图 4所示, 包括: 第一样本图像、 以及第一样本图像对应的第 一样本背景图像。 需要说明的是, 图 4是以第一样本对象图像指示的动物为猫进行 例性说 明的。

S303 ,针对每个第一样本图像,根据第一样本图像 目标图像和对应的第一样本背景图像, 生成第二样本图像; 将第一样本图像和第二样本图像, 确定为样本图像对。 其中, 第二样本图像中的对象图像基于目标图像中的 预设动物图像和第一样本图像中的 第一样本对象图像生成, 第二样本图像的背景图像基于对应的第一样本 背景图像生成。 在一种可能的设计中,可采用如下方法生成第 二样本图像:通过预设图像生成模型,对第 一样本图像和目标图像进行处理,得到第三样 本图像;获取第三样本图像中的对象图像的对 象 前景图; 根据对象前景图和第一样本背景图像, 确定第二样本图像。 需要说明的是, 第三样本图像中对象图像的面部图像的表情特 征和第一样本对象图像的 面部图像的表情特征的相似度大于或等于第一 阈值, 对象图像的面部图像的姿色特征和第一 样本对象图像的面部图像的姿色特征的相似度 大于或等于第二阈值, 对象图像的面部图像的 五官位置与第一样本对象图像的面部图像的五 官位置的相似度大于或等于第三阈值。 可选地, 预设图像生成模型可以为预先得到的 StarGANv2 (Diverse Image Synthesis for Multiple Domains, 多域的多样化图像合成) 模型或者或者 PIVQGAN (Posture and Identity isentangled Image-to-Image Translation via Vector Quantization, 通过矢量量化进行姿势和身份解 耦的图像到图像转换) 模型。 下面结合图 5对通过预设图像生成模型得到第三样本图像 行说明。 图 5为本公开实施 例提供的得到第三样本图像的示意图。如图 5所示, 包括: 第一样本图像、 目标图像、第三样 本图像、预设图像生成模型。预设图像生成模 型对输入的第一样本图像和目标图像进行处理 , 得到第三样本图像。 第三样本图像的背景图像和目标图像中的背景 图像相同。 在本公开中,通过预设图像生成模型对目标图 像和第一样本图像进行处理,使得目标图像 和第一样本图像的结合性较好, 从而提高第三样本图像的质量, 进而提高第二样本图像的质 量。 可选地, 通过预设图像分割模型, 对第三样本图像进行分割处理, 得到对象前景图。 可选地, 可以通过如下方式 11和方式 12确定第二样本图像。 方式 11 ,对对象前景图和第一样本背景图像进行融合 理,得到第二样本图像。可选地, 可以基于透明度混合(alpha blending)方法,对对象前景图和第一样本背景 像进行融合处理, 得到第二样本图像。 在本公开中, 对第三样本图像中的对象图像的对象前景图和 第一样本背景图像进行融合 处理,可以使得对象前景图和第一样本背景图 像较好的结合在一起,进而提高第二样本图像 的 质量。 方式 12, 根据对象前景图的尺寸和对象前景图在第三样 本图像中的位置, 对第一样本背 景图像进行剪切处理,得到第二样本背景图像 ;将对象前景图填充至第二样本背景图像中, 得 到第二样本图像。其中,第三样本图像和第一 样本图像的尺寸相同。下面结合图 6对基于方式 12, 得到第二样本图像进行示例性说明。 图 6为本公开实施例提供的得到第二样本图像的 意图。如图 6所示, 包括: 对象前景图、第一样本背景图像、第二样本背 景图像和第二样本图 像。第二样本背景图像为对第一样本背景图像 进行剪切处理之后得到的,第二样本图像在第 二 样本背景图像中填充对象前景图之后得到的。

S304, 根据多个样本图像对, 对初始视频生成模型进行训练, 以得到视频生成模型。 每个样本图像对中包括一个第一样本图像和该 第一样本图像对应的第二样本图像。 可选地, 初始视频生成模型可以为 Pix2pix模型。 在现有技术中,对于第一样本图像, 需要人工绘制与第一样本图像对应的样本图像 ,从而 得到样本图像对。由于现有技术中需要人工绘 制与第一样本图像对应的样本图像,因此导致 得 到样本图像对的人工成本和时间成本较高。 而在图 3 实施例提供的视频生成模型的训练方法中, 根据第一样本图像、 目标图像和对 应的第一样本背景图像, 生成第一样本图像对应的第二样本图像, 无需人工绘制第二样本图 像, 因此能够降低得到样本图像对的人工成本和时 间成本。 需要说明的是, 本公开还提供一种根据对象前景图和第一样本 背景图像确定第二样本图 像的方法, 下面结合图 7对确定第二样本图像的另一种方法进行说明 图 7为本公开实施例提供的确定第二样本图像的 法流程图。如图 7所示,该方法包括:

5701 , 对对象前景图和第一样本背景图像进行融合处 理, 得到第四样本图像。 可选地, 可以通过上述方式 11或者方式 12的方法, 对对对象前景图和第一样本背景图 像进行融合处理得到第四样本图像。

5702, 获取第四样本图像和第一样本图像的色彩差异 信息。 其中, 色彩差异信息包括 R通道对应的第一色彩值、 G通道对应的第一色彩值和 B通道 对应的第一色彩值。 可选地, 可以采用如下方法, 得到色彩差异信息: 对第四样本图像包括的像素的色彩值进行统计 处理,得到 R通道对应的第二色彩值、 G通 道对应的第二色彩值和 B通道对应的第二色彩值; 对第一样本图像包括的像素的色彩值进行统计 处理,得到 R通道对应的第三色彩值、 G通 道对应的第三色彩值和 B通道对应的第三色彩值; 将 R通道对应的第二色彩值和 R通道对应的第三色彩值的差值, 确定为 R通道对应的第 一色彩值; 将 G通道对应的第二色彩值与 G通道对应的第三色彩值的差值,确定为 G通道对应的第 一色彩值; 将 B通道对应的第二色彩值与 B通道对应的第三色彩值的差值, 确定为 B通道对应的第 一色彩值。 可选地, 在 S702还可以包括: 判断第四样本图像和第一样本图像的色彩格式 是否均为 RGB 格式, 若是, 则获取第四样本图像和第一样本图像的色彩差 异信息; 否则, 确定对非 RGB格式的样本图像(第四样本图像和 /或第一样本图像)的目标色彩格 式,根据目标色彩格式与 RGB格式之间的映射关系,将非 RGB格式的样本图像,转化为 RGB 格式的样本图像, 进而获取第四样本图像和第一样本图像的色彩 差异信息。 例如, 当第四样本图像和第一样本图像的色彩格式为 均为 YUV格式时, 将根据 YUV格 式和 RGB格式之间的映射关系, 将第四样本图像和第一样本图像的色彩格式转 化为 RGB格 式, 进而获取第四样本图像和第一样本图像的色彩 差异信息。

5703 , 根据色彩差异信息, 对第四样本图像进行色彩调整, 得到第二样本图像。 可选地,可以通过如下方式对第四样本图像进 行色彩调整得到第二样本图像:针对第四样 本图像中包括的每个像素, 根据色彩差异信息包括的 R通道对应的第一色彩值、 G通道对应 的第一色彩值和 B通道对应的第一色彩值,对像素的色彩值进 调整,以得到第二样本图像。 可选地, 可以通过如下方式 21和方式 22对像素的色彩值进行调整。 方式 21 , 针对第四样本图像中包括的每个像素: 将像素的色彩值中 R通道对应的初始色彩值和 R通道对应的第一色彩值之和, 确定为像 素的色彩值在 R通道的目标色彩值; 将像素的色彩值中 G通道对应的初始色彩值和 G通道对应的第一色彩值之和, 确定为像 素的色彩值在 G通道的目标色彩值; 将像素的色彩值中 B通道对应的初始色彩值和 B通道对应的第一色彩值之和, 确定为像 素的色彩值在 B通道的目标色彩值; 在第二样本图像中, 像素的色彩值包括在 R通道的目标色彩值、 在 G通道的目标色彩值 和在 B通道的目标色彩值。 方式 22, 针对第四样本图像中包括的每个像素: 确定像素的色彩值中 R通道对应的初始色彩值和 R通道对应的第一色彩值的第一和值; 将第一和值和第一预设权重的乘积, 确定为像素的色彩值在 R通道的目标色彩值; 确定像素的色彩值中 G通道对应的初始色彩值和 G通道对应的第一色彩值的第二和值; 将第二和值和第二预设权重的乘积, 确定为像素的色彩值在 G通道的目标色彩值; 确定像素的色彩值中 B通道对应的初始色彩值和 B通道对应的第一色彩值的第三和值; 将第三和值和第三预设权重的乘积, 确定为像素的色彩值在 B通道的目标色彩值; 在第二样本图像中, 像素的色彩值包括在 R通道的目标色彩值、 在 G通道的目标色彩值 和在 B通道的目标色彩值。 可选地, 第一预设权重、 第二预设权重、 第三预设权重的可以相同、 也可以为不相同。 在图 7实施例提供的确定第二样本图像的方法中, 获取第四样本图像和第一样本图像的 色彩差异信息, 根据色彩差异信息, 对第四样本图像进行色彩调整, 得到第二样本图像, 可以 保障第二样本图像中的对象图像和第一样本对 象图像具有相匹配的特征, 进而提高了第二样 本图像的质量。例如第一样本对象图像指示的 动物为深色毛发动物时,第二样本图像中的对 象 图像指示的动物也为深色毛发动物。例如第一 样本对象图像指示的动物为浅色毛发动物时, 第 二样本图像中的对象图像指示的动物也为浅色 毛发动物。 进一步地,在本公开中, 由于提高了第二样本图像的质量, 因此在基于第二样本图像确定 的样本图像对,得到视频生成模型时,可以提 高视频生成模型的准确性,进而提高得到第二 视 频的质量。 图 8为本公开实施例提供的两个第二样本图像的 意图。 如图 8所示, 包括: 第一样本 图像 81、 第二样本图像 82、 第一样本图像 83和第二样本图像 84。 其中, 第一样本图像 81与 第二样本图像 82对应, 第一样本图像 83与第二样本图像 84对应。 需要说明的是, 图 8中所 使用的目标图像为图 1中所示的目标图像。 第一样本图像 81 中的第一样本对象图像指示的动物为深色毛发 动物, 第二样本图像 82 中的对象图像指示的动物也为深色毛发动物。 第一样本图像 83 中的第一样本对象图像指示的动物为浅色毛发 动物, 第二样本图像 84 中的对象图像指示的动物也为浅色毛发动物。 与现有技术不同, 在现有技术中, 采用 3D动物脸部图像道具替换视频中包括的家庭宠 的面部图像, 存在 3D动物脸部图像道具无法自适应家庭宠物的面 图像的问题(例如: 根据 家庭宠物的面部图像中鼻子的长短, 调整 3D动物脸部图像道具中动物鼻子的长短), 因此导 致生成的新视频的质量差。 而在本公开中,根据图 8中所示的第一样本图像 81和第二样本图像 82、 以及图 1中的目 标图像可知, 目标图像中的预设对象图像的面部图像可以基 于第一样本图像 81中第一样本对 象图像的面部图像进行自适调整, 从而使得第二样本图像和第一样本图像具有较 高的匹配度, 提高了第二样本图像的质量。 图 9为本公开实施例提供的一种图像的生成装置 结构示意图。 图 9所示的生成装置可 以用于得到第二样本图像。 如图 9所示, 该装置包括: 预设图像分割模块 91、 预设背景补全 模块 92、 预设图像生成模块 93和前背景融合模块 94。 预设图像分割模块 91 用于通过预设图像分割模型, 对第一样本图像进行图像分割处理, 得到第一样本图像中除第一样本对象图像之外 的初始背景图像。 预设背景补全模块 92用于通过预设背景补全模型对初始背景图像 行背景补充处理, 得 到第一样本背景图像。 预设图像生成模块 93用于对第一样本图像和目标图像进行处理, 得到第三样本图像。 预设图像分割模块 91还用于通过预设图像分割模型 ,对第三样本图像进行图像分割处理, 得到对象前景图。 前背景融合模块 94用于对对象前景图和第一样本背景图像进行 合处理, 得到第二样本 图像。 图 10为本公开实施例提供的另一种图像的生成装 的结构示意图。 图 10所示的生成装 置可以用于得到第二样本图像。 如图 10所示, 该装置包括: 预设图像分割模块 101、 预设背 景补全模块 102、 预设图像生成模块 103、 前背景融合模块 104和色彩处理模块 105。 预设图像分割模块 101用于通过预设图像分割模型,对第一样本图 像进行图像分割处理, 得到第一样本图像中除第一样本对象图像之外 的初始背景图像。 预设背景补全模块 102用于通过预设背景补全模型对初始背景图像 进行背景补充处理, 得到第一样本背景图像。 预设图像生成模块 103用于对第一样本图像和目标图像进行处理, 得到第三样本图像。 预设图像分割模块 101 还用于通过预设图像分割模型, 对第三样本图像进行图像分割处 理, 得到对象前景图。 前背景融合模块 104用于对对象前景图和第一样本背景图像进行 融合处理, 得到第四样 本图像。 色彩处理模块 105用于获取第四样本图像和第一样本图像的色 彩差异信息, 并根据色彩 差异信息, 对第四样本图像进行色彩调整, 得到第二样本图像。 图 11为本公开提供的视频生成装置的结构示意图 如图 11所示,视频生成装置 20包括: 处理模块 201; 处理模块 201用于: 获取第一视频; 第一视频中包括第一对象图像; 将第一视频输入预先训练好的视频生成模型, 得到第二视频;视频生成模型基于目标图像 和多张第一样本图像得到的多个样本图像对进 行训练得到, 第二视频中的对象图像基于目标 图像中的预设动物图像和第一对象图像生成, 第二视频的背景图像基于第一视频的第一背景 图像生成。 本公开实施例提供的视频生成装置 20可以执行上述视频生成方法, 其实现原理以及有益 效果类似, 此处不再进行赘述。 在一种可能的设计中, 样本图像对包括第一样本图像和第一样本图像 对应的第二样本图 像; 第二样本图像基于第一样本图像、 目标图像和第一样本图像对应的第一样本背景 图像得 到。 在一种可能的设计中,第一样本图像中包括第 一样本对象图像和初始背景图像;第一样本 对象图像和初始背景图像不重叠; 第一样本背景图像为对初始背景图像进行背景 补充处理之 后的图像。 在一种可能的设计中, 第二样本图像基于第一样本背景图像和第三样 本图像中的对象图 像的对象前景图得到;第三样本图像基于第一 样本图像和目标图像得到,第三样本图像中的 对 象图像基于预设动物图像和第一样本对象图像 生成。 在一种可能的设计中, 第二样本图像为对第一样本背景图像和对象前 景图进行融合处理 得到。 在一种可能的设计中,第二样本图像基于色彩 差异信息和第四样本图像得到;色彩差异信 息基于第四样本图像和第一样本图像得到; 第四样本图像基于对象前景图和第一样本背景 图 像得到。 在一种可能的设计中, 色彩差异信息包括 R通道对应的第一色彩值、 G通道对应的第一 色彩值和 B通道对应的第一色彩值; R通道对应的第一色彩值基于 R通道对应的第二色彩值 与 R通道对应的第三色彩值得到, G通道对应的第一色彩值基于 G通道对应的第二色彩值与 G 通道对应的第三色彩值得到, B通道对应的第一色彩值基于 B通道对应的第二色彩值与 B 通道对应的第三色彩值得到; R通道对应的第二色彩值、 G通道对应的第二色彩值、 B通道对 应的第二色彩值分别基于第四样本图像包括的 像素的色彩值得到; R通道对应的第三色彩值、 G 通道对应的第三色彩值、 B 通道对应的第三色彩值分别基于第一样本图像 包括的像素的色 彩值得到。 本公开实施例提供的视频生成装置 20可以执行上述视频生成方法, 其实现原理以及有益 效果类似, 此处不再进行赘述。 图 12为本公开提供的视频生成模型的训练装置的 构示意图。 如图 12所示, 视频生成 模型的训练装置 30包括: 处理模块 301; 处理模块 301用于: 获取多张第一样本图像、 以及目标图像; 确定每个第一样本图像对应的第一样本背景图 像; 针对每个第一样本图像,根据第一样本图像、 目标图像和对应的第一样本背景图像,生成 第二样本图像;将第一样本图像和第二样本图 像,确定为样本图像对;第二样本图像中的对 象 图像基于目标图像中的预设动物图像和第一样 本图像中的第一样本对象图像生成, 第二样本 图像的背景图像基于对应的第一样本背景图像 生成; 根据多个样本图像对, 对初始视频生成模型进行训练, 以得到视频生成模型。 本公开实施例提供的视频生成模型的训练装置 30可以执行上述视频生成模型的训练方法, 其实现原理以及有益效果类似, 此处不再进行赘述。 在一种可能的设计中,处理模块 301具体用于:针对每个第一样本图像,获取第 一样本图 像中除第一样本对象图像之外的初始背景图像 ;对初始背景图像进行背景补充处理,得到第 一 样本图像对应的第一样本背景图像。 在一种可能的设计中,处理模块 301具体用于:通过预设图像生成模型,对第一 样本图像 和目标图像进行处理,得到第三样本图像;第 三样本图像中的对象图像基于预设动物图像和 第 一样本对象图像生成;获取第三样本图像中的 对象图像的对象前景图;根据对象前景图和第 一 样本背景图像, 确定第二样本图像。 在一种可能的设计中,处理模块具体用于:对 对象前景图和第一样本背景图像进行融合处 理, 得到第二样本图像。 在一种可能的设计中, 处理模块 301 具体用于: 对对象前景图和第一样本背景图像进行 融合处理,得到第四样本图像; 获取第四样本图像和第一样本图像的色彩差异 信息;根据色彩 差异信息, 对第四样本图像进行色彩调整, 得到第二样本图像。 在一种可能的设计中, 色彩差异信息包括 R通道对应的第一色彩值、 G通道对应的第一 色彩值和 B通道对应的第一色彩值; 处理模块 301具体用于: 对第四样本图像包括的像素的 色彩值进行统计处理, 得到 R通道对应的第二色彩值、 G通道对应的第二色彩值和 B通道对 应的第二色彩值; 对第一样本图像包括的像素的色彩值进行统计 处理, 得到 R通道对应的第 三色彩值、 G通道对应的第三色彩值和 B通道对应的第三色彩值; 将 R通道对应的第二色彩 值和 R通道对应的第三色彩值的差值, 确定为 R通道对应的第一色彩值; 将 G通道对应的第 二色彩值与 G通道对应的第三色彩值的差值, 确定为 G通道对应的第一色彩值; 将 B通道对 应的第二色彩值与 B通道对应的第三色彩值的差值, 确定为 B通道对应的第一色彩值。 在一种可能的设计中,处理模块 301具体用于:针对第四样本图像中包括的每个 像素,根 据色彩差异信息包括的 R通道对应的第一色彩值、 G通道对应的第一色彩值和 B通道对应的 第一色彩值, 对像素的色彩值进行调整, 以得到第二样本图像。 本公开实施例提供的视频生成模型的训练装置 30可以执行上述视频生成模型的训练方法, 其实现原理以及有益效果类似, 此处不再进行赘述。 图 13为本公开实施例提供的电子设备的硬件示意 。 如图 13所示, 电子设备 40可以包 括: 收发器 401、 存储器 402和处理器 403。 其中, 收发器 401可以包括: 发射器和 /或接收器。 发射器还可称为发送器、 发射机、 发 送端口或发送接口等类似描述。接收器还可称 为接收器、接收机、接收端口或接收接口等类 似 描述。 示例性地, 收发器 401、 存储器 402、 处理器 403各部分之间通过总线 404相互连接。 存储器 402用于存储计算机执行指令。 处理器 403用于执行存储器 402存储的计算机执行指令, 使得处理器 403执行上述视频 生成方法。 图 14为本公开实施例提供的模型训练设备的硬件 意图。 可选地, 模型训练设备可以为 上述电子设备, 可以为上述服务器。 如图 14所示, 模型训练设备 50可以包括: 收发器 501、 存储器 502和处理器 503。 其中, 收发器 501可以包括: 发射器和 /或接收器。 发射器还可称为发送器、 发射机、 发 送端口或发送接口等类似描述。接收器还可称 为接收器、接收机、接收端口或接收接口等类 似 描述。 示例性地, 收发器 501、 存储器 502、 处理器 503各部分之间通过总线 504相互连接。 存储器 502用于存储计算机执行指令。 处理器 503用于执行存储器 502存储的计算机执行指令, 使得处理器 503执行上述视频 生成模型的训练方法。 本公开实施例提供一种计算机可读存储介质, 计算机可读存储介质中存储有计算机执行 指令,当计算机执行指令被处理器执行时实现 上述视频生成方法、以及视频生成模型的训练 方 法。 本公开实施例还提供一种计算机程序产品,包 括计算机程序,该计算机程序被处理器执行 时, 可实现上述视频生成方法、 以及视频生成模型的训练方法。 本公开实施例还提供一种计算机程序,该计算 机程序被处理器执行时,可实现上述视频生 成方法、 以及视频生成模型的训练方法。 实现上述各方法实施例的全部或部分步骤可以 通过程序指令相关的硬件来完成。 前述的 程序可以存储于一可读取存储器中。该程序在 执行时,执行包括上述各方法实施例的步骤; 而 前述的存储器(存储介质)包括: ROM( read-only memory ,只读存储器)> RAM( Random Access Memory,随机存取存储器)、快闪存储器、硬盘 固态硬盘、磁带( magnetic tape)>软盘(floppy disk)、 光盘 (optical disc) 及其任意组合。 本公开实施例是参照根据本公开实施例的方法 、 设备 (系统)、 和计算机程序产品的流程 图和 /或方框图来描述的。 应理解可由计算机程序指令实现流程图和 /或方框图中的每一流 程和 /或方框、以及流程图和 /或方框图中的流程和 /或方框的结合。可提供这些计算机程序 指令到通用计算机、专用计算机、嵌入式处理 机或其他可编程数据处理设备的处理单元以产 生 一个机器, 使得通过计算机或其他可编程数据处理设备的 处理单元执行的指令产生用于实现 在流程图一个流程或多个流程和 /或方框图一个方框或多个方框中指定的功能 装置。 这些计算机程序指令也可存储在能引导计算机 或其他可编程数据处理设备以特定方式工 作的计算机可读存储器中, 使得存储在该计算机可读存储器中的指令产生 包括指令装置的制 造品, 该指令装置实现在流程图一个流程或多个流程 和 /或方框图一个方框或多个方框中指 定的功能。 这些计算机程序指令也可装载到计算机或其他 可编程数据处理设备上, 使得在计算机或 其他可编程设备上执行一系列操作步骤以产生 计算机实现的处理, 从而在计算机或其他可编 程设备上执行的指令提供用于实现在流程图一 个流程或多个流程和 /或方框图一个方框或多 个方框中指定的功能的步骤。 显然, 本领域的技术人员可以对本公开实施例进行各 种改动和变型而不脱离本公开的精 神和范围。这样,倘若本公开实施例的这些修 改和变型属于本公开权利要求及其等同技术的 范 围之内, 则本公开也意图包含这些改动和变型在内。 在本公开中, 术语 “包括 ”及其变形可以指非限制性的包括; 术语 “或 ”及其变形可以指 “和 /或”。本本公开中术语 “第一”、 “第二”等是用于区别类似的对象, 而不必用于描述特定 的顺序或先后次序。 本公开中, “多个 ”是指两个或两个以上。 “和 /或”, 描述关联对象的关联 关系, 表示可以存在三种关系, 例如, A和/或 B, 可以表示: 单独存在 A, 同时存在 A和 B, 单独存在 B这三种情况。 字符 “/”一般表示前后关联对象是一种 “或” 的关系。 本领域技术人员在考虑说明书及实践这里公开 的发明后, 将容易想到本公开的其它实施 方案。本公开旨在涵盖本公开的任何变型、用 途或者适应性变化, 这些变型、用途或者适应性 变化遵循本公开的一般性原理并包括本公开未 公开的本技术领域中的公知常识或惯用技术手 段。说明书和实施例仅被视为示例性的,本公 开的真正范围和精神由下面的权利要求书指出 。 应当理解的是,本公开并不局限于上面巳经描 述并在附图中示出的精确结构,并且可以在 不脱离其范围进行各种修改和改变。 本公开的范围仅由所附的权利要求书来限制。