Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
IMAGE PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE, AND STORAGE MEDIUM
Document Type and Number:
WIPO Patent Application WO/2023/239300
Kind Code:
A1
Abstract:
Provided are an image processing method and apparatus, an electronic device, and a storage medium. The image processing method comprises: obtaining an original image of a target object to undergo processing, where a preset element in the original image is displayed using a first display format; inputting the original image into a pre-trained element removal processing model to obtain a preset element-removed image of the target object, and pairing, for the preset element-removed image, a corresponding template image of the preset element being displayed using a second display format on the basis of a preset attribute parameter of the target object; inputting the preset element-removed image, the template image, and a mask image of the preset element in the template image into a preset image element transfer model to obtain a target image of the target object, where the preset element in the target image is displayed using the second display format.

Inventors:
WAN YANGYUE (US)
LI LIN (CN)
SHEN XIAOHUI (US)
Application Number:
PCT/SG2023/050395
Publication Date:
December 14, 2023
Filing Date:
June 01, 2023
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
LEMON INC (SG)
International Classes:
G06N3/0475; G06T5/00
Foreign References:
EP3723050A12020-10-14
US20220101577A12022-03-31
CN111563868A2020-08-21
CN111814566A2020-10-23
Attorney, Agent or Firm:
POH, Chee Kian, Daniel (SG)
Download PDF:
Claims:
权 利 要 求 书

1、 一种图像处 理方法 , 包括: 获取 待处理 的目标对 象的原 始图像 , 其中, 所述原始图像 中的预设 元素 以 第一 展示形 式进行展 示; 将所 述原始 图像输入 至经过 预训练 的元素去 除处理 模型, 得到所述目标对 象 的预设元 素去除 图像, 并基于所 述目标 对象的预 设属性 参数为 所述预设 元素 去除 图像匹 配对应的 所述预设 元素以 第二展示 形式进 行展示的 模板图像 ; 将所 述预设 元素去 除图像 、 所述模板图像和 所述模 板图像 中的所 述预设元 素 的掩膜图像 输入至 预设图像 元素迁移 模型 中, 得到所述目标对 象的 目标图像, 其 中, 所述目标图像 中所述预 设元素 以所述第 二展示 形式进行 展示。

2、 根据权利要 求 1所述的方法, 其中, 所述预设图像元素 迁移模型 对输入 图像 进行图像 处理的 过程 , 包括: 通过 所述预设 图像元 素迁移 模型的预 设图像 编码器 对所述预 设元素 去除 图 像 . 所述 .模板图像和所述掩膜图像进行特 征融合 得到 目标特征编 码; 通过 所述预设 图像元 素迁移 模型的 图像解码 器对所 述目标 特征编码 进行解 码得 到所述 目标图像 , 其中, 所述图像解码器 为经过预 训练的 图像生成 器。

3、 根据权利要 求 2 所述的方法, 其中, 所述 .预设图像编码器的训练 过程, 包括 : 将预 设对象 的无预设 元素样 本图像 、 与所述无预设 元素图 像匹配 的预设元 素 的预设展 示形式模 板样本 图以及 所述模 板样本 图中的预 设元素 的掩膜样 本图 组成 模型训 练样本对 ; 将所 述模型训 练样本对 输入至 初始图像 编码器 中, 得到初始图像 特征编码; 将所 述初始 特征编码 输入到 所述图 像解码 器中, 得到初始 解码图像 , 并根 据所 述初始 解码图像 与所述 横板样 本图之 间的损 失迭代更 新所述 初始图像 编码 器 , 得到所述预设图 像编码器 。

4、 根据权利要 求 1所述的方法, 其中, 所述基于所述目标对 象的预 设属性 参数 为所述 预设元 素去除 图像匹配 对应的 所述预设 元素以 第二展 示形式进 行 •展 示 的模板图像 , 包括: 识别 所述目标 对象的 头部姿态 数据和 面部关键 点信息 ; 基于 所述头 部姿态数 据和所 述面部 关键点信 息, 在所述预 设元素 以所述 第 二展 示形式 进行展 示的多 角度展示 图像模 板集合 中, 匹配与所述 预设元 素去除 图像 对应的 .模板图像。 5、 根据权利要 求 1所述的方法, 在所述为所 述预设元 素去除 图像匹配 对应 的所 述预设 元素以第 二展示 形式进行展 示的模 板图像之 后, 还包括: 基于 所述 目标对象 的面部几 何形状 , 对所述模板 图像中的 面部形 状进行 图 像校 正。

6、 根据权利要 求 4所述 的方法 , 其中, 所述预设元素以所 述第二展 示形式 进 行展示的 多角度展 示图像模 板集合 的建立过 程包才舌: 获取 预先制 作的所述 预设元 素以所 述第二展 示形 式进行展 示的三 维头部模 邢 - 模拟 环绕拍摄 过程 , 在多个角度对 所述三 维头部模 型拍照 渲染, 得到多个 角度 的所述 预设元 素以所述 第二展 示形式 进行展 示的图像 , 以建立所述预 设元 素 以所述第 二展示形 式进行展 示的多 角度展示 图像模板 集合 。

7、 根据权利要 求 1所述的方法, 其中, 所述元素去除处理模 型是基 .于预设 元素 去除 图像样本 对进行训 练得到 的神经 网络模型 , 其中, 所述预设元素 去除 图像 样本对 中包括 包含有预 设元素 的对象 的原始样 本图像 , 以及与所述原 始样 本 图像对应 的不包含 所述预设 元素的 样本图像 。

8、 根据权利要 求 7所述 的方法, 其中, 所述不包含所述 预设元素 的样本 图 像 的获取过程 包括: 识别 所述 .原始样本图像中展示 所述预设 元素的 主体轮廓 ; 将位 于所述 主体轮廓 区域 内的所述 预设元 素的像素 点处理 为与所 述主体轮 廓 区域内的 非所述预 设元素 的像素 点的像 素信息一 致的像 素点, 并将位于所述 主体 轮廓 区域外的 所述预设 元素的 像素点 处理为 与所述主 体轮廓 区域外 的非所 述预 设元素 的像素 点的像素 信息一 致的像 素点, 得到所述 不包含 所述预设 元素 的样 本图像 。

9、 一种图像处 理装置 , 包括: 图像 获取模 块, 设置为获取 待处理 的目标 对象的原 始图像 , 其中, 所述原 始 图像中的预 设元素 以第一展 示形式 进行 •展示; 模板 匹配模 块 , 设置为将所述 原始图 像输入 至经过预 训练的 元素去 除处理 模型 , 得到所述 目标对象 的预设元 素去除 图像, 并基于所述目标 对象的预 设属 性参 数为所 述预设 元素去 除图像 匹配对应 的所述预 设元素 以第二 展示形 式进行 展示 的模板 图像; 图像 处理模 块 , 设置为将所述 预设元 素去除 图像、 所述模板 图像和 所述模 板 图像中的 所述预设 元素 的掩膜 图像输入 至预设 图像元素 迁移模 型中 , 得到所 述 目标对象 的目标 图像, 其中, 所述目标 图像中所 述预设 元素以 所述第二 展示 形式 进行展 示 O

10. 一种电子设备 , 包括: 至少 一个处理 器; 存储 装置, 设置为存储 至少一 个程序 ; 当所 述至少 一个程序 被所述 至少一 个处理 器执行 , 使得所述至少 一个处 理 器 实现如权 利要求 1-8中任一所述的 图像处理 方法。 行 时实现如权 利要求 1-8中任一所述 的图像处 理方法 。

12. 一种计算机程 序产 品, 包括承载在 非暂态 计算机可 读介质 上的计 算机 程序 ,所述计算机程 序包含 用于执行 如权利 要求 1-8中任一所述的 图像处理 方法 的程 序代码 。

Description:
图像 处理方 法、 装置、 电子设备及存 储介质 本 申请要求在 2022年 06月 10 EJ提交中国专利局、申请号为 20221065801 1.3 的 中国专利 申请的优 先权, 该申请的全部内容 通过引 用结合在 本申请 中。 技术 领域 本公 开涉及 图像处 理技术领 域, 例如涉及 图像处 理方法 , 装置. 电子设备 及存 储介质 。 背景 技术 发型 是个人 形象的 一个重要 组成部 分, 人们对于 尝试不 同的发型 有着广 泛 的 需求。 很多用户 多会通 过具有 变换发型 特效功 能的应用 体验 自己不同发 型的 样 子。 实现 发型变 换的方 法多是基 于计算 机视觉 和图形 学技术将 预先制 作的二 维 ( 2 Dimension, 2D ) 头发素材根据人脸图像 中的人脸 姿态贴在 头上。 但是, 该 发型 变换方 法中发 型材质及 光泽上 都与真 实头发 差别较 大, 发型迁移的效 果不 够真 实 自然, 特别是在原发 型图像 为侧脸 图像时 , 新的发型素材 应用会 受到限 制 , 发型迁移效果还 有待提 升。 发 明内容 本公 开提供 了图像 处理方 法、 装置、 电子设备及 存储介质 , 以实现在变 换 图像 中元素 展示形 式时, 变换展示形式后 的预设元 素与原 图中其 他元素 的贴合 度 更高, 使图像特效 处理的 效果更加 自然。 第一 方面, 本公开提 供了一种 图像处 理方法 , 该方法包括: 获取 待处理 的目标对 象的原 始图像 , 其中, 所述原始图像 中的预 设元素 以 第一 展示形 式进行展 示; 将所 述原始 图像输 入至经过 预训练 的元素 去除处 理模型 , 得到所述目标 对 象 的预设元 素去除 图像, 并基于所述目标 对象的预 设属性 参数为 所述预设 元素 去 除图像 匹配对应的 所述预设 元素以 第二展 示形式进 行展示 的模板图像 ; 将所 述预设 元素去 除图像 、 所述模板图像 和所述模 板图像 中的所 述预设 元 素 的掩膜图 像输入至 预设图像 元素迁 移模型 中, 得到所述目标对 象的 目标图像, 其 中, 所述目标图像 中所述预 设元素 以所述 第二展示 形式进行 展示。 第二 方面, 本公开还提 供了一 种图像 处理装置 , 该装置包括: 图像 获取模 块, 设置为获取 待处理 的目标 对象的原 始图像 , 其中, 所述原 始 图像中的预 设元素 以第一展 示形式 进行展示 ; 模板 匹配模 块 , 设置为将所述 原始 图像输入 至经过预 训练的 元素去 除处理 模型 , 得到所述 目标对象 的预设元 素去除 图像, 并基于所述目标 对象的预 设属 性 参数为所 述预设 元素去 除图像 匹配时应 的所述预 设元素 以第二 展示形 式进行 展示 的模板 图像; 图像 处理模 块, 设置为将所述 预设元 素去除 图像、 所述模板 图像和 所述模 板 图像中的 所述预设 元素 的掩膜 图像输入 至预设 图像元素 迁移模 型中, 得到所 述 目标对象 的目标 图像, 其中, 所述目标 图像中 所述预设 元素以 所述第二 展 .示 形 式进行展 示。 第三 方面, 本公开还提 供了一 种电子设 备, 所述电子设 备包括 : 一个 或多个处 理器; 存储 装置, 设置为存储 一个或 多个程序 ; 当所 述一个 或多个程 序被所 述一个 或多个 处理器执 行, 使得所述 一个或 多 个处 理器实 现上述的 图像处理 方法。 第四 方面, 本公开还提 供了一 种包含 计算机 可执行指 令的存 储介质 , 所述 计 算机可执 行指令在 由计算机 处理器 执行时用 于执行 上述的 图像处理 方法。 第五 方面, 本公开还提供 了一种计 算机程序 产品, 包括承载 在非暂 态计算 机可 读介质 上的计 算机程序 , 所述计算机 程序包含 用于执 行上述 的图像 处理方 法 的程序代码 。 附 图说明 图 1是本公开 实施例所提 4^的一种图像处理 方法流 程示意 图; 图 2是本公开 实施例所提 供的另 一种图像 处理方 法流程示 意图; 图 3是本公开 实施例所提 供的另 一种图像 处理方 法流程示 意图; 图 4是本公开实施 例所提 供的一种 预设 图像元素 迁移模型训 练过程 示意图 ; 图 5是本公开 实施例所提 供的一 种图像处 理装置 结构示意 图; 图 6是本公开 实施例所提 供的一 种电子设 备的结 构示意 图。 具体 实施方 式 下面 将参照 附图更详 细地描 述本公 开的实施 例。 虽然附图中显示 了本公开 的一 些实施 例, 然而本公开 可以通 过多种 形式来 实现, 提供这些 实施例是 为了 理解 本公开 。 本公开的附图及 实施例仅 用于示 例性作用 。 本公 开的方 法实施方 式中记载 的多个 步骤可 以按照不 同的顺序 执行 , 和/或 并行 执行。此外,方法实施 方式可 以包括 附加的步 骤 ■和 /或省略执行示出的步骤。 本公 开的范 围在此方 面不受 限制。 本文 使用的术 语 “包括 ”及其变形是开放性 包括,即 “包括”。术语 “基于 ”是“至 少部 分地基 于 "。 术语*一个实施例 ”表示 “至少一'个实施例"; 术语 "另一'实施例” 表示 “至少一个另外的 实施例 ”; 术语 “一些实施例 ”表示 “至少一些实施例 ”。 其他 术语 的相关 定.义将在下文描述 中给 出。 本公 开中提及 的 “第一七"第二 ”等概念仅用于对 不同的装 置、模块或 单元进. 行 区分, 并非用于 限定这些 装置 、 模块或单元所执 行的功 能的顺 序或者相 互依 存 关系。 本公 开中提及 的 “一个" ” “多个 "的修饰是示意性而非限制性 的 , 本领域技术 人 员应当理解 , 除非在上下文 另有指 出, 否则应该理解 为“一个或 多个”。 在使 用本公 开实施例 公开的 技术方 案之前 , 均应当依据相 关法律 法规 :通过 恰 当的方式 对本公 开所涉及 个人信 息的类 型、 使用范围 、 使用场景等告知 用户 并获 得用户 的授杈。 例如 , 在响应于接收到 用户的 主动请 求时, 向用 r发送提示信 息, 以明确 地提 示用户 , 其请求执行 的操作将 需要获取 和使 用到用户 的个人 信息。 从而, 使得 用户可 以根据提 示信 息来自主 地选择 是否向执 行本公 开技术 方案的操 作的 电子 设备、 应用程序 、 服务器或存储 介质等软 件或硬件 提供个 人信息 。 作为 一种实 现方式 , 响应于接收到 用户的主 动请求 , 向用户发送提 示信 息 的方 式例如 可以是弹 窗的方式 ,弹窗中可 以以文字 的方式呈 现提示 信息。此外, 弹 窗中还可 以承载 供用户 选择 “同意 ”或者 “不同意 ”向电子设备提供个人 信息 的 选择 控件。 上述 通知和 获取用户 授权过 程仅是 示意性 的, 不对本公开 的实现 方式构成 限定 其它满足 相关法 律法规 的方式也 可应用于'本公开 的买现方 式中。 图 [ 为本公开实施例所 提供的 一种图像 处理方法 的流程 示意图 , 本公开实 施例 适用于 改变图像 中元素 展示形 式的情 形, 该方法可以 由图像 处理装置 来执 行 , 该装置可以通过 软件和/或硬 件的形 式实现 例 如, 通过电子设 备来实 现 该 电子设备 可以是移 动终端 、个人电脑 ( Personal Computer, PC )端或月艮务器等。 如图 1所示, 所述图像 处理方法 包括: SI 10. 荻取待处理 的目标对 象的原 始图像 , 其中, 所述原始图像 中的预设 元素 以第一展 示形式 进行 •展示。 原始 图像可 以是需要 进行 图像特效 处理的 图像, 可以是通 过下载 、 拍摄或 上传 等方式 获取的 图像。 目标 对象则 是原始 图像中 的前景对 象或是感 兴趣 区域对象 。 目标对象可 以 是人 物时象* 动物对象 或是静 态物体中 的任意一 种。 预设 元素则 是目标对 象的 -f部分, 例如, 目标对象是一 个人物 对象, 预设 元素 可以是 人物对 象的五 官、 头发、 首饰、 衣着等元素 ; 或者, 目标对象是一 个玩 具屋, 预设元素 可以是玩 具屋中 的任意一 个摆件 元素。 预设 元素的 第一展 示形式可 以理解 为预设元 素在原 始图像 中的初 始展示 形 式 。 例如, 人物对象的原始 发型 为过肩长 发; 再如, 玩具屋对象 中餐桌摆 件为 圆形 餐桌。 当用 户在具 有图像 中预设元 素展示 形式变换 的特效 处理功 能的应 用中, 触 发相 应的 图像特效 处理功 能时, 便会提示 用户进行 实时 的图像拍 摄或者 上传以 获取 包含有 目标对 象的原始 图像。

8120、 将所述原 始图像 输入至经 过预训 练的元 素去除处 理模型 , 得到所述 目标 对象的 预设元 素去除 图像, 并基于所 述目标对 象的预 设属性 参数为 所述预 设元 素去除 图像匹 配对应 的所述预 设元素 以第二展 示形式 进行展 示的模板 图像 。 预设 元素的 第二展 示形式是 图像特 效处理 效果中 , 预设元素的 目标展示 形 式" 例如, 原始图像 经过图像 特效处 理后, 人物时象的原始 的过肩 长发, 处理 为干 练的短 发。 或者, 原始图像经 过图像 特效处理 后, 玩具屋中 的圆形餐 桌处 理 为小方桌 。 相 关技术中 为达到预 设元素 展示形 式变换 的技术效 果, 通常直接 将第二展 示形 式的预 设元素 的图像 叠加在原 始图像 的预设元 素位置 处, 这会造成第 二展 示形 式的预 设元素 与原始 图像中其 他元素 不能完全 贴合, 或者光线 不协调 不自 然 的缺陷 O 为 了克服上 述缺陷 , 在本实施例中 , 进行图像特效 处理的 过程中 , 首先会 将原 始图像 中第一展 示形 式的预设 元素去 掉, 避免影响第 二展示 形式的预 设元 素 与原始 图像中其他 元素 融合的效 果。 去除第一展 示形式 的预设 元素时 , 可以 采 用经过预 训练的 元素去 除处理模 型进行 处理。 即, 将原始图像输入至 经过预 训练 的元素 去除处 理模型 , 得到对应的 目标对象 的预设元 素去除 图像。 其中, 元素 去除处 理模型 的图像处 理效果 就像是 预设元 素没有存 在过一 样 , 相应的原 预设 元素部 位会显 示为原始 图像的 背景或 是目标对 象对应 的其他 元素的 效果。 而 不是将原 始图像 中的第一 展示形 式的预设 元素 直接涂抹 掉, 以统-一的黑色或 其他 颜色的像 素信息 表示被 去除的预设 元素 的对应部位 O 预设 属性参 数包括原 始图像 中目标 对象的 角度、 光线参数 及轮廓 参数等 属 性参 数中的-一个或 多个。 可以根据 预设属 性参数 为原始 图像匹配 在角度 、 光线 参数 或轮廓 参数上 更加接近 的以第 二展示 形式进行 展示 的预设元 素的模板 图像, 作 为图像特 效处理过 程中特征 融合的 基础。

8130、 将所述预 设元素 去除图像 》 所述模板图像 和所 述模板 图像中的 所述 预设 元素的 掩膜图像 输入至 预设 图像元素 迁移模型 中, 得到所述 目标对 象的目 标 图像, 其中, 所述目标图像 中所述 预设元素 以所述 第二展示 形式进行 •展示。 在本 实施例 中, 将预设元素去 除图像 、 步骤 S120中匹配到的预 设元素 以第 二展 示形式 进行展 示的模板 图像和 该模板 图像中 的预设元 素的掩 膜图像共 同作 为预 设图像 元素迁移 模型 的输入, 使预设图像元 素迁移模 型同时提 取并 学习这 三 个输入 图像的特征 , 最终得到与 原始图 像对应 的, 目标对象的 预设元素 以第 二展 示形式 进行展 示的 目标图像 。 其中, 模板图像中的预 设元素 的掩膜 图像可 以提 示预设 元素以 第二展示 形式进 行展示 时的像 素区域 范围。 从而, 目标图像 中与 第二展 示形式 进行展示 的预设 元素与 原始图像 除预设 元素之 外的其 他元素 可 以融合的 更加自然 。 预设 图像元 素迁移模 型对输 入的三 个图像进 行图像 处理的 过程中 , 首先, 通过 预设 图像元素 迁移模型 的预设 图像编码 器在 高维空间 对预设 元素去 除图像 、 模板 图像和 掩膜图像 进行特 征融合 得到 目标特征编 码; 然后, 通过预设 图像元 素 迁移模型 的图像解 码器对 目标特 征编码 进行解码 得到 目标图像 , 其中, 图像 解码 器为经 过预训 练的图像 生成器, 该图像 生成器在 经训练 之后 , 可以根据输 入 的特征向 量, 生成具有预设 元素的 图像。 相应 的, 预设图像元素 迁移模 型的训 练过程 , 即是根据预设的 模型训 练样 本 , 对预设图像编码 器进行 训练 , 使预设图像编码 器可 以对输入 的图像进 行特 征编 码, 得到可以 是图像生 成器正 确解码 为目标 图像的特 征编码 向量。 可以将 模型-训练样 本中的预 设对 象的无预 设元素 样本图像 、 与无预设元 素图像 匹配的 预设 元素的 预设展 示形式模 板样本 图以及 所述模板 样本 图中的预 设元素 的掩膜 样本 图作为 模型训 练样本对 ; 将模型刮练 样本对输 入至初 始图像 编码器 中, 得 到初 始图像 特征编码 ; 然后, 将初始特征 编码输入 到图像 解码器 中, 得到初始 解码 图像 , 并根据所述解码 图像与 模板样 本图之 间的损失 迭代更 新初始 图像编 码 器, 得到预设图像 编码器 。 本公 开实施 例的技 术方案 , 通过在需要对 图像中预 设元素 的展示 形式进行 切换 的图像 特效处 理场景 下, 当获取待处 理的 目标对象 的原始图 像时, 先将原 始 图像输入 至经过预 训练 的元素去 除处理模 型, 得到目标 对象的 预设元素 去除 图像 , 并基于目标 对象的预 设属性 参数为 预设元素 去除 图像匹配 对应的预 设元 素 以第二展 示形式 进行展示 的模板 图像; 最后, 将预设元素去除 图像、 模板图 像和 模板 图像中的预 设元素 的掩膜 图像输 入至预设 图像元 素迁移模 型中 , 得到 目标 对象的 目标图像 ,其中,原始图像 中的预设 元素 以第一展 示形式进 行展示 , 目标 图像 中预设元 素以第二 展示形 式进行展 示。 本公开 实施例的 技术方案 , 在 进行 图像特 效处理 的过程 中先将第 一展示 形式的预 设元素 去除, 再综合学习预 设元 素去除 图像, 模板图像和 模板 图像中的 预设元素 的掩膜 图像中 的特征 , 将 第二 展示形 式的预设 元素与 原始 图像中的 其他元素 进行融 合, 从而得到 了更好 的元 素融合 效果, 解决了相关技术 中直接 将目标展 示形式 的预设 元素叠加 在原 展示 形式的 预设元 素之上 以改变预 设元素展 示形 式时, 图像效果不自然 , 贴片 感 明显的 问题, 实现了在 变换图像 中元素展 示形 式的图像 特效处 理时, 提升变 换展 示形式 后的预设 元素与 原图 中其他元 素的贴合 度, 使图像特 效处理 的效果 更加 自然 , 特效处理的 效果稳定 性更高 。 图 2 为本公开实施 例所提 供的另一 图像处 理方法的 流程示 意图, 在上述图 像处 理方法 的基础 上, 描述了目标 对象为 人物对 象, 预设元素为 头发时 , 对预 设元 素的展 示形式 进行变换 的图像 特效处 理过程 。 该方法可以由 图像处 理装置 来执 行, 该装置可 以通过软 件和/或硬件 的形式 实现, 例如, 通过电子设 备来实 现 , 该电子设备可以 是移动终 端 . PC端或服 务器等 。 如 图 2所示, 所述图像 处理方法 包括:

S210. 获取待处理 的目标对 象的原始 图像。 原始 图像中 的预设元 素以第一 展示形 式进行展 示。 在本 实施例 中, 目标对象为人物对 象, 预设元素 为头发 , 相应的, 预设元 素 的第一展 示形式为 目标对 象的初始 的发型 。 当用 户在可 以体验发 型设计「 , 或发型变换功能的应 用中触 发对应 的发型 迁 移功 能时 , 可以实时的拍摄 目标对 象的图 像作为原 始图像 , 也可以是用户 上传 的 包含有 目标对象的 原始图像 。

S220. 将所述原始 图像输入 至经过 预训练 的元素去 除处 理模型 , 得到所述 目标 对象的预 设元素 去除图像 。 将预 设元素 去除, 即将原始图像 中, 目标对象的 头发去除 , 得到与原始 图 像对 应的, 目标对象的光头 图像。 元素 去除处 理模型是 基于预 设元素 去除图像 样本对 进行训 练得到 的神经 网 络模 型, 其中, 预设元素去 除图像 样本对 中包括 包含有预 设元素 的对象 的原始 样本 图像, 以及与原始样本 图像对应 的不包含 预设元素 的样本 图像。 在一 种实施方 式中, 不包含预设元素 的样本图 像的获取 过程包 摇: 首先, 识别原 始样本 图像中展 示预设 元素的主 体轮廓 。 由于目标对 象为人 物对 象的图 像, 预设元素为 头发 , 展示头发这一 预设元素 的主体 包括人物 对象 的头 部, 在识别主体 轮廓区域 时, 可以是识别 原始图像 中目标 对象的 头部。 然后 , 将位于主体轮 廓区域 内的预设 元素 的像素点 处理为 与主体轮 廓区域 内 的非所述 预设元 素的像素 点的像 素信息 一致的像 素点 , 并将位于主体轮廓 区 域外 的预设 元素的像 素点处 理为与 主体轮 廓区域 外的非预 设元素 的像素点 的像 素信 息一致 的像素 点, 从而可以得 到所述 不包含预 设元素 的样本 图像。 这样处 理 的效果是 , 头颅区域外 的预设元 素的像 素点, 在去除之 后对应 的是原始 图像 的 背景部分 。 将头颅区域 内的头发 去除之后 , 对应的像素 点位置 对应的表 现为 头皮 部分, 可以达到将预设 元素无 痕去除 的效果 , 不影响目标对 象的预设 元素 之外 的其他元 素的展 示。

S230. 识别所述 目标对象 的头部姿 态数据 和面部 关键点信 息, 并基于所 述 头部 姿态数 据和所 述面部 关键点信 息 , 在所述预设元 素以所 述第二展 示形 式进 行 •展示的多角度展 示图像模 板集合 中, 匹配与所述 预设元 素去除 图像对应 的模 板 图像。 预设 元素以 第二展示 形式进 行展示 的多角度 展示 图像模板 集合是 预先建 立 的 , 在该集合的建 立过程 中, 首先, 要荻取预先制 作的预 设元素 以第二展 示形 式进 行展示 的三维 头部模型 ; 然后, 模拟环绕拍摄 过程 , 在多个角度对 所述三 维头 部模型 拍照渲 染, 得到多个角 度的预设 元素 以所述第 二展示 形式进行 展示 的 图像, 从而得到预 设元素 以第二 展示形 式进行展 示的 多角度展 示图像模 板集 合 。 在进 行模板 匹配时 , 首先, 识别目标对象 的头部姿 态数据 和面部 关键点信 息 。 其中, 头部姿态数据是 指头部 的角度 , 包括俯仰角 , 旋转角、 偏向角等数 据 , 可以根据三维世 界坐标 系确定 相应的 角度信 息。 面部关键点 即是指 面郃五 官等 关键点 , 可以采用任一 能够 实现面部 关键点识 别算法 荻取到 相应的 关键点 信 息。 然后 , 将预设元素去除 图像和 模板集合 中的模 板图分 别进行 头部姿 态和 面部 关键点 的检测, 根据对应 的参数在 3 维空间进行 匹配, 找到和预设 元素去 除 图像最接 近的模板 图 O 在一 ■种实施方式中 , 还可以基于 目标对象 的面部几 何形状 , 时匹配到的模 板 图像中的 面部形状 进行 图像校正 , 使得模板图和 预设元 素去除 图像的贴 合更 加准 确, 这样可以使 最终得 到的 目标图像 中第二展 示形式 的预设 元素与预 设元 素去 除图像 中的元素 融合的 更加自然 。

8240、 将所述预 设元素 去除图像. 所述模 板图像 和所述模 板图像 中的所 述 预设 元素的 掩膜图像 输入至 预设 图像元素 迁移模型 中, 得到所述 目标对 象的目 标 图像。 将预 设元素 去除图像 、 模板图像和 模板图像 输入到 预设 图像元素 迁移模型 中 , 可以使预设图像 元素 迁移模型 同时提 取并学 习这三个 输入图 像的特征 , 最 终得 到与原 始图像 对应的 , 目标对象的预设 元素 以第二展 示形式 进行展 示的目 标 图像。 例如, 将有刘海 的短发发 型, 迁移为原始 图像 中目标对 象的新发 型, 替代 原始图像 中目标 对象的过 肩长 .发。 本公 开实施 例的技 术方案 , 通过在需要对 图像中预 设元素 的展示 形式进 行 切换 的图像 特效处 理场景 下, 当获取待处 理的以人 物对 象为目标 对象的原 始图 像 时, 先将原始图像 输入至 经过预 训练的 元素去 除处理模 型, 得到目标对 象的 预设 元素去 除图像 , 并基于目标对 象的头 部姿态和 面部 关键点信 息为预设 元素 去 除图像 匹配对应 的预设元 素以第 二展示 形式进行 展示 的模板图 像; 最后, 将 预设 元素去 除图像 , 模板图像和模 板图像 中的所述 预设元 素的掩 膜图像输 入至 预设 图像元 素迁移*莫型中 , 得到目标时象 的目标 图像, 其中, 原始图像 中的预 设元 素以第 一展示 形式进行 展示 , 目标图像中预设 元素 以第二展 示形式进 行展 示 。 本公开实施例 的技术方 案, 在进行图 像特 .效处理的过程中先 将第一展 示形 式 的预设元 素去除 , 再将第二展示 形式的 预设元素 与原始 图像中 的其他元 素进 行 融合, 从而得到 了更好 的元素融 合效果 , 解决了相关技 术中直 接将 目标展示 形 式的预设 元素叠加 在原展 示形式 的预设 元素之上 以改 变预设元 素展示形 式时 图像 效果不 自然, 贴片感明显的 问题, 实现了 .在变换图像中元素 展示形 式的图 像特 效处理 时, 提升变换展 示形式 后的预设 元素 与原图 中其他元 素的贴合 度, 使 .图像特效处理的效 果更加 自然, 特效处理 的效果稳 定性更 高。 图 3 为本公开实 施例所提 供的另一 图像处 理方法的 流程示 意图, 在实现该 方 法流程的 过程中 , 描述 .了目标对象为人物对象 , 预设元素为头 发时, 预设图 像元 素迁移模 型的训 练过程 , 以及基于预设 图像元 素迁移 模型对预 设元素 的展 示 形式进行 变换的 图像特效 处理过 程。 该方法可 以由图像 处理装 置来执行 , 该 装置 可以通 过软件和/或硬 件的形 式实现 例如, 通过电子设 备来 实现, 该电子 设备 可以是 移动终端 、 PC端或服 务器等 O

S310> 获取预设 对象的 原始图像 , 并将所述原 始图像输 入到元 素去除 处理 模 型, 得到所述原始 图像中对 应的无 预设元素 样本图像 。 目标 对象为 人物对 象, 预设元素为头 发, 原始图像中预 设对象 的预设 元素 的初 始发型 记为第 一展示形 式。 不同原始 图像中 , 预设对象的预 设元素 的第一 展示 形式可 以是不 同的展示形 式。 元素 去除处 理模型是 基于预 设元素 去除图像 样本对 进行训 练得到 的神经 网 络模 型, 其中, 预设元素去 除图像 样本对 中包括 包含有预 设元素 的对象 的原始 样本 图像, 以及与原始样本 图像对应 的不包含 预设元 素的样本 图像。 目标 发型即 是原始 图像中预 设对象 的预设元 素的 目标展示 形式, 即为第二 展 示形式。 在获 取预先 制作的 目标发型 三维头 部模型之 后, 可以模拟 环绕拍摄 过程 , 在 多个角度 对该三 维头部模 型拍照 渲染, 得到多个角度的 预设元 素以第二 展示 形 式进行展 示的图像 , 从而得到预 设元素 以第二展 示形式 进行展 示的多 角度展 示 图像模板 集合, 即目标发 型模板图 集合。

S330、 识别所述 预设对 象的头部 姿态数 据和面 部关键 点信息 , 并基于所述 头部 姿态数 据和所 述面部 关键点信 息, 在所述 目标发型模 板图像 集合中 , 匹配 与 所述无预设 元素样 本图像对 应的模 板图像 。

8340、 将预设对 象的无预 设元素 样本 图像、 与所述无预 设元素 样本图 像匹 配 的所述预 设元素 的预设展 示形式 模板样 本图以及 所述模 板样本 图中的预 设元 素 的掩膜样 本图组 成模型训 练样本 对, 输入至初始 图像元 素迁移模 型, 并进行 模型 训练, 得到预设 图像元素 迁移模 型。 模型 训练过程 可参考 图 4所 示的训练 过程。 在图 4中, 初始图像元素迁 移 模型 包括编码 器模块 和解码 器模块, 编码器模块 的输入为〈预设对 象的无 预设元 素样 本图像 、 与无预设元素 样本 图像匹配 的模板样 本图 、 模板样本图中预 设元 素 的掩膜样 本图〉, 编码器模块 会对输入 的图像 进行学 习以及特 征提取 , 得到中 间 编码 S; 然后, 再将中间编码 S输入到解 码器模 块中, 得到解码器模 块输 出的 元 素迁移图 像。 元素迁移 图像的参 照标签 图像可以 是预先 渲染的与 预设对 象的 原始 图像对 应的预设 元素 以第二展 示形式 进行展 示的图像 。 可以根据解码 器生 成 的元素迁 移图像 与参照标 签图像 之间的损 失函数 值迭代 优化初 始图像元 素迁 移模 型 , 最终得到预设 图像元素 迁移模 型。 在模 型训练 的过程 中, 编码器模块 是在鬲 维空间进 行图像 特征的 融合, 能 够将 融合的 结果映射 到符合 自然分 布的人 脸特征 向量空 间内。 其中, 由于解码 器模 块是预 先训练 的专用的 人脸生 成器-风格生 成式对抗 网络 ( Style Generative Adversarial Network , StyleGAN ) , 在图像解码过程中, 可以确保生成结果符合 真 实人脸的 特征,从而达 到了提升 发型迁 移真实性 的目的 。在一种实施 方式中 , 还可 以增加 一个判别 器, 判别中间编码 S, 与用于训练 StyleGAN的人脸 特征向 量 集合中向 量的一致 性 , 帮助模型的快速 收敛 O

S350. 获取待处理 的目标对 象的原始 图像。 原始 图像中 的目标对 象的预设 元素以 第一展示 形式进行 展示;

8360、 将所述原 始图像 输入至经 过预训 练的元 素去除处 理模型 , 得到所述 目标 对象的 预设元 素去除 图像, 并基于所 述目标对 象的预 设属性 参数为 所述预 设元 素去除 图像匹 配对应 的所述预 设元素 以第二展 示形式 进行 •展示的模板图像 。

8370、 将所述预 设元素 去除图像. 所述模 板图像 和所述模 板图像 中的所 述 预设 元素的 掩膜图像 输入至 所述预 设图像 元素迁移 模型 中, 得到所述 目标对象 的 目标图像 。 目标 图像中 的目标的预 设元素 以所述 第二展示 形式进行 展示。 本公 开实施 例的技 术方案 , 通过基于预设 对象的预 设元素 以第一展 示形 式 进行 •展示的原始图像 , 获得对应的 无预设 元素样本 图像 , 然后, 为无预设元素 样本 图像 匹配预设 元素以第 二展示 形式进 行展示 的模板 图像, 以无预设元 素样 本 图像、 模板样本 图以及模 板 _样本图中的预设元素 的掩膜 样本图 组成模 型训练 样 本对 ,进行模型 -训练得到预设图像 元素迁移 模型。在需 要元素 迁移的场 景下, 当荻 取待处 理的 目标对象 的原始 图像时, 先将原始图像输 入至经 过预训 练的元 素去 除处理 模型, 得到 目标对象的 预设元 素去除 图像, 并基于 目标对象 的预设 属性 参数为 预设元 素去除 图像匹配 对应的 预设元素 以第二 展示形 式进行展 示的 模板 图像; 最后, 将预设元素去 除图像 、 模板图像和模 板图像 中的所 述预设元 素 的掩膜 图像输入 至预设 图像元素 迁移模 型中, 得到目标 对象的 目标图像 , 其 中 , 原始图像中的预 设元素 以第一 展示形 式进行展 示 , 目标图像中 预设元素 以 第二 展示形 式进行展 示。 本公开 实施例的 技术方案 , 在进行图像 特效处理 的过 程 中先将第 一展示 形式的预 设元素 去除, 再将第二展示形 式的预 设元素 与原始 图像 中的其 他元素 进行融合 , 从而得到 了更好的元 素融合 效果, 解决了相关技 术 中直接将 目标展 示形式 的预设元 素叠加 在原展示 形式的 预设元 素之上 以改变 预设 元素展 示形式 时, 图像效果不 自然, 贴片感明显的 河题, 实现了在 变换图 像 中元素展 示形式 的图像特 效处理 时 , 提升变换展 示形式后 的预设 元素与原 图 中其 他元素 的贴合度, 使图像 特效处 理的效 果更加 自然, 特效处理 的效果稳 定 性 更高。 图 5 为本公开实 施例所提 供的一种 图像处 理装置结 构示意 图, 该装置适用 于 改变图像 中元素展 示形式 的情形,可以通 过软件和 /'或硬件的形式实现,例如, 图像 处理装 置可配置 于电子设 备来, 该电子设备可以是 移动终 端 . PC端或服 务 如 图 S 所示, 所述图像处理装置 包括: 图像获取.模块 410、 模板匹配模块 420 和图像处 理模块 430。 图像 获取模块 410, 设置为获取待 处理的 目标对象 的原始 图像, 其中, 所述 原始 图像中 的预设元 素以第一 •展示形式进行展 示; 模板匹配模块 420, 设置为将 所述 原始 图像输入 至经过预 训练的 元素去 除处理模 型, 得到所述 目标对 象的预 设元 素去除 图像, 并基 .于所述目标对象的预设属性 参数为 所述预 设元素去 除图 像 匹配对应 的所述预 设元素 以第二 展示形 式进行展 示的模 板图像 ; 图像处理模 块 43。, 设置为将所述预设元素去除 图像、 所述模板图像 和所述模 板图像 中的所 述预 设元素 的掩膜 图像输入 至预设 图像元 素迁移模 型中 , 得到所述目标对 象的 目标 图像,其中 ,所述目标 图像中所述 预设元 素以所述 第二展 示形式进 行展示 。 本公 开实施 例所提供 的技术 方案 , 通过在需要 对图像 中预设 元素的展 示形 式进 行切换 的图像 特效处理 场景下 , 当获取待处理 的目标 对象的 原始图像 时, 先将 原始 图像输入 至经过预 训练的 元素去 除处理模 型, 得到目标 对象的预 设元 素去 除图像 , 并基于目标对 象的预 设属性 参数为预 设元素 去除图 像匹配 时应的 预设 元素以 第二展 示形式进 行展示 的模板 图像; 最后, 将预设元素去除 图像、 模板 图像和 模板图像 中的所 述预设 元素的掩 膜图像 输入至 预设图 像元素 迁移模 型 中, 得到目标对 象的目标 图像 , 其中, 原始图像中的预 设元素 以第一展 示形 式进 行展示 , 目标图像中预 设元素 以第二展 示形 式进行 •展示。 本公开实施例的 技 术方案 , 在进行图像特效 处理的 过程中 先将第一 展示形 式的预 设元素去 除, 再将 第二展 示形式 的预设元 素与原 始图像 中的其他 元素进 行融合, 从而得到 了 更好 的元素 融合效 果, 解决了相 关技术中 直接将 目标展示 形式的 预设元 素叠加 .在原展示形 式的预设 元素之 上以改 变预设 元素展 示形式 时, 图像效果不 自然, .贴片感明显 的问题 , 实现了在变换 图像中 元素展 示形式 的图像特 效处理 时, 提 升 变换展示 形式后 的预设元 素与原 图中其 他元素 的贴合度 , 使图像特效处 理的 效 果更加 自然, 特效处理的效 果稳定 性更高 。 在 -一种实施方式中, 图像处理模块 430设置为: 通过 所述预设 图像元 素迁移 模型的预 设图像 编码器 对所述 预设元 素去除 图 像 、 所述模板图像 和所述掩 膜图像 进行特 征融合得 到目标 特征编 码; 通过所述 预设 图像元 素迁移模 型的 图像解码 器对所 述目标特 征编码 进行解码 得到所 述目 标 图像, 其中, 所述图像解码 器为经 过预训练 的图像 生成器 。 在一 种实施 方式中 , 所述图像处理 装置还 包括模型 训练模 块, 设置为对 所 述预 设图像 编码器进 行训练 , 训练过程 .包括: 将预 设对象 的无预设 元素样 本图像 、 与所述无预设 元素 图像匹配 的所述预 设元 素的预 设展示 形式模板 样本 图以及所 述模板样 本图 中的预设 元素的掩 膜样 本 图组成模 型训练样 本对 ; 将所述模型训 练样本对 输入至 初始图 像编码 器中, 得到 初始 图像特征 编码; 将所述初 始特征 编码输入 到所述 图像解 码器中 , 得到 初始 解码 图像, 并根据所述 初始解 码图像 与所述模 板样本 图之间 的损失迭 代更 新所 述初始 图像编码 器 , 得到所述预设 图像编码 器。 在一 种实施方 式中, 所述模板匹配模 块 420设置为 : 识别 所述 目标对象 的头部姿 态数据 和面部 关键点信 息; 基于所述 头部姿 态 数据 和所述 面部关键 点信 息, 在所述预设 元素以 所述第二 展示形 式进行 •展示的 多 角度展示 图像模板 集合中 , 匹配与所述预设 元素去 除图像对 应的模板 图像。 在一 种实施方 式中, 所述图像处理装 置还包括 模板调 整模块, 设置为: 基于 所述 目标对象 的面部几 何形状 , 对所述模板 图像中的 面部形 状进行 图 像校 正。 在一 种实施方 式中,所述 图像处理 装置还 包括模板 集合生 成模块,设置 为: 获取 预先制 作的所述 预设元 素以所 述第二展 示形 式进行展 示的三 维头部模 型 ; 模拟环绕拍摄 过程, 在多个 角度对所 述三维 头部模型 拍照渲 染, 得到多个 角度 的所述 预设元 素以所述 第二展 示形式 进行展 示的图像 , 以建立所述预 设元 素 以所述第 二展示形 式进行展 示的多 角度展示 图像模板 集合 。 在一一种实施方式 中, 所述元素去 除处理模 型是基 于预设 元素去 除图像样 本 对进 行训练 得到的神 经网络 模型 , 其中, 所述预设元 素去除 图像样 本对中 包括 包含 有预设 元素的 对象的原 始样本 图像, 以及与所述原始 样本图 像对应 的不包 含所 述预设 元素的样 本图像 。 在一 种实施方 式中, 所述图像 处理装置 还包括元 素去除 处理模型 -训练模块, 设置 为: 识别 所述原 始样本 图像中展 示所述 预设元 素的主体 轮廓; 将位于所述主体 轮廓 区域 内的所述预 设元素 的像素 点处理 为与所 述主体轮 廓区域 内的非 所述预 设元 素的像 素点的像 素信 息一 ■致的像素点 , 并将位于所述主 体轮廓 区域夕卜的所 述预 设元素 的像素 点处理 为与所述 主体轮 廓区域 外的非所 述预设 元素的像 素点 的像 素信息 一致的像 素点, 得到所述 不包含所 述预设 元素的样 本图像 ; 基于 所述不 包含所 述预设元 素的样 本图像 进行模型 训练 , 得到所述元素去 除 处理模型 。 本公 开实施 例所提供 的图像 处理装 置可执行 本公开 任意 实施例所提 供的 图 像处 理方法 , 具备执行方法相应 的功能模 块和效 果。 上述 装置所 包括的 多个单元 和模块 只是按 照功能逻 辑进行 划分的 , 但并不 局 限于上述 的划分 , 只要能够实现 相应的 功能即可 ; 另夕卜, 多个功能单元的名 称也 只是为 了便于相 互区分 , 并不用于限制 本公开实施 例的保 护范围 。 图 6为本公开 实施例 所提供的 一种电子 设备的 结构示意 图。 下面参考图 6, 其示 出了适 于用来实 现本公开 实施例 的电子设 备 (例如图 6 中的终端设备或服 务 器) 500的结构示 意图。 本公开实施 例中的 终端设备 可以包 括诸如移 动电话 , 笔记 本电脑 、数字广播接收 器、个人数字 助理( Personal Digital Assistant, PDA )、 平板 电脑 ( Portable Android Device , PAD )、便携式多媒体播放器 ( Portable Media Player, PMP ) 、 车载终端 (例如车载导航 终端) 等 等的移动 终端以及 诸如数 字 电视 ( Television, TV ) > 台式计算机等等的固定终端。 图 6示出的电子设备 500 仅仅 是一个 示例, 不应对本公 开实施 例的功 能和使用 范围带来 任何限 制。 如 图 6所示 , 电子设备' 500可以包括处 理装置 (例如中央 处理器 、 图形处 理 器等) 501 , 其可以根据存储在只读 存储器 ( Read-Only Memory, ROM ) 502 中 的程序或 者从存储 装置 508加载到随机访 河存储 S( Random Access Memory , RAM ) 503中的程 序而执 行多种适 当的动作 和处理 。 在 RAM 503中, 还存储有 电子 设备 500操作所需的 多种程序 和数据 。 处理装置 50「 ROM 502以及 RAM 503 通过总 线 504彼此相连 。 编辑/ '输出 ( Tnpuf/'Output, I/O )接口 505也连接至 总 线 504 „ 通常 ,以下装置可 以连接 至 I/O接口 505: 包括例如触摸屏、触摸板、键盘 、 鼠 标、 摄像头 " 麦克风、 加速度计、 陀螺仪等的输入 装置 506; 包括例如液晶显 示 器 ( Liquid Cr> r stal Display, LCD )、 扬声器. 振动器等的输出装置 507; 包括 例如 磁带* 硬盘等的存 储装置 508; 以及通信装置 509。 通信装置 509可以允许 电子 设备 500与其他设 备进行 无线或有 线通信 以交换数 据。 虽然图 6示出了具 有 多种装置 的电子设 备 500, 并不要求实施 或具备 所有示 出的装置 。 可以替代地 实施 或具备 更多或更 少的装 置。 根据 本公开 的实施例 , 上文参考流程 图描述 的过程可 以被 实现为计 算机软 件程 序。 例如, 本公开的 实施例 包括一种 计算机程 序产品 , 其包括承载在 非暂 态计 算机可 读介质 上的计算 机程序 , 该计算机程序 包含用 于执行 流程图 所示的 方 法的程序 代码。 在这样的 实施例 中, 该计算机程序 可以通过 通信装 置 5。9从 网络 上被下载 和安装 , 或者从存储装 直 508被安装 , 或者从 ROM 502被 安装。 在该 计算机程 序被处 理装置 501 执行时, 执行本公开 实施例 的方法 中限定的 上 述功 能。 本公 开实施 方式中 的多个装 置之间 所交互 的消息或 者信息 的名称仅 用于说 明性 的目的 , 而并不是用于对 这些消 息或信 息的范围 进行限制 。 本公 开实施 例提供 的电子设 备与上 述实施 例提供 的图像处 理方法 属于同 一 构思 , 未在本实施 例中许尽 描述的 技术细 节可参见 上述 实施例, 开且本夹施例 与上 述实施 例具有相 同的效 果。 本公 开实施 例提供 了一种计 算机存 储介质, 其上存储 有计算 机程序, 该程 序被 处理器执 行时 实现上述 实施例所 提供的 图像处理 方法。 本公 开上述 的计算机 可读介 质可以 是计算机 可读信 号介质 或者计 算机可读 存储 介质或 者是上述 两者的任 意组合 。 计算机可读存储 介质例如 可以是 - 电、 磁 、 光、 电磁、 红外线, 或半导体的系统、 装置或器件, 或者任意以上 的组合 。 计算 机可读 存储介质 的例子 可以 包括: 具有一个或 多个导线 的电连 接、 便携式 计 算机 磁盘 , 硬盘 、 RAM 、 ROM > 可'擦式可编程 只读 存 储器 ( Erasable Programmable Read-Only Memory, EPROM 或 闪存) 、 光纤、 便携式紧凑磁盘只 读存 储器 ( C ompact Disc Read-Only Memory, CD-ROM ) . 光存储器件、 磁存 储 器件、 或者上述 的任意合 适的组 合。 在本公开 中, 计算机可读存 储介质 可以 是任 何包含 或存储程 序的有 形介质 , 该程序可以被 指令执 行系统 、 装置或者器 件使 用或者 与其结合 使用 。 而在本公开中 , 计算机可读信 号介质 可以包 括在基 带 中或者作 为载波一 •部分传播的数据 信号, 其中承载 了计算机 可读的程 序代码 。 这种 传播的 数据信 号可以采 用多种 形式, 包括电磁信号 、 光信号或上述 的任意 合适 的组合 。 计算机可读信 号介质 还可以 是计算机 可读存 储介质 ■以外的任何计 算机 可读介 质 , 该计算机可读 信号介 质可以 发送、 传播或者 传输用 于由指令 执 行 系统、 装置或者 器件使用 或者与 其结合 使用的程 序。 计算机可 读介质 上包含 的程 序代码 可以用任 何适当 的介质传输 ,包括:电线、光缆、射频 ( Radio Frequency, RF )等等, 或者上述 的任意合 适的组合 。 在 一些 实施 方式 中, 客户端. 服务 器可 以利 用诸 如超 文本 传输 协议 ( HyperText Transfer Protocol , HTTP )之类的任何当前已知或未来研发的网络 协议 进行通信 , 并且可以与任意形 式或介质 的数字 数据通信 (例如,通信网络 ) 互连 。 通信网络的示例 包括局域 网 ( Local Area Network, LAN ) , 广域网 ( W de Area Network, WAN ) , 网际网 (例如, 互联网 )以及端对端网络 (例如, ad hoc 端对 端网络) , 以及任何当前 已知或未 来研发的 网络。 上述 计算机可 读介质 可以是上 述电子设 备中所 包含的 ; 也可以是单独存 在, 而 未装配入 该电子设 备中。 上述 计算机 可读介质 承载有 一个或 者多个程 序, 当上述一个或者 多个程序 被该 电子设备 执行时 , 使得该电子设 备: 获取 待处理 的目标对 象的原 始图像 , 其中, 所述原始图像 中的预设 元素 以 第一 展示形 式进行展 示; 将所述原 始图像 输入至 经过预训 练的元 素去除处 理模 型, 得到所述 目标对 象的预设 元素去 除图像, 并基于 所述目标 对象的 预设属性 参数 为所述 预设元 素去除 图像匹配 对应的 所述预设 元素 以第二展 示形式 进行展 示 的模板 图像; 将所述预设 元素去 除图像 、 所述模板图像 和所述 模板图像 中的 所述 预设元 素的掩膜 图像输 入至预 设图像 元素迁移 模型 中, 得到所述 目标对象 的 目标图像 , 其中, 所述目标图像 中所述 预设元素 以所述 第二展 示形式进 行 •展 示 。 可以 以一 ~种或多种程序设计 语言或 其组合 来编写用 于执行 本公开 的操作 的 计 算机程序 代码 ,上述程序设计 语言 包括面向对 象的程序 设计语 言一诸如 Java-. 连接 ) 。 附 图中的流 程图和框 图, 图示了按照本公开 多种 实施例的 系统、 方法和计 算机 程序产 品的可 能实现 的体系架 构、 功能和操作 。 在这点上, 流程图或框图 中 的每个方框 可以代 表一个模 块、程序段 . 或代码的一部分 , 该模块、 程序段、 或代 码的一 部分包含 一个或 多个用 于实现 规定的逻 辑功 能的可执 行指令 。 也应 当 注意, 在有些作 为替换 的实现 中, 方框中所标 注的功能 也可以 以不同 于附图 中 所标注的 顺序发 生。 例如, 两个接连地 表示的方 框实际 上可以基 本并行 地执 行 , 它们名时也可 以按相反 的顺序 执行, 这依所涉及的功 能而定 。 也要注意的 是 , 框图和/或流程图中的 每个方框 、 以及框图和/ '或流程图中的方框的组合 , 可 以用 执行规 定的功 能或操作 的专用 的基于硬 件的 系统来 实现, 或者可以用 专用 硬件 与计算机 指令的 组合来 实现。 描述 于本公 开实施例 中所 涉及到的 单元可 以通过软 件的方 式实现 , 也可以 通过 硬件的 方式来 实现。 其中, 单元的名 称在一 某种情 ■况下并不构成对该 单元 本 身的限定 , 例如, 第一获取单元还 可以被描 述为 “获取至少两个 网际协议 地址 的单 元”。 本文 中以上 描述的 功能可 以至少部 分地由 一个或 多个硬件 逻辑部件 来执行 。 例如 , 非限制性地 , 可以使用的示 范类型 的硬件逻 辑部件 包括: 现场可编程门 阵 列( Field Programmable Gate Array, FPGA) >专用集成电路( Application Specific Integrated Circuit, ASIC ) 、 专用标准产品 ( Application Specific Standard Parts, ASSP ) 、 片上系统 ( System cm Chip , SOC ) 、 复杂可编程逻辑设备 ( Complex Programming Logic Device , CPLD )等等。 在本 公开的 上下文 中, 机器可读介 质可以是 有形 的介质 , 其可以包含或存 储 以供指令 执行系 统" 装置或设备使 用或与 指令执行 系统 、 装置或设备结合 地 使用 的程序 。 机器可读介质 可以是 机器可 读信号介 质或机 器可读 储存介质 。 机 器可 读介质 可以包 括电子 的、 磁性的、 光学的、 电磁的、 红外的、 或半导体系 统 、 装置或设备, 或者上述内容的 任何合 适组合 。 机器可读存储 介质的示 例会 包括 基于一 个或 多个线 的电气 连接、 便携式计 算机盘 、 硬盘、 RAM 、 ROM 、 EPROM 或 快闪存储 器、 光纤、 CD-ROM 、 光学储存设备 、 磁储存设备、 或上述 内 容的任何合 适组合 。 根据 本公开 的一个或 多个 实施例, [示例一]提供 了一种 图像处 理方法 , 该 方法包括 ■: 获取 待处理 的目标对 象的原 始图像 , 其中, 所述原始图像 中的预设 元素 以 第一 展示形 式进行展 示; 将所 述原始 图像输入 至经过 预训练 的元素去 除处理 模型 , 得到所述目标对 象 的预设元 素去除 图像, 并基于所 述目标 对象的预 设属性 参数为 所述预设 元素 去 除图像 匹配对应的 所述预设 元素以 第二展示 形式进行 展示的 模板图像 ; 将所 述预设 元素去 除图像 、 所述模板图像 和所述模 板图像 中的所 述预设元 素 的掩膜图像 输入至 预设图像 元素迁移 模型 中, 得到所述目标对 象的 目标图像, 其 中, 所述目标图像 中所述预 设元素 以所述 第二展示 形式进行 展示。 根据 本公开 的一个或 多个 实施例 , Q示例二 』提供 了一种 图像处理 方法, 还 包括: 在一 些实现 方式中 , 所述预设图像 元素迁移 模型对 输入图 像进行 图像处理 的过 程, 包括: 通过 所述预 设图像元 素迁移 模型的 预设图像 编码器 对所述 预设元 素去除 图 像 . 所述 .模板图像和所述掩膜图像进行 特征融合 得到 目标特征编 码; 通过 所述预设 图像元 素迁移 模型的 图像解码 器对所 述目标 特征编码 进行解 码得 到所述 目标图像 , 其中, 所述图像解码 器为经过预 训练的 图像生成 器。 根据 本公开 的一个或 多个 实施例, [示例三]提供 了一种 图像处 理方法 , 包括 : 在一 些实现方 式中, 所述预设图像编码 器的训 练过程 , 包括: 将预 设对象 的无预设 元素样 本图像 、 与所述无预设 元素图 像匹配 的所述预 设元 素的预 设展示 形式模板 样本 图以及所 述模板样 本图 中的预设 元素的掩 膜样 本 图组成模 型 -训练样本对; 将所 述模型训 练样本对 输入至 初始图像 编码器 中, 得到初始图像 特征编码; 将所 述初始 特征编码 输入到 所述图 像解码 器中, 得到初始 解码图 像, 并根 据所 述初始 解码图像 与所述 .模板样本图之间的损 失迭代更 新所述 初始图像 编码 器 , 得到所述预设图 像编码 器。 根据 本公开 的一个或 多个 实施例, [示例四]提供 了一种 图像处 理方法 , 还 包括: 在一 些实现 方式中 , 所述基于所述 目标对 象的预设 属性参 数为所 述预设元 素去 除图像 匹配对应 的所述 预设元 素以第 二展示形 式进行 展示的模 板图像 , 包 括 : 识别 所述 目标对象的 头部姿态 数据和 面部关键 点信息 ; 基 于所述头 部姿态数 据和所 述面部 关键点信 息, 在所述预 设元素 以所述 第 二展 示形式 进行展 示的多 角度展示 图像模板 集合 中, 匹配与所述 预设元素 去除 图像 对应的*莫板图像 。 根据 本公开 的一个或 多个 实施例, 示例五 』提供 了一种图 像处理 方法 ", 还 包括: 在一 些实现 方式中 , 在为所述预设 元素去 除图像 匹配对应 的所述 预设元素 以 第二展示 形式进行 展示的模 板图像之 后, 所述方法还 包括: 基于 所述 目标对象 的面部几 何形状 , 对所述模板 图像中的 面部形状 进行 图 像校 正。 根据 本公开 的一个或 多个 实施例, 示例六 』提供 了一种图 像处理 方法 ", 还 包括: 在一 些实现 方式中 , 所述预设元素 以所述 第二展示 形式进 行展示 的多角度 展示 图像模 板集合的 建立过程 包括: 获取 预先制 作的所述 预设元 素以所 述第二展 示形式 进行展 示的三 维头部模 型 ; 模拟 环绕拍摄 过程 , 在多个角度对 所述三 维头部模 型拍照 潼染 , 得到多个 角度 的所述 预设元 素以所述 第二展 示形式 进行展 示的图像 , 以建立所述预 设元 素 以所述第二 展示形 式进行展 示的多 角度展示 图像模板 集合。 根据 本公开 的一个或 多个 实施例, 示例七 』提供 了一种图 像处理 方法 ", 还 包括: 在一 些实现 方式中 , 所述元素去除 处理模 型是基 于预设元 素去除 图像样 本 时进 行训练 得到的神 经网络 模型 , 其中, 所述预设元素去 除图像 样本对 中包括 包含 有预设 元素的 对象的原 始样本 图像, 以及与所述原始 样本图 像对应 的不包 含所 述预设 元素的样 本图像 。 根据 本公开 的一个或 多个 实施例, [示例八]提供 了一种 图像处 理方法 , 还 包括: 在一 些实现方 式中, 所述不包 含所述预 设元素 的样本图 像的获取 过程包括: 识别 所述原始 样本图像 中展示 所述预设 元素的 主体轮廓 ; 将位 于所述 主体轮廓 区域 内的所述 预设元 素的像素 点处理 为与所 述主体轮 廓 区域内的 非所述预 设元素 的像素 点的像 素信息一 致的像 素点, 并将位于所述 主体 轮廓 区域外的 所述预设 元素的 像素点 处理为 与所述主 体轮廓 区域外 的非所 述预 设元素 的像素 点的像素 信息一 致的像 素点, 得到所述 不包含 所述预设 元素 的样 本图像 。 根据 本公开 的一个或 多个 实施例, [示例九]提供 了一种 图像处 理装 .置, 包括 : 图像 获取模 块, 设置为获取 待处理 的目标 对象的原 始图像 , 其中, 所述原 始 图像中的预 设元素 以第一展 示形式 进行展示 ; 模板 匹配模 块, 设置为将所述 原始 图像输入 至经过预 训练的 元素去 除处理 模型 , 得到所述 目标对象 的预设元 素去除 图像, 并基于所述 目标对 象的预设 属 性参 数为所 述预设 元素去 除图像 匹配对应 的所述预 设元素 以第二 展示形 式进行 展 示的模板 图像; 图像 处理模 块, 设置为将所 述预设 元素去 除图像 、 所述模板图像 和所述模 板 图像中的 所述预设 元素 的掩膜 图像输入 至预设 图像元素 迁移模 型中, 得到所 述 目标对象 的目标 图像, 其中, 所述目标 图像中 所述预设 元素以 所述第 二展示 形 式进行展 示。 根据 本公开 的 -一个或多个实施例, F示例十 』提供 了一种 图像处理 装置, 还 包括: 在一 种实施方 式中, 图像处理模块设 置为: 通过 所述预 设图像元 素迁移 模型的 预设图像 编码器 对所述 预设元 素去除 图 像 . 所述 .模板图像和所述掩膜图像进行 特征融合 得到 目标特征编 码; 通过 所述预设 图像元 素迁移 模型的 图像解码 器对所 述目标 特征编码 进行解 码得 到所述 目标图像 , 其中, 所述图像 解码器为 经过预训 练的 图像生成 器。 根据 本公开 的一 ■个或多个实施例, (示例十一 J提供了一 种图像处 理装置 , 还 包括: 在一 种实施 方式中 , 所述图像处理 装置还 包括模 型训练模 块 , 设置为对所 述预 设图像 编码器进 行训练 , 训练过程包括: 将预 设对象 的无预设 元素样 本图像 、 与所述无预设 元素 图像匹配 的所述预 设元 素的预 设展示 形式模板 样本 图以及所 述模板样 本图 中的预设 元素的掩 膜样 本 图组成模 型训练样 本对; 将所 述模型刮 练样本 对输入至 初始图像 编码器 中, 得到初始图像 特征编码; 将所 述初始 特征编码 输入到 所述图 像解码 器中, 得到初始 解码图像 , 并根 据所 述初始 解码图像 与所述 模板样 本图之 间的损 失迭代更 新所述 初始图像 编码 器 , 得到所述预设 图像编码 器。 根据 本公开 的一个或 多个实施 例, 【示例十二』提供 了一种图像 处理装 置, 还.包括: 在一 种实施方 式中, 所述模板匹配模 块设置为 : 识别 所述 目标对象的 头部姿 态数据和 面部关键 点信息 ; 基 .于所述头部姿态数 据和所 述面部 关键点信 息, 在所述预 设元素 以所述 第 二展 示形式 进行展 示的多 角度展示 图像模 板集合 中, 匹配与所述 预设元 素去除, 图像 对应的模 板图像 。 根据 本公开 的一个或 多个实施 例, 【示例十三』提供 了一种图像 处理装 置, 还 包括: 在一 种实施方 式中, 所述图像处理装 置还包括 模板调整 模块, 设置为: 基于 所述 目标对象 的面部 几何形状 , 对所述模板 图像中的 面部形 状进行 图 像校 正。 根据 本公开 的一个或 多个实施 例, [示例十四]提供 了一种图像 处理装 置, 还 包括: 在一 种实施方 式中, 所述图像 处理装 置还包括 模板集 合生成模 块 ,设置为: 获取 预先制 作的所述 预设元 素以所 述第二展 示形 式进行展 示的三 维头部模 型 ; 模拟 环绕拍 摄过程 , 在多个角度对 所述三 维头部模 型拍照 潼染 , 得到多个 角度 的所述 预设元 素以所述 第二展 示形式 进行展 示的图像, 以建立 所述预设 元 素 以所述第二 展示形 式进行展 示的多 角度展示 图像模板 集合。 根据 本公开 的一 ■个或多个实施例, (示例十五』提供 了一种图像 处理装 置, 还 包括: 在一 种实施 方式中 , 所述元素去除 处理模 型是基于 预设元 素去除 图像样 本 对进 行训练 得到的神 经网络 模型 , 其中, 所述预设元素 去除图 像样本对 中包括 包含 有预设 元素的 时象的原 始样本 图像, 以及与所述原始 样本图 像时应 的不包 含所 述预设元 素的样 本图像 。 根据 本公开 的一个或 多个实施 例, I[示例十六』提供了一种图像 处理装 置 , 还 包括: 在-一种实施方 式中 , 所述图像处理 装置还 包括元素 去除处 理模型训 练模块 , 设置 为: 识别 所述 .原始样本图像中展示 所述预设 元素的 主体轮廓 ; 将位 于所述 主体轮廓 区域 内的所述 预设元素 的像素 点处理 为与所 述主体轮 廓 区域内的 非所述预 设元素 的像素 点的像 素信息一 致的像 素点, 并将位于所述 主体 轮廓 区域外的 所述预设 元素的 像素点 处理为与 所述主 体轮廓 区域外 的非所 述预 设元素 的像素 点的像素 信息一 致的像 素点, 得到所述 不包含 所述预设 元素 的样 本图像 ; 基于 所述不 包含所述 预设元 素的样 本图像进 行模型 训练, 得到所述元素去 除处 理模型 。 此夕卜, 虽然采用特定次序 ■描绘了多个操 作, 但是这不应 当理解 为要求 这些 操作 以所示 出的特 定次序或 以顺序 次序执 行来执行 。 在一定环境 下, 多任务和 并行 处理可 能是有 利的。 同样地, 虽然在上 面论述 中包含 了多个实 现细节, 但 是这 些不应 当被解释 为对本 公开的 范围的 限制。 在单独的 实施例 的上下文 中描 述 的一些特 征还可 以组合地 实现在 单个实 施例中 。 相反地, 在单个实施例 的上 下文 中描述 的多种特 征也可 以单独 地或以任 何合适 的子组 合的方 式实现在 多个 实施 例中。