Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
AUGMENTED REALITY-BASED DISPLAY METHOD, DEVICE, AND STORAGE MEDIUM
Document Type and Number:
WIPO Patent Application WO/2022/055421
Kind Code:
A1
Abstract:
An augmented reality (AR)-based display method, a device, and a storage medium. The method comprises: performing object segmentation on a target object in a real-time scene image acquired by an image acquisition unit to obtain a target object image; generating, according to the target object image, a virtual image corresponding to the target object; and displaying the virtual image in the real-time scene image on the basis of the AR technology. By obtaining the target object image, generating, on the basis of the target object image, the virtual image corresponding to the target object, and displaying the virtual image in the real-time scene image on the basis of the AR technology, various virtual images can be generated according to user needs to meet diverse needs of users, thus improving user experience during using AR technology.

Inventors:
ZHANG WENHAO (CN)
CHEN ZHILI (US)
LIU ANG (CN)
HU BOYUAN (CN)
YU WEISHAN (US)
Application Number:
PCT/SG2021/050508
Publication Date:
March 17, 2022
Filing Date:
August 26, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
LEMON INC (SG)
International Classes:
G06T7/10; G02B27/01; G06F3/01; G06T19/20
Foreign References:
CN111640200A2020-09-08
CN111640193A2020-09-08
US20200234498A12020-07-23
CN110412765A2019-11-05
US20130222427A12013-08-29
CN111638797A2020-09-08
CN109903392A2019-06-18
CN109427096A2019-03-05
CN202010937923A2020-09-09
Other References:
See also references of EP 4050561A4
Attorney, Agent or Firm:
POH, Chee Kian, Daniel (SG)
Download PDF:
Claims:
权 利要 求 书

1、 一种基于增强 现实的显示 方法, 包括: 对图像 采集单元 采集的实 时场景图像 中的目标 物体进行物 体分割 , 获取 目标 物体图像 ; 根据 所述目标物 体图像生 成所述 目标物体对应 的虚拟形 象; 基于增 强现实显 示技术, 将所述虚拟 形象显示 于所述 实时场景图像 中。

2、根据权 利要求 1所述的方法 , 其中, 所述根据所述目标物体图像 生成 所述 目标物体对 应的虚拟 形象, 包括: 将所述 目标物体 图像与动 画素材进行 合成, 以生成所述目标物体 对应的 虚拟 形象, 其中 ,所述预设动画素 材包括虚 拟形象 的肢体动画 素材和/或表情 动画素 材。

3、根据权 利要求 2所述的方法 , 其中, 所述将所述目标物体图像与 动画 素材 进行合成 , 包括: 获取所 述肢体动 画素材和/或所 述表情动 画素材; 根据 所述目标物 体图像 , 在所述目标物体图像 上确定 多个连接点 ; 通过 所述多个 连接点将 所述肢 体动画素 材和 /或所述表情动 画素材 与所 述 目标物体图像 进行合成 , 生成所述目标物 体对应的虚 拟形象 。

4、根据权 利要求 3所述的方法 , 其中, 所述对图像采集单元采集的 实时 场景 图像中的 目标物体进 行物体分 割, 获取目标物体 图像, 包括: 运行 物体分割 算法对 所述 实时场景 图像中的 所述 目标物体进 行物体 分 割 , 得到所述目标物体 图像的掩膜 和边界框 , 并获取所述掩膜 内部区域 的纹 理。

5、根据权 利要求 4所述的方法 , 其中, 所述通过所述多个连接点将 所述 肢体 动画素材 和 /或所述表情动画素材 与所述 目标物体图像 进行合成 ,生成所 述 目标物体对应 的虚拟形 象, 包括: 通过 所述多个 连接点将 所述肢 体动画素 材和 /或所述表情动 画素材 与所 述掩 膜内部 区域的纹理 进行合成 , 以生成所述目标物 体对应的虚 拟形象 。

6、 根据权利要求 4或 5所述的方 法, 还包括: 根据 所述边界框 的尺寸 , 调整所述动画素材 的尺寸; 以及 根据 所述边界框 的对称轴 和长宽比 , 调整所述目标物体 图像上的 多个连 接点 位置。

7、 根据权利要求 2至 6中任一权 利要求所 述的方法 , 还包括: 播放 所述动画素 材, 以对所述虚拟 形象进行 动作和/或表情控 制。

8、 根据权利要求 7所述的方法 , 其中, 所述播放所述动画素材 , 以对所 述虚 拟形象进行 动作和/或表 情控制, 包括: 根据 所述动画素 材的预设 动画帧播放 所述动画 素材, 以对所述虚 拟形象 进行 动作和 /或表情控制; 和 /或 根据 所述用户 的肢体动作 和/或表情生成 并播放所 述动画素 材的动画 帧, 以对 所述虚拟 形象进行动 作和/或表情控 制。

9、 根据权利要求 1-8任一所述的方 法, 其中, 所述基于所述增强现 实显 示技 术, 将所述虚拟形 象显示于所 述实时场 景图像中 , 包括: 在所 述实时场景 图像中创建 虚拟平面 ; 在所 述虚拟平 面处生成 3D空间; 基于 所述增强现 实显示技 术, 在所生成的 3D空间 中显示所述 目标物体 的虚 拟形象。

10、 根据权利要求 9所述的方 法, 其中, 所述基于所述实 时场景图像 中 的 目标平面 区域创建虚 拟平面, 包括: 若检测 到所述 实时场景图像 中存在 目标平面 区域, 则基于所述 目标平面 区域 创建所述虚 拟平面 , 其中目标平面区域 为与所述 图像采集 单元距离处 于 第一 预设距 离范围内和 /或处于所述实时 场景图像 的中心区域 内的平 面区域; 或者 在所 述实时场景 图像中的特 定位置处 创建所述 虚拟平面 。

11、根据权 利要求 9或 10所述的方法 , 其中, 所述基于所述增强现实显 示技 术, 在所生成的 3D空间中显 示所述 目标物体的虚 拟形象 , 包括: 在所 述 3D空间 中确定 目标位置; 基于 所述增强现 实显示技 术, 在所述 3D空间的 目标位置处显 示所述 目 标物 体的虚拟 形象。

12、 根据权利要求 11所述的方法 , 其中, 所述在所述 3D空间中 确定目 标位 置, 包括: 接收用 户发出的 位置指定 指令,根据用户的位 置指定指 令触发 的位置点 , 在所 述 3D空 间中建立 3D锚点, 将所述 3D锚点作为所 述目标位 置。

13、 根据权利要求 1-12任一所述的方 法, 还包括: 接收用 户的第一 触发指令 , 根据所述第一触 发指令运行 预加载的 物体分 割算 法, 以对所述实时场 景图像的 所述目标物 体进行物 体分割; 接收用 户的第二 触发指令 , 根据所述第二触 发指令停止 所述物体 分割算 法的 运行。

14、 根据权利要求 1-13任一所述的方法 , 其中, 所述将所述虚拟形象显 示于 所述实时 场景图像 中, 包括: 将所述 虚拟形 象动态显示 于所述实 时场景图像 中。

15、 一种基于增强 现实的显示 设备, 包括: 目标物 体确定单 元, 用于对图像采 集单元采集 的实时场景 图像中 的目标 物体 进行物体 分割, 获取目标物体 图像; 生成单 元, 用于根据所述 目标物体 图像生成 所述目标物 体对应的 虚拟形 象; 显示单 元, 用于基于增强 现实显示技 术, 将所述虚拟形 象显示于 所述实 时场景 图像中 。

16、 一种电子设备 , 包括: 至少一 个处理器 ; 以及 存储器 ; 所述存 储器存储 计算机执行 指令; 所述 至少一个处 理器执行 所述存储 器存储的计 算机执行 指令, 使得所述 至少 一个处理 器执行如权 利要求 1至 14任一项所述 的方法 。

17、 一种计算机可读 存储介质 , 其中, 所述计算机可读存储 介质中存 储 有计 算机执行指 令, 当处理器执行 所述计算机 执行指令 时, 实现如权利要 求 1 至 14任一项所 述的方法 。

Description:
基于增强 现实的显示 方法、 设备及存储介 质 本申请 要求于 2020年 9月 9日提交的 中国专利 申请第 202010937923.5 的优 先权, 该中国专利 申请的全文 通过引用 的方式结合 于此以作 为本申请 的 一部 分。 技术领 域 本公开 实施例涉 及一种基 于增强现 实的显示方 法、 设备及存储介质 。 背景技 术 增强现 实技术 ( Augmented Reality , 简称 AR) , 是一种将虚拟信息与真 实世 界融合的技 术, 广泛运用了 多媒体、 三维建模 、 实时跟踪及注册、 智能 交互 、 传感等多种技术手段 , 将计算机生成的文 字、 图像、 三维模型、 音乐、 视频等 虚拟信 息模拟仿真 后, 应用到真实世界 中, 两种信息互为 补充, 从而 实现对 真实世界 的 “增强” 。 随着增强现实技术的发 展, 其在各行业 中均得 到广 泛应用。 已知技 术中对 AR技术 的一种应 用是在真 实世界中 叠加虚拟模 型, 例如 卡通 人物模型 、 动物模型等, 然而, 已知技术中的虚 拟模型通 常是固定 的, 是 由开发人员预 先设计好 的虚拟模型 的形象 , 这就导致虚拟模型 形象比较单 一, 无法满足用户 多样化的 需求, 进而影响用 户使用 AR技术 的意愿和使 用 体验 。 发明 内容 本公开 实施例提 供一种基 于增强现 实的显示方 法、 设备及存储介质 , 以 克服 虚拟模型 形象比较单 一, 无法满足用户 多样化的 需求的问题 。 第一 方面, 本公开实施例 提供一种基 于增强现 实的显示 方法, 包括: 对图像 采集单元 采集的实 时场景图像 中的目标 物体进行物 体分割 , 获取 目标 物体图像 ; 根据 所述目标物 体图像生 成所述 目标物体对应 的虚拟形 象; 基于增 强现实显 示技术, 将所述虚拟 形象显示 于所述 实时场景图像 中。 第二 方面, 本公开实施例 提供一种基 于增强 现实的显示 设备, 包括: 目标物 体确定单 元, 用于对图像采 集单元采 集的实时场 景图像中 的目标 物体 进行物体 分割, 获取目标物体 图像; 生成单 元, 用于根据所述 目标物体 图像生成 所述目标物 体对应的 虚拟形 象; 显示单 元, 用于基于增强 现实显示技 术, 将所述虚拟形 象显示于 所述实 时场 景图像中 。 第三 方面, 本公开实施例 提供一种 电子设备 , 包括: 至少一个处理器和 存储 器; 所述存 储器存储 计算机执行 指令; 所述 至少一个处 理器执行 所述存储 器存储的计 算机执行 指令, 使得所述 至 少一个处 理器执行 如上第 一方面 以及第 一方面各 种可能 的设计 所述的方 法 。 第四 方面, 本公开实施例 提供一种 计算机可读 存储介质 , 所述计算机可 读存 储介质中存 储有计算 机执行指令 ,当处理器执行所 述计算机 执行指令 时 , 实现如 上第一 方面以及 第一方面各 种可能 的设计所述 的方法。 本公 开实施例提 供的基于 增强现实 的显示方 法、 设备及存储介质 , 该方 法通 过对图像采 集单元采 集的实时 场景图像 中的目标物 体进行物体 分割, 获 取 目标物体图像 ; 根据目标物体 图像生成 目标物体对应 的虚拟形 象; 基于增 强现 实显示技术 将虚拟形 象显示于 实时场景 图像中。通过获取 目标物体图像, 基于 目标物体 图像生成 目标物体对 应的虚拟 形象, 可以避免虚拟 形象需要 预 先设 计、 且形象固定单一 的问题 , 本公开实施例中可根 据用户需 求生成各 种 各样 的虚拟形 象, 可以满足用户多 样化的需 求, 通过增强现实技 术, 将虚拟 形 象增强显示 在实时场景 图像中 ,提高用户使用 AR技术的 意愿和使 用体验。 附图说 明 为了 更清楚地说 明本公开 实施例或 已知技术 中的技术方 案, 下面将对实 施例 或已知技 术描述中 所需要使 用的附图作 一简单地 介绍, 显而易见地 , 下 面描 述中的附 图是本公 开的一些 实施例, 对于本领域普 通技术人 员来讲 , 在 不付 出创造性 劳动性的前 提下, 还可以根据 这些附图获 得其他的 附图。 图 1为本公开一实施 例提供 的基于增强 现实的显 示方法流程 示意图 ; 图 2a为本公开一实施 例提供的显 示目标物 体图像的 轮廓的一 个示例图 ; 图 2b为本公开一实施 例提供的 用户发出 第一指令 、确定目标物体图像 一 个示 例图; 图 3 为本公开一 实施例提供 的目标 物体图像 的对应的 虚拟形 象的示例 图; 图 4为本公开一实施 例提供 的实时场景 图像中显示 虚拟形象 的示例图 ; 图 5为本公开一实施 例提供 的基于增强 现实的显 示方法流程 示意图 ; 图 6为本公开一实施 例提供 的生成目标 物体对应 的虚拟形 象过程的示 例 图; 图 7为本公开一实施 例提供 的基于增强 现实的显 示方法流程 示意图 ; 图 8为本公开实施例 提供的基 于增强现 实的显示设 备的结构框 图; 图 9为本公开实施例 提供的 电子设备的硬 件结构示 意图。 具体 实施方式 为使本 公开实施 例的目的 、 技术方案和优点更 加清楚 , 下面将结合本公 开实施 例中的 附图, 对本公开实施例 中的技 术方案进行 清楚、 完整地描述 , 显然 , 所描述的实施例是 本公开一 部分实施 例, 而不是全部的 实施例。 基于 本公 开中的实施 例, 本领域普通技 术人员在 没有作 出创造性劳动 前提下所 获 得的 所有其他 实施例, 都属于本公开保护的 范围。 本公开 实施例可 适用于任 意的具备 AR功 能的电子设备 ,例如智能手机 、 平板 电脑、 可穿戴设备等 等, 本公开实施例 的应用场景 可以包括 , 电子设备 通过 其图像采 集单元采集 实时场景 图像, 根据场景图像 中的目标 物体生成对 应的虚 拟形象 , 并经过本公开各实施 例的增 强现实的显 示方法, 将生成的虚 拟形 象在实时场 景图像中 进行显示 , 例如实时场景图像 中目标物体 为一个芒 果 , 通过采用本公开实施 例中的虚 拟形象生 成方法生 成目标物体 芒果对应 的 虚拟 形象, 经过本公开各 实施例的 增强现实 的显示方法 后, 将芒果对应的虚 拟形 象在实时场 景图像中 进行显示并 进一步通 过动画的形 式进行动 态显示, 其 中芒果对应 的虚拟形 象可具备 四肢和/或表 情, 且四肢和/或表情 可以有 一 定的 动作, 以使得芒果 对应的虚拟 形象在 实时场景中运 动。 参考 图 1 , 图 1为本公开实施例提供的基于增 强现实的 显示方法 流程示 意 图。 本实施例的方法 可以应用在 具备 AR功能 的电子设备 或服务器 中, 该 基于 增强现实 的显示方 法可以包括 :

S101、 对图像采 集单元采 集的实 时场景 图像中的 目标物体 进行物 体分 割 , 获取目标物体图像 。 在本 实施例中 , 电子设备的图像采 集单元如摄 像头等可 以采集实 时场景 图像 , 并显示在电子设备 的显示单元 中。 电子设备可通 过对实时场 景图像中 的 目标物体进行 物体分割 , 得到目标物体 图像。 具体的, 电子设备可运行 预 加载 的物体分割 算法, 以对实时场景图像进行 物体分割 , 从而得到目标物 体 图像 。 其中, 本公开实施例中采用 的物体分 割算法可 以包括显 著性物体 分割 算法 , 在分割时可将实 时场景图像 中的显著 物体作为 目标物体 , 并分割出目 标物 体图像, 其中, 显著物体可以为实时场景 图像中与 背景颜 色存在较大 差 异的 物体, 也可以为实 时场景图像 中心区域 处的物体 , 或者实时场景图像 中 所 占面积最大 的物体, 等等。 例如图 2a中所示, 实时场景图像中 的芒果在 实 时场 景图像中 的中心区域 且所占 面积最大 , 将其作为所述目标物 体; 而耳机 并未 在实时场景 图像中 的中心区域 , 所占面积较芒果 小很多, 因此不将其作 为 目标物体。 在一 个实施例 中, 当用户希望得到 实时场景 图像中的某 一目标物 体图像 对应 的虚拟形 象时, 用户可发出第 一指令, 使得电子设 备根据第 一指令获取 实时 场景图像 中的目标物 体图像。 在一个实施例中, 电子设备可以根据第 一 指令 , 基于图像采集单元 采集到 的实时场景 图像中的 目标物体 图像, 再复制 出 同样的目标 物体图像作 为获取到 的目标物体 图像, 并基于复制 后的目标 物 体 图像生成虚 拟形象。 在一 个实施例 中, 在电子设备分割处 目标物体 得到目标 物体图像 时, 还 可以 对目标物体 图像进行 标识, 例如, 电子设备可将 目标物体图像 进行突 出 显示 ,例如如图 2a所示, 电子设备可以通过描边 突出显示 目标物体 图像的轮 廓 , 或者, 也可对目标物体图像进 行高亮显 示, 或者, 对除了目标物体 图像 外的 图像区域 进行低亮度 显示等等 , 进而可以使得用 户确认当前 电子设备 分 割得 到的目标 物体是否 与用户 自己所需的 目标物一致 , 当用户确认一致 时, 可发 出第一指令 , 其中第一指令 包括但不 限于对经过 标识的 目标物体图像 的 点击操 作指令 、拖拽操作指 令等, 如图 2b所示, 用户通过在目标物 体图像 的 轮廓 区域内进行 拖拽,从而发 出上述 的拖拽操作 指令; 当用户确认不一 致时, 用户 可移动电子 设备, 使得电子设备 的图像采 集单元更换 角度重新 采集实时 场景 图像, 并再次运行物 体分割算 法, 再将实时场景 图像中的显 著物体作 为 目标 物体, 对目标物体 图像进行分割 并标识 , 以使用户重新确认 当前电子设 备所 确定的 目标物体是 否与用户 自己所需的 目标物一 致, 以及分割效果 是否 符合 用户的预期 。

5102、 根据目标物体 图像生成 目标物体对 应的虚拟 形象。 在本 实施例中 , 在得到目标物体 图像后 (例如, 复制原始目标物体图像 后获取 到的 目标物体图像 ) , 电子设备可根据目标物体 图像生成 目标物体 对 应的虚 拟形象 , 其中虚拟形象可具有 肢体动作 和/或表情动作 , 例如当目标物 体 图像为芒果 的图像时 , 则对应的虚拟形象可以 在芒果的 图像上长 出四肢和 面部 表情, 如图 3所示。 进一步的 , 四肢和表情还可具有 一定的 动作, 以驱 动芒 果的虚拟形 象在电子 设备的屏 幕中运动 。 可选 的, 在根据目标物体 图像生成 目标物体对 应的虚拟 形象时, 可将所 述 目标物体图像 与动画素 材进行合 成, 生成所述目标 物体对应的 虚拟形象 , 其 中, 动画素材包括虚拟 形象的肢体 动画素材 和 /或表情动画素材。 也即, 在 本 实施例中 , 可预先设计目标 物体对应 的虚拟 形象的肢 体动作和/或 表情动 作 , 生成相应的肢体动 画素材和 /或表情动画素材 , 以用于后续的合 成过程, 也即 在目标物体 图像上 添加肢体动 画素材和/表情 动画素材 ,得到目标物体 对 应的 虚拟形 象, 且该虚拟形象 的肢体和/或表 情可以根 据肢体 动画素材 和/表 情动 画素材的播 放进行一 定的动作 。

5103、 基于增强现 实显示技术将 虚拟形 象显示于实 时场景图像 中。 在本 实施例中 , 在得到目标物体的 虚拟形象后 , 电子设备可通过 增强显 示技 术, 将目标物体的虚 拟形象显 示在实时 场景图像 中, 也即将虚拟形象 通 过增 强现实技术 叠加到真 实的实时场 景图像 中, 实现增强显示的作 用, 如图 4 所示 。 在一个实施例中 , 电子设备可以将 目标物体的虚 拟形象动 态显示在 实时 场景图像 中。 在一个 实施例 中, 电子设备可以响应 于用户的 第一指令 , 将虚拟形象增 强显 示在实时场 景图像 中, 该第一指令可以 包括但不 限于用户发 出的对 目标 物体 图像的点 击操作指令 、 拖拽操作指令 、 语音操作指令、 表情识别获取 到 的操 作指令等 。 此外, 电子设备还可以在确 定虚拟形 象的显示位 置后, 自动 将 目标物体的虚 拟形象增 强显示在 实时场景 图像的该显 示位置处 。 在一种 可选实施 例中, 用户可将获取 到的复制 后的目标 物体图像从 原始 目标 物体图像 的初始位 置出拖动至 实时场景 图像中的 某一位置处 ,进一步的, 基于 增强现实显 示技术 , 在该位置处显示 目标物体的虚 拟形象; 或者也可先 显示 出基于复 制后的 目标物体图像 生成的 目标物体的虚 拟形象 , 再基于用户 的拖 动操作将 该虚拟形 象显示至 实时场景图像 中的某一 位置处。 可选 的, 用户还可对所显示 的虚拟形 象进行旋转 、 缩放、 移动等, 例如, 用户 可在电子设 备的显示 界面上发 出对虚拟形 象的控制 指令, 控制指令可 包 括但 不限于旋 转控制指 令、缩小控制 指令、移动控 制指令 、放大控制指 令等, 电子设 备响应于 用户对虚 拟形象的控 制指令 , 对虚拟形象进行相应 的控制 。 需要 说明的是 ,本实施例中的旋转 可包括虚 拟形象在 任意情况 下的角度 变化, 移动 可包括虚 拟形象在任 意情况 下的位置 变化。 缩放可以包括 虚拟形象 在任 意情 况下的 大小的变化 。 当然本实施例中 , 用户还可与虚拟形 象进行更 多其 他的 交互过程 , 为简明起见, 此处不再 赘述 。 本实施 例提供 的基于增 强现实的显 示方法, 通过对图像 采集单元 采集的 实时 场景图像 中的目标物 体进行物体 分割, 获取目标物体图像; 根据目标物 体 图像生成 目标物体对应 的虚拟形 象; 基于增强现实显 示技术将 虚拟形象显 示于 实时场景 图像中。 通过获取 目标物体图像 , 基于目标物体图像 生成 目标 物体 对应的虚 拟形象, 可以避免虚 拟形象需 要预先设计 、 且形象固定单一 的 问题 , 本实施例中可根据 用户需求 生成各种 各样的虚 拟形象, 可以满足用 户 多样 化的需求 , 通过增强现实技术 , 将虚拟形象显示在 实时场景 图像中, 提 高用 户使用 AR技术 的意愿和使 用体验。 在上 述任一实施 例的基础 上, 在根据目标物体 图像生成 目标物体 对应的 虚拟 形象时, 可将目标物体图像与 动画素材 进行合成 , 生成目标物体对应 的 虚拟 形象,其中,动画素材 包括虚拟形 象的肢体 动画素材 和 /或表情动画素材。 其中 , 可选的, 如图 5所示, 将目标物体图像与 动画素材 进行合成 的步 骤, 具体可包括: 5201、 获取肢体动画 素材和/或所述 表情动画 素材;

5202、 根据目标物体 图像, 在目标物体 图像上确定 多个连接 点;

5203、通过该多个 连接点将 肢体动画 素材和/或表情 动画素材 与目标物体 图像 进行合成 , 生成目标物体对应 的虚拟形 象。 在本 实施例中 , 电子设备首先可获取虚拟 形象的肢 体动画素材 和/或表情 动画 素材,其中肢体 动画素材 和/或表情动画 素材可以 预先配置 并存储在 电子 设备 中, 在需要进行合成 时, 电子设备可提取出肢 体动画素 材和 /或表情动画 素材 , 并且根据目标物 体图像的属 性 (例如, 形状、 大小、 纹理等)在目标 物体 图像上确 定多个连接 点,其中连接 点为肢体 动画素材 和/或表情动画素 材 与 目标物体图像 结合的位 置, 例如电子设备 可以将 目标物体图像 设置为虚 拟 形 象的身体躯 干部分 ,将在目标图像上确 定的多个 连接点设置 为肢体连接 点, 由此 , 连接点可包括虚 拟形象的肢 体与身体 躯干部分 的连接位 置, 进而电子 设备 可通过连接 点将肢体 动画素材 与目标物体 图像进行 合成, 使得目标物 体 图像 长出肢体 。 此外, 电子设备还可以根据 目标物体 图像, 在该目标物体 图 像上 确定表情 在虚拟形 象的身体躯 干部分 的放置位 置, 例如, 所述身体躯干 的 中心, 即, 所述目标物体图像 的中心位 置, 并将表情动画素 材与目标 物体 图像 进行合成 , 从而使得目标物体 图像对应 的虚拟形 象还具有表 情。 此外, 肢体 和 /或表情还可以具有一 定的动画 效果,从而进一 步生成具 有动画效 果的 目标 物体对应 的虚拟形 象, 具体如图 6所示。 在上 述实施例 的基础上 ,获取所述目标物体 图像上的 多个连接点 的步骤 , 具体 可包括: 根据 目标物体 图像对所述 动画素材进 行调整 ; 以及确定所述目标 物体图 像的 多个连接 点的位置 。 本实施 例中, 由于目标物体图像可 能有大有 小, 因此动画素材则 需要相 应的 根据目标 物体图像 的大小进行 调整, 使得调整后 的动画素材 与目标物 体 图像 的比例相 互匹配。 进一步的, 电子设备还可以基 于目标物体 图像的形 状 等 因素在目标 物体图像 上确定多个 连接点 的位置, 以使得动画素材能够 在合 适位 置的连接 点处与 目标物体图像 进行连接从 而具有 美观性, 也即, 调整后 的肢 体动画素 材处于 目标物体图像 的合适位 置处, 调整后的表 情动画素材 也 位于 目标物体 图像的合适 位置处 。 根据 本公开实施 例中的方 法, 电子设备对图像 采集单元 采集的实 时场景 图像 中的目标 物体进行物 体分割 , 获取目标物体图像 , 包括: 运行 物体分割 算法对实时 场景图像 中的目标物 体进行物体 分割, 得到目 标物 体图像的掩 膜和边界 框, 并获取掩膜 内部区域的 纹理。 本实施 例中, 在采用物体 分割算法 进行物体 分割时, 可得到目标物体的 掩膜 Mask和边界 框 Box , 以及掩膜内部区域 的纹理。 相应 的, 电子设备可根据 所述边界框 尺寸, 调整所述动 画素材的 尺寸, 并根 据所述边 界框的对 称轴和长宽 比, 调整所述目标物 体图像上 的多个连接 点位 置。 在本 实施例中 ,电子设备可以根据 边界框尺 寸确定 目标物体图像 的尺寸 , 进而基 于边界框 尺寸来调 整动画素 材的尺寸 , 也即, 若边界框尺寸较大 , 则 适应 性增大动 画素材的尺 寸, 若边界框尺寸 较小, 则适应性减 小动画素材 的 尺寸 。 电子设备还可根据 边界框的 对称轴和 长宽比来确 定目标物体 图像的 多 个连接 点的位 置, 例如确定上肢 的连接点 的位置、 下肢的连接点的位置 , 以 及基 于目标图像 确定面部 表情在 目标图像 中的放置位 置等等 , 其中肢体的连 接点 可以在 目标物体图像 对称轴的 两侧对称设 置, 且需要根据长 宽比来确 定 连接 点的具体位 置, 例如对于瘦 高型 (即, 边界框的长宽比更大) 的目标物 体 图像, 其上肢的连接 点需要向上 部调整 , 下肢的连接点需要 向下部调 整, 而对 于矮胖型 (即, 边界框的长宽比较小 ) 的目标物体图像, 其上肢的连 接 点需 要向下部 调整, 下肢的连接 点需要向上 部调整 , 通过上述的调整使得 最 终得 到的虚拟 形象的身体 比例更加 协调合理 。 在上 述实施例 的基础 上, 通过所述多 个连接点 将所述肢 体动画 素材和/ 或所 述表情动 画素材与 目标物体 图像进行合 成, 以生成所述 目标物体对应 的 虚拟 形象, 包括: 通过 多个连接 点将肢体 动画素 材和/或所述 表情动 画素材与 掩膜 内部区 域的 纹理进行合 成, 生成目标物体 对应的虚 拟形象。 在本 实施例中 , 电子设备可通过连接点将 肢体动画 素材和/或表情 动画素 材与 掩膜内部 区域的纹 理进行合成 , 从而得到目标物 体对应的虚 拟形象 , 也 即在 掩膜内部 区域的纹 理的基础上 显示出肢 体动画素 材和 /或表情动画素材。 在一 个实施例 中, 在确定了目标物 体图像 的连接点和 调整后的 动画素材 的尺 寸后 , 电子设备可通过连接点将 肢体动 画素材和/或表 情动画素材 与掩膜 内部 区域 的纹理进行 合成, 从而得到 目标物体对 应的虚拟形 象。 进一 步的, 电子设备还可以播放 动画素 材, 包括播放肢 体动画 素材和/ 或表 情动画素材 , 从而对虚拟形象进 行动作和/或表 情控制, 也即虚拟形 象的 肢体 和/或表情可以展 示出相 应的动作 。 具体 的, 电子设备可根据 该动画素材 的预设动 画帧播放该 动画素材 , 以 对该虚 拟形象进 行动作和 /或表情控制; 和 /或, 根据用户的肢体动作和 /或表 情生 成并播放 动画素材 的动画帧 ,以对目标物体对 应的虚拟 形象进行动 作和/ 或表 情控制。 也即, 上述的动画素材可包括 预设动画 帧, 预设动画帧中可预 先设 置肢体和/或表 情具体展 示怎样的动 画。 在一个实施例中 , 电子设备还可 以 实时采集用户 的图像 ,并根据用户的肢 体动作和 /或表情动作生成对应的肢 体动 画素材和/或表 情动画素材 的动画帧 ,从而实现用户 通过动作控 制目标物 体对应 的虚拟形 象的动作 。 例如用户做出某 个月支体动作, 则虚拟形象也相应 的展 示相同的 肢体动作 , 和/或用户做出某个表情 , 则虚拟形象也相应的展 示 相 同的表情 , 通过采用用户的动作 驱动并控 制目标物体 对应的虚 拟形象的 动 作 , 能够提高用户的操作 体验和 乐趣。 在上述 任一实施 例的基础 上, 所述基于所述 增强现实显 示技术, 将所述 虚拟 形象显示 于所述实 时场景图像 中的步骤 , 包括如下操作: 在实 时场景图像 中创建虚拟 平面; 在虚拟平面 处生成 3D空间 ; 基于所 述增 强现实显示 技术, 在所生成的 3D空间处 显示目标物 体的虚拟 形象。 在本 实施例中 , 在增强显示目标物体 的虚拟形 象时, 为了保证虚 拟形象 在 实时场景图像 中的动作 更加真实 、 立体, 可在实时场景图像中创 建一个虚 拟的 3D 空间。 具体的, 电子设备首先在 实时场景 图像中创建 虚拟平面 , 再 以虚 拟平面为基 础, 在虚拟平面之 上生成 3D空 间, 进而基于所述增 强现实 显示技 术, 将虚拟形象增 强显示在 该 3D空 间中。 在上述 实施例 的基础上 , 在所述实时场景图像 中创建虚 拟平面, 具体可 包括 : 若检测 到所述 实时场景图像 中存在 目标平面 区域, 则基于所述 目标平面 区域 创建所述虚 拟平面 , 其中目标平面区域 为与所述 图像采集单 元距离处 于 第一 预设距离 范围内和 /或处于所述实时 场景图像 的中心区域 内的平面 区域; 或者 , 在所述实时场景 图像中的特 定位置处创 建所述虚 拟平面 。 在本 实施例中 ,电子设备可通过 诸如 SLAM算 法基于 实时场景图像 检测 实时 场景图像 中包括的平 面区域 , 判断与图像采集单元 距离在第 一预设范 围 内和 /或处于实时场景图像中心 区域内是 否存在平 面区域, 若存在, 可将检测 到的 该平面区域 作为 目标平面区域 , 进一步的, 在该目标平面 区域的基础 上 创建虚 拟平面 , 虚拟平面可紧贴 目标平面区域 , 或者平行于 目标平面区域 、 且与 目标平面 区域保持 一定的固 定距离。若电子设备 未检测到 目标平面 区域, 则可 在实时场景 图像中特 定位置处创 建虚拟平 面。 或者电子设备 不检测目标 平面 区域, 直接在实时 场景图像 中特定位置 处创建虚拟 平面。 其中实时场景 图像 中的特定位 置可以 包括实时场 景图像的 中心区域 或右上角 等区域, 特定 位置 具体在 实时场景图像 的哪一位 置可根据 实际需求进 行设置。 在上述 实施例 的基础上 , 在生成的 3D 空间中显示 目标物体 的虚拟形 象 时, 由于 3D空间可 能比较大 , 因此需要确定具体将 虚拟形象 显示在 3D空间 的 目标位置处 , 也即, 可以首先在 3D 空间中确 定目标位置 ; 再基于增强现 实显 示技术, 在 3D空间 的目标位置 处显示 目标物体的虚 拟形象 。 在上述 实施例 的基础上 , 在 3D空间中确定 目标位置, 包括: 接收用 户发出的 位置指定 指令,根据用户的位 置指定指 令触发 的位置点 , 在 3D空间中建 立 3D锚点 , 将所述 3D锚点作 为所述 目标位置。 在本 实施例中 , 用户可发出位置指 定指令, 电子设备在接收到用 户发出 的位 置指定指 令后, 可确定用户 的位置指 定指令触发 的位置点 , 基于该位置 点延 伸到 3D空间产生 交点, 基于该交点在 3D空 间中建立 3D锚点 , 该 3D 锚点 即为在 3D空间 中显示虚拟 形象的 目标位置 , 进而电子设备将目标 物体 的虚 拟形象在 3D空间中 的 3D锚点 处增强显示 。 可选 的, 用户发出的位置 指定指令 可以为, 用户对虚拟 形象进行拖 动操 作结 束指令, 拖动结束指 令触发的 位置处 (也即用户拖 动结束处 )为用户 的 位置 指定指令 触发的位 置点; 此外, 位置指定指令也 不限于是 用户对虚 拟形 象的 拖动操作 的结束指令 , 也可以为用户的 点击操作指 令, 点击操作指令 触 发的位 置点 (也即用户点击位置 )为用户的位 置指定指 令触发 的位置点 。 当然 电子设备也 可将虚拟模 型显示于 实时场景 图像中的任 意位置 , 例如 显示 在电子设备 在实时场景 图像中识 别到的任 意平面区域 。 当然, 电子设备 还可 通过其他 方式确定虚 拟模型 的显示位置 , 本实施例中可不做 限定。 在上 述任一实施 例的基础 上, 在根据所述 目标物体图像 生成所述 目标物 体对 应的虚拟形 象之后 , 在实时场景图像中 的目标位置 处增强显 示所述 目标 物体 的虚拟形 象之前, 还包括预放置阶段 , 即, 可以将目标物体对应的虚 拟 形 象悬浮于图像 采集单元 前方的预 定位置处 , 在确认实时场景图像 中的 目标 位置 后, 再将虚拟形象 显示在 目标位置处 。 在上述任一实施例 的基础上 , 如 图 7所示, 所述方法还包括 :

5301、 接收用户的第 一触发指令 , 根据所述第一触 发指令运 行预加载 的 物体 分割算法 , 以对所述实时场景 图像的所 述目标物体 进行物体 分割;

5302、 接收用户的第 二触发指令 , 根据所述第二触 发指令停 止所述物 体 分割 算法的运 行。 在本 实施例中 , 在获取图像采集单元 采集的 实时场景图像 中的 目标物体 图像 时, 针对于物体分割 算法, 为了避免物 体分割算 法长时间运 行, 占用电 子设 备的运算 资源, 因此可控制物 体分割算 法的适 时运行和停 止运行, 当需 要运 行物体分 割算法时 , 用户可发出第一触 发指令 , 第一触发指令可以 为开 启 图像采集单元 的触发指 令, 也可以是在 图像采集单 元在采集 实时场景 图像 的过 程中、 用户通过触发 界面中的 启动按钮 时发出的触 发指令。 电子设备响 应用 户的触发指 令, 启动运行物体 分割算法 , 从而开始对实时场 景图像中 的 目标 物体进行 物体分割 。 进一 步的, 当电子设备 已获取实时场 景图像中 的目标物体 图像, 此时则 可停 止物体分 割算法的 运行, 或者, 响应于用户发 出第二触发 指令, 电子设 备根 据第二触发 指令停止 物体分割 算法的运 行, 例如用户关 闭图像采集单 元 或者 触发界面 中的停止 按钮等, 或者, 响应于用户发 出的第一 指令选择分 割 出的 目标物体 图像, 电子设备根据 该第一指令 停止物体 分割算 法的运行 ; 此 处可 不做限定 。 例如 , 电子设备运行算法模 块中的物 体分割 算法, 当接收到第一 触发指 令 (对应于触发 算法运行 的指令 ) , 即启动物体分割算法的运 行; 当接收到 第二 触发指令 (对应于触 发算法终 止运行的 指令) , 则停止物体分割算 法的 运行 。 在一 个实施例 中, 当用户发出第一 指令选择分 割出的 目标物体 图像后, 电子设 备根据第 一指令 已获取实时 场景图像 中的目标物体 图像, 此时则可停 止物 体分割算 法的运行 。 在一个 实施例 中, 用户也可通过长按 操作控制 物体分割 算法的启 动, 在 长按操 作的过程 中物体分 割算法持 续保持运 行, 当长按操作停 止时, 可结束 物体 分割算法 的运行。 通过采 用上述方 式控制物 体分割算 法的适时运 行和停 止运行, 可以避免 物体 分割算法 在电子设备 中的长时 间运行, 并节约了电子设备的运 算资源 。 对应于 上文实施 例的基于 增强现实 的显示方法 , 图 8为本公开实施例 提 供的 基于增强 现实的显示 设备的结构 框图。 为了便于说明, 仅示出了与本公 开实施 例相关 的部分。 参照图 8, 所述基于增强 现实的显 示设备 80包括: 目 标物体 确定单元 801、 生成单元 802、 及显示单元 803。 目标物 体确定单 元 801 , 用于对图像采集单元采集的 实时场景图像 中的 目标 物体进行物 体分割 , 获取目标物体图像 ; 生成单 元 802, 用于根根据所述 目标物体 图像生成所 述目标物体 对应的 虚拟 形象; 显示单 元 803 , 用于基于增强现 实显示技术 , 将所述虚拟形象显 示于所 述 实时场景图像 中。 根据本 公开的一 个或多个 实施例 , 所述生成单元 802在根据所述目标 物 体 图像生成所 述目标物体 对应的虚 拟形象时 , 用于: 将所述 目标物体 图像与动 画素材进行 合成, 以生成所述目标物体 对应的 虚拟 形象, 其中 ,所述预设动画素 材包括虚 拟形象 的肢体动画 素材和/或表情 动画素 材。 根据本 公开的一 个或多个 实施例 , 所述生成单元 802在将所述目标物 体 图像 与动画素材 进行合成 时, 用于: 获取所 述肢体动 画素材和/或所 述表情动 画素材; 根据 所述目标物 体图像 , 在所述目标物体图像 上确定 多个连接点 ; 通过 所述多个 连接点将 所述肢 体动画素 材和 /或所述表情动 画素材 与所 述 目标物体图像 进行合成 , 生成所述目标物 体对应的虚 拟形象 。 根据本 公开的一 个或多个 实施例 , 所述目标物体确定单 元 801在对图像 采集 单元采集 的实时场景 图像中的 目标物体 进行物体分 割, 获取目标物体 图 像时 , 用于: 运行 物体分割 算法对 所述 实时场景 图像中的 所述 目标物体 进行物体 分 割 , 得到所述目标物体 图像的掩膜 和边界框 , 并获取所述掩膜 内部区域 的纹 理 。 根据 本公开的一 个或多个 实施例 , 所述生成单元 802在通过所述多个 连 接点 将所述 肢体动画 素材和 /或所述表情 动画素材 与所述 目标物体 图像进行 合成 , 生成所述目标物 体对应的虚 拟形象时 , 用于: 通过 所述多个 连接点将 所述肢 体动画 素材和 /或所述表情动 画素材 与所 述掩 膜内部 区域的纹理 进行合成 , 以生成所述目标物 体对应的虚 拟形象 。 根据 本公开的一 个或多个 实施例 , 所述生成单元 802还用于: 根据 所述边界框 的尺寸 , 调整所述动画素材 的尺寸; 以及 根据 所述边界框 的对称轴 和长宽比 , 调整所述目标物体 图像上的 多个连 接点 位置。 根据 本公开的一 个或多个 实施例 , 所述显示单元 803还用于 : 播放 所述动画素 材, 以对所述虚拟 形象进行 动作和/或表情控 制。 根据 本公开的一 个或多个 实施例 , 所述显示单元 803在播放 所述动画 素 材 , 以对所述虚拟形象 进行动作和/或表 情控制 时, 用于: 根据 所述动画素 材的预设 动画帧播放 所述动画 素材, 以对所述虚 拟形象 进行 动作和 /或表情控制; 和 /或 根据 所述用户 的肢体动作 和/或表情生成 并播放所 述动画素 材的动画 帧, 以对 所述虚拟 形象进行动 作和/或表情控 制。 根据 本公开的一 个或多个 实施例 , 所述显示单元 803在基于 所述增强 现 实显 示技术, 将所述虚拟 形象显示 于所述实 时场景图像 中时, 用于: 在所 述实时场景 图像中创建 虚拟平面 ; 在所 述虚拟平 面处生成 3D空间; 基于 所述增强现 实显示技 术, 在所生成的 3D空间 中显示所述 目标物体 的虚 拟形象。 根据 本公开的一 个或多个 实施例 , 所述显示单元 803在基于 所述实时 场 景 图像中的 目标平面区域 创建虚拟 平面时, 用于: 若检测 到所述 实时场景图像 中存在 目标平面 区域, 则基于所述 目标平面 区域 创建所述虚 拟平面 , 其中目标平面区域 为与所述 图像采集单 元距离处 于 第一 预设距离 范围内和 /或处于所述实时 场景图像 的中心区域 内的平面 区域; 或者 在所述 实时场景 图像中的特 定位置处 创建所述 虚拟平面 。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803在基于 所述增强 现 实显 示技术, 在所生成的 3D空间中显 示所述 目标物体的 虚拟形象 时, 用于: 在所述 3D空间 中确定 目标位置; 基于 所述增强现 实显示技 术, 在所述 3D空间的 目标位置处显 示所述 目 标物体 的虚拟形 象。 根据本 公开的一 个或多个 实施例 , 所述显示单元 803在所述 3D 空间中 确定 目标位置 时, 用于: 接收用 户发出的 位置指定 指令,根据用户的位 置指定指 令触发 的位置点 , 在所 述 3D空 间中建立 3D锚点, 将所述 3D锚点作为所 述目标位 置。 根据本 公开的一 个或多个 实施例 , 所述目标物体确定单 元 801还用于 : 接收用 户的第一 触发指令 , 根据所述第一触 发指令运行 预加载的 物体分 割算 法, 以对所述实时场 景图像的 所述目标物 体进行物 体分割; 接收用 户的第二 触发指令 , 根据所述第二触 发指令停止 所述物体 分割算 法的 运行。 根据本 公开的一 个或多个 实施例 , 所述显示单元在将所 述虚拟形 象显示 于所 述实时场景 图像中时 , 用于: 将所述 虚拟形 象动态显示 于所述实 时场景图像 中。 本实施 例提供 的基于增强 现实的显示 设备, 可用于执行 上述方法 实施例 的技 术方案, 其实现原理和技术效 果类似, 本实施例此处不再赘 述。 参考 图 9, 其示出了适 于用来实现 本公开实施 例的电子 设备 900的结构 示意 图, 该电子设备 900可以为终端设备或 服务器 , 并可用于执行上述 方法 实施 例的基于增 强现实显 示的方法 。 其中, 终端设备可以包括但 不限于诸 如 移动 电话、 笔记本电脑 、 数字广播接收器 、 个人数字助理 ( Personal Digital Assistant, 简称 PDA ) 、 平板电脑 ( Portable Android Device, 简称 PAD ) 、 便携 式多媒体 播放器 ( Portable Media Player, 简称 PMP ) 、 车载终端 (例如 车载 导航终端 )等等的移 动终端 以及诸如数 字 TV、 台式计算机等等 的固定 终端 。 图 9示出的电子设备仅 仅是一个 示例, 不应对本公 开实施例 的功能和 使用 范围带来任 何限制 。 如图 9所示, 电子设备 900可以 包括处理装 置 (例如中央处理 器、 图形 处理 器等 ) 901 , 其可以根据存储在只读存储器 ( Read Only Memory , 简称 ROM ) 902 中的程序或者从存储 装置 908加载到 随机访问存 储器 (Random Access Memory , 简称 RAM) 903中的程序 而执行各种 适当的动 作和处理 。 在 RAM 903中, 还存储有电子 设备 900操作所需的各 种程序和数 据。 处理 装置 901、 ROM 902以及 RAM 903通过总线 904彼此相连。输入 /输出( I/O) 接 口 905也连接至 总线 904。 通常 , 以下装置可以连接 至 I/O接口 905: 包括例如触摸 屏、 触摸板、 键盘 、 鼠标、 摄像头、 麦克风、 加速度计、 陀螺仪等的输入装置 906; 包括 例如 液晶显示 器 ( Liquid Crystal Display , 简称 LCD) 、 扬声器、 振动器等 的输 出装置 907; 包括例如磁带、硬盘等的存储 装置 908; 以及通信装置 909 o 通信 装置 909可以允许电子设备 900与其他设备 进行无线 或有线通 信以交换 数据 。 虽然图 9示出 了具有各种装 置的电子 设备 900, 但是应理解的是, 并 不要 求实施或 具备所有 示出的装 置。 可以替代地实施 或具备更 多或更少 的装 置 。 特别地 , 根据本公开的 实施例, 上文参考流程 图描述 的过程可 以被实现 为计 算机软件程 序。 例如, 本公开的实施例 包括一种计 算机程序 产品, 其包 括承 载在计算机 可读介质 上的计算 机程序, 该计算机程序包含用 于执行流 程 图所 示的方法 的程序代 码, 并可用于执行上 述方法 实施例的基 于增强现 实显 示的 方法。 在这样的实施 例中, 该计算机程 序可以通 过通信装 置 909从网络 上被 下载和安 装, 或者从存储装 置 908被安装 , 或者从 ROM 902被安装 。 在该 计算机程序 被处理装 置 901执行时 , 执行本公开实施例 的方法中 限定的 上述 功能。 需要说 明的是 , 本公开上述的计算机 可读介质 可以是计 算机可读 信号介 质或 者计算机 可读存储介 质或者是 上述两者 的任意组合 。 计算机可读存储 介 质例 如可以是 但 不限于 电 、 磁、 光、 电磁、 红外线、 或半导体的系 统、 装置或器件, 或者任意以上 的组合。 计算机可读 存储介质 的更具体 的例 子可 以包括但 不限于: 具有一个或多个导 线的电连接 、 便携式计算机磁盘 、 硬盘 、 随机访问存储器 (RAM ) 、 只读存储器(ROM ) 、 可擦式可编程只 读存 储器( EPROM 或闪存 )、光纤、便携式紧凑磁盘只读存 储器( CD-ROM )、 光存 储器件、 磁存储器件 、 或者上述的任 意合适的组 合。 在本公开中, 计算 机可 读存储介质 可以是任 何包含或 存储程序 的有形介 质, 该程序可以被指 令 执行 系统、 装置或者器件 使用或者 与其结合 使用。 而在本公开中, 计算机可 读信 号介质可 以包括在基 带中或者 作为载波 一部分传播 的数据信 号, 其中承 载 了计算机可读 的程序代 码。 这种传播的数据 信号可 以采用多种 形式, 包括 但不 限于电磁信 号、 光信号或上 述的任意合 适的组合 。 计算机可读信号 介质 还可 以是计算机 可读存储 介质以外 的任何计 算机可读介 质, 该计算机可读信 号介 质可以发 送、 传播或者传输用 于由指令 执行系统 、 装置或者器件使用 或 者与 其结合使 用的程序 。 计算机可读介质上 包含的程 序代码可 以用任何 适当 的介 质传输, 包括但不限于: 电线、 光缆、 RF(射频)等等, 或者上述的任 意合 适的组合 。 上述计 算机可读 介质可以 是上述电子 设备中所 包含的; 也可以是单独存 在 , 而未装配入该电子设 备中。 上述计 算机可读 介质承载有 一个或者 多个程序 , 当上述一个或者 多个程 序被 该电子设备 执行时, 使得该电子 设备执行 上述实施例 所示的方 法。 可以 以一种或 多种程序设 计语言或其 组合来编 写用于执行 本公开 的操作 的计 算机程序 代码, 上述程序设计 语言包括 面向对象 的程序设计 语言一诸如 Java、 Smalltalk. C++, 还包括常规的过程式程序设计语 言一诸如 “C” 语言 或类 似的程序设 计语言 。 程序代码可以完全 地在用户计 算机上执 行、 部分地 在用 户计算机 上执行、 作为一个独 立的软件 包执行、 部分在用户 计算机上 部 分在 远程计算机 上执行 、 或者完全在远程计 算机或服 务器上执行 。 在涉及远 程计 算机的 情形中 , 远程计算机可 以通过任 意种类 的网络 — 包括局域 网 ( Local Area Network , 简称 LAN)或广域网 ( Wide Area Network , 简称 WAN )一连接 到用户计算 机, 或者, 可以连接到外部计算 机 (例如利用因特 网服 务提供商 来通过因特 网连接 ) O 附图 中的流程 图和框图 , 图示了按照本公开各 种实施例 的系统、 方法和 计算 机程序产 品的可能 实现的体 系架构、 功能和操作 。 在这点上, 流程图或 框 图中的每个 方框可以 代表一个模 块、 程序段、 或代码的一部 分, 该模块、 程序 段、 或代码的一部 分包含一 个或多个 用于实现规 定的逻辑 功能的可执 行 指令 。 也应当注意, 在有些作为替 换的实现 中, 方框中所标注 的功能也可 以 以不 同于附 图中所标注 的顺序发生 。 例如, 两个接连地表示的 方框实际上 可 以基 本并行地 执行, 它们有时也可 以按相反 的顺序执行 , 这依所涉及的功 能 而定 。 也要注意的是 , 框图和 /或流程图中的每个方 框、 以及框图和 /或流程 图中 的方框的组 合, 可以用执行规 定的功能 或操作的 专用的基 于硬件的 系统 来 实现, 或者可以用专用 硬件与计 算机指令 的组合来 实现。 描述 于本公开 实施例中所 涉及到的 单元可以通 过软件 的方式实现 , 也可 以通 过硬件的 方式来实现 。 其中, 单元的名称在某种 情况下并 不构成对该 单 元本 身的限定 , 例如, 第一获取单元还可以 被描述为 “获取至少 两个网际协 议地 址的单元” 。 本文 中以上描述 的功能可 以至少部 分地由一 个或多个 硬件逻辑 部件来执 行。 例如, 非限制性地, 可以使用的示范 类型的硬件 逻辑部件 包括: 现场可 编程 门阵列 (FPGA) 、 专用集成电路( ASIC) 、 专用标准产品( ASSP) 、 片上 系统 (SOC) 、 复杂可编程逻辑设备 ( CPLD)等等。 在本公 开的上下 文中, 机器可读介 质可以是有 形的介质 , 其可以包含或 存储 以供指令执 行系统 、 装置或设备使用或 与指令执行 系统、 装置或设备 结 合地 使用的程 序。 机器可读介质可 以是机 器可读信号 介质或机 器可读储存 介 质。 机器可读介 质可以 包括但不 限于电子的 、 磁性的、 光学的、 电磁的、 红 夕卜的、 或半导体系统、 装置或设备, 或者上述内容 的任何合 适组合。 机器可 读存储 介质的更 具体示例 会包括基 于一个或 多个线的 电气连接 、 便携式计算 机盘 、 硬盘、 随机存取存储器 (RAM ) 、 只读存储器(ROM ) 、 可擦除可 编程 只读存储 器 (EPROM 或快闪存储 器) 、 光纤、 便捷式紧凑盘只读存储 器 (CD-ROM )、 光学储存设备、 磁储存设备、 或上述内容的任何 合适组合 。 第一 方面, 根据本公开 的一个或多 个实施例 , 提供了一种基于增 强现实 的显 示方法, 包括: 对图像 采集单元 采集的实 时场景图像 中的目标 物体进行物 体分割 , 获取 目标 物体图像 ; 根据 所述目标物 体图像生 成所述 目标物体对应 的虚拟形 象; 基于增 强现实显 示技术, 将所述虚拟 形象显示 于所述 实时场景图像 中。 根据 本公开的一 个或多个 实施例 , 所述根据所述目标 物体图像生 成所述 目标 物体对应 的虚拟形 象, 包括: 将所 述目标物体 图像与动 画素材进行 合成, 以生成所述目标物体 对应的 虚拟 形象, 其中 ,所述预设动画 素材包括虚 拟形象 的肢体动画 素材和/或表情 动画素 材 。 根据 本公开的一 个或多个 实施例 , 所述将所述目标物体 图像与动 画素材 进行 合成, 包括: 获取所 述肢体动 画素材和/或所 述表情动 画素材; 根据 所述目标物 体图像 , 在所述目标物体图像 上确定 多个连接点 ; 通过 所述多个 连接点将 所述肢 体动画 素材和 /或所述表情动 画素材 与所 述 目标物体图像 进行合成 , 生成所述目标物 体对应的虚 拟形象 。 根据 本公开的一 个或多个 实施例 , 所述对图像采集单元 采集的 实时场景 图像 中的目标 物体进行物 体分割 , 获取目标物体图像 , 包括: 运行 物体分割 算法对 所述 实时场景 图像中的 所述 目标物体 进行物体 分 割 , 得到所述目标物体 图像的掩膜 和边界框 , 并获取所述掩膜 内部区域 的纹 理 。 根据 本公开的一 个或多个 实施例 , 所述通过所述多个 连接点将所 述肢体 动画 素材和 /或所述表情动画 素材与所 述目标物体 图像进行 合成,生成所 述目 标物 体对应的虚 拟形象 , 包括: 通过 所述多个 连接点将 所述肢 体动画 素材和 /或所述表情动 画素材 与所 述掩 膜内部 区域的纹理 进行合成 , 以生成所述目标物 体对应的虚 拟形象 。 根据 本公开的一 个或多个 实施例 , 所述方法还包括: 根据 所述边界框 的尺寸 , 调整所述动画素材 的尺寸; 以及 根据 所述边界框 的对称轴 和长宽比 , 调整所述目标物体 图像上的 多个连 接点 位置。 根据 本公开的一 个或多个 实施例 , 所述方法还包括: 播放 所述动画素 材, 以对所述虚拟 形象进行 动作和/或表情控 制。 根据 本公开的一 个或多个 实施例 , 所述播放所述动画 素材, 以对所述虚 拟形 象进行动作 和/或表情控制 , 包括: 根据 所述动画素 材的预设 动画帧播放 所述动画 素材, 以对所述虚 拟形象 进行 动作和 /或表情控制; 和 /或 根据 所述用户 的肢体动作 和/或表情生成 并播放所 述动画素材 的动画 帧, 以对 所述虚拟形 象进行动 作和/或表情控 制。 根据本 公开的一 个或多个 实施例 , 所述基于所述增强 现实显示技 术, 将 所述 虚拟形象显 示于所述 实时场景 图像中, 包括: 在所述 实时场景 图像中创建 虚拟平面 ; 在所述 虚拟平 面处生成 3D空间; 基于 所述增强现 实显示技 术, 在所生成的 3D空间 中显示所述 目标物体 的虚 拟形象。 根据本 公开的一 个或多个 实施例 , 所述基于所述实时场 景图像中 的目标 平面 区域创建虚 拟平面 , 包括: 若检测 到所述 实时场景图像 中存在 目标平面 区域, 则基于所述 目标平面 区域 创建所述虚 拟平面 , 其中目标平面区域 为与所述 图像采集单 元距离处 于 第一 预设距离 范围内和 /或处于所述实时 场景图像 的中心区域 内的平面 区域; 或者 在所述 实时场景 图像中的特 定位置处 创建所述 虚拟平面 。 根据本 公开的一 个或多个 实施例 , 所述基于所述增强 现实显示技 术, 在 所生 成的 3D空间中显示 所述目标物 体的虚拟 形象, 包括: 在所述 3D空间 中确定 目标位置; 基于 所述增强现 实显示技 术, 在所述 3D空间的 目标位置处显 示所述 目 标物体 的虚拟形 象。 根据本 公开的一 个或多个 实施例 ,所述在所述 3D空间中确 定目标位 置, 包括 : 接收用 户发出的 位置指定 指令,根据用户的位 置指定指 令触发 的位置点 , 在所 述 3D空 间中建立 3D锚点, 将所述 3D锚点作为所 述目标位 置。 根据本 公开的一 个或多个 实施例 , 所述方法还包括: 接收用 户的第一 触发指令 , 根据所述第一触 发指令运行 预加载的 物体分 割算 法, 以对所述实时场 景图像的 所述目标物 体进行物 体分割 ; 接收用 户的第二 触发指令 , 根据所述第二触 发指令停止 所述物体 分割算 法的 运行。 根据本 公开的一 个或多个 实施例 , 所述将所述虚拟形 象显示于所 述实时 场景 图像中, 包括: 将所述 虚拟形 象动态显示 于所述实 时场景图像 中。 第二 方面, 根据本公开 的一个或多 个实施例 , 提供了一种基于增 强现实 的显 示设备, 包括: 目标物 体确定单 元, 用于对图像采 集单元采集 的实时场景 图像中 的目标 物体 进行物体 分割, 获取目标物体 图像; 生成单 元, 用于根根据所 述目标物 体图像生 成所述 目标物体对应 的虚拟 形象 ; 显示单 元, 用于基于增强 现实显示技 术, 将所述虚拟形 象显示于 所述实 时场景 图像中 。 根据本 公开的一 个或多个 实施例 , 所述生成单元在根据 所述 目标物体图 像生 成所述 目标物体对应 的虚拟形 象时, 用于: 将所述 目标物体 图像与动 画素材进行 合成, 以生成所述目标物体 对应的 虚拟 形象, 其中 ,所述预设动画素 材包括虚 拟形象 的肢体动画 素材和/或表情 动画素 材。 根据本 公开的一 个或多个 实施例 , 所述生成单元在将 所述目标物 体图像 与动 画素材进行 合成时 , 用于: 获取所 述肢体动 画素材和/或所 述表情动 画素材; 根据 所述目标物 体图像 , 在所述目标物体图像 上确定 多个连接点 ; 通过 所述多个 连接点将 所述肢 体动画素 材和 /或所述表情动 画素材 与所 述 目标物体图像 进行合成 , 生成所述目标物 体对应的虚 拟形象 。 根据本 公开的一 个或多个 实施例 , 所述目标物体确定单 元在对 图像采集 单元 采集的实 时场景图像 中的目标物 体进行物 体分割 ,获取目标物体图像 时 , 用于 : 运行 物体分割 算法对 所述 实时场景 图像中的 所述 目标物体进 行物体 分 割 , 得到所述目标物体 图像的掩膜 和边界框 , 并获取所述掩膜 内部区域 的纹 理 。 根据 本公开的一 个或多个 实施例 , 所述生成单元在通 过所述多个 连接点 将所 述肢体动 画素材和/或所 述表情动 画素材与 所述目标物 体图像进 行合成, 生成 所述目标 物体对应 的虚拟形 象时, 用于: 通过 所述多个 连接点将 所述肢 体动画 素材和 /或所述表情动 画素材 与所 述掩 膜内部 区域的纹理 进行合成 , 以生成所述目标物 体对应的虚 拟形象 。 根据 本公开的一 个或多个 实施例 , 所述生成单元还用 于: 根据 所述边界框 的尺寸 , 调整所述动画素材 的尺寸; 以及 根据 所述边界框 的对称轴 和长宽比 , 调整所述目标物体 图像上的 多个连 接点 位置。 根据 本公开的一 个或多个 实施例 , 所述显示单元还用 于: 播放 所述动画素 材, 以对所述虚拟 形象进行 动作和/或表情控 制。 根据 本公开的一 个或多个 实施例 , 所述显示单元在播放 所述动画 素材, 以对 所述虚拟 形象进行动 作和/或表情控 制时, 用于: 根据 所述动画素 材的预设 动画帧播放 所述动画 素材, 以对所述虚 拟形象 进行 动作和 /或表情控制; 和 /或 根据 所述用户 的肢体动作 和/或表情生成 并播放所 述动画素 材的动画 帧, 以对 所述虚拟 形象进行动 作和/或表情控 制。 根据 本公开的一 个或多个 实施例 , 所述显示单元在基 于所述增 强现实显 示技 术, 将所述虚拟形 象显示于所 述实时场 景图像中 时, 用于: 在所 述实时场景 图像中创建 虚拟平面 ; 在所 述虚拟平 面处生成 3D空间; 基于 所述增强现 实显示技 术, 在所生成的 3D空间 中显示所述 目标物体 的虚 拟形象。 根据 本公开的一 个或多个 实施例 , 所述显示单元在基 于所述实 时场景图 像 中的目标平 面区域创 建虚拟平 面时, 用于: 若检测 到所述 实时场景图像 中存在 目标平面 区域, 则基于所述 目标平面 区域 创建所述虚 拟平面 , 其中目标平面区域 为与所述 图像采集 单元距离处 于 第一 预设距 离范围内和 /或处于所述实时 场景图像 的中心区域 内的平 面区域; 或者 在所述 实时场景 图像中的特 定位置处 创建所述 虚拟平面 。 根据本 公开的一 个或多个 实施例 , 所述显示单元在基 于所述增强 现实显 示技 术, 在所生成的 3D空间中显 示所述 目标物体的虚 拟形象时 , 用于: 在所述 3D空间 中确定 目标位置; 基于 所述增强现 实显示技 术, 在所述 3D空间的 目标位置处显 示所述 目 标物体 的虚拟形 象。 根据本 公开的一 个或多个 实施例 , 所述显示单元在所述 3D 空间中确 定 目标位 置时, 用于: 接收用 户发出的 位置指定 指令,根据用户的位 置指定指 令触发 的位置点 , 在所 述 3D空 间中建立 3D锚点, 将所述 3D锚点作为所 述目标位 置。 根据本 公开的一 个或多个 实施例 , 所述目标物体确定单 元还用于 : 接收用 户的第一 触发指令 , 根据所述第一触 发指令运行 预加载的 物体分 割算 法, 以对所述实时场 景图像的 所述目标物 体进行物 体分割; 接收用 户的第二 触发指令 , 根据所述第二触 发指令停止 所述物体 分割算 法的 运行。 根据本 公开的一 个或多个 实施例 , 所述显示单元在将所 述虚拟形 象显示 于所 述实时场景 图像中时 , 用于: 将所述 虚拟形 象动态显示 于所述实 时场景图像 中。 第三 方面, 根据本公开 的一个或多 个实施例 , 提供了一种电子设 备, 包 括: 至少一个处理器和存 储器; 所述存 储器存储 计算机执行 指令; 所述 至少一个处 理器执行 所述存储 器存储的计 算机执行 指令, 使得所述 至少 一个处理 器执行如上 第一方 面以及第一 方面各种 可能的设 计所述的信 息 显示 方法。 第四 方面, 根据本公开 的一个或多 个实施例 , 提供了一种计算机 可读存 储介质 , 所述计算机可读 存储介质 中存储有计 算机执行 指令, 当处理器执行 所述 计算机执行 指令时 , 实现如上第一方面 以及第一 方面各种可 能的设计 所 述的 信息显示 方法。 以上描 述仅为本 公开的可 选实施例 以及对所运 用技术原 理的说明 。 本领 域技 术人员应 当理解, 本公开中所 涉及的公 开范围, 并不限于上述技术特 征 的特 定组合而 成的技术 方案,同时也应涵盖 在不脱 离上述公开 构思的情 况下, 由上 述技术特征 或其等 同特征进行 任意组合 而形成的 其它技术 方案。 例如上 述特 征与本公 开中公开 的 (但不限于)具有类似功能 的技术特征 进行互相 替 换而 形成的技 术方案。 此外 , 虽然采用特定次序 描绘了各 操作, 但是这不应 当理解为要 求这些 操作 以所示 出的特定次 序或以顺序 次序执行 来执行 。 在一定环境下, 多任务 和并 行处理可 能是有利 的。 同样地, 虽然在上面论述 中包含 了若干具体 实现 细节 , 但是这些不应当被 解释为对本 公开的范 围的限制 。 在单独的实施例 的 上下 文中描述 的某些特 征还可以组 合地实现 在单个实施 例中。 相反地, 在单 个 实施例的上 下文中描 述的各种特 征也可 以单独地或 以任何合 适的子组合 的 方式 实现在多个 实施例 中。 尽管 已经采用特 定于结构 特征和 /或方法逻辑动作 的语言描述 了本主题 , 但是 应当理解 所附权利要 求书中所 限定的主 题未必局 限于上面 描述的特 定特 征或 动作。 相反, 上面所描述的特 定特征和 动作仅仅 是实现权利 要求书的 示 例形 式。