Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
DISPLAY METHOD AND APPARATUS BASED ON AUGMENTED REALITY, AND DEVICE AND STORAGE MEDIUM
Document Type and Number:
WIPO Patent Application WO/2022/132033
Kind Code:
A1
Abstract:
Provided are a display method and apparatus based on augmented reality, and a device and a storage medium. The method comprises: receiving a first video; segmenting a target object in the first video, so as to acquire video material; acquiring and displaying a real-scene image, wherein the real-scene image is collected by means of an image collection apparatus; and displaying the video material at a target position of the real-scene image in an augmented manner, and playing the video material. Since the video material is obtained by means of receiving the first video and segmenting the target object in the first video, the video material can be set according to the requirements of a user, thereby achieving the aim of loading and displaying video material in a user customized manner; and the customized video material is displayed in a real-scene image by means of augmented reality, so as to form a video special effect conforming to a user concept, thereby enhancing the flexibility of video creation, and improving the video expressiveness.

Inventors:
GAO YAXI (US)
SUN CHENYU (US)
YANG XIAO (US)
CHEN ZHILI (US)
LUO LINJIE (US)
LIU JING (US)
GUO HENGKAI (CN)
LI HUAXIA (CN)
KIM HWANKYOO SHAWN (US)
YANG JIANCHAO (US)
Application Number:
PCT/SG2021/050721
Publication Date:
June 23, 2022
Filing Date:
November 24, 2021
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
LEMON INC (SG)
International Classes:
G06T7/10; G02B27/01; G06F3/01; G06T19/20
Foreign References:
CN111640193A2020-09-08
US20200234498A12020-07-23
CN110412765A2019-11-05
US20130222427A12013-08-29
CN111638797A2020-09-08
CN109903392A2019-06-18
CN109427096A2019-03-05
CN202011508594A2020-12-18
Attorney, Agent or Firm:
POH, Chee Kian, Daniel (SG)
Download PDF:
Claims:
权 利 要求 书

1、 一种基于增强现实的显示方法, 其特征在于, 包括: 接收第一视频; 对所述第一视频中的目标物体进行分割, 以获取视频素材; 获取并显示实景图像, 其中, 所述实景图像通过图像采集装置采集; 将所述视频素材增强显示于所述实景图像的目标位置处并播放所述视频素材。

2、 根据权利要求 1所述的方法, 其特征在于, 所述视频素材包括人像视频素材, 所述人 像视频素材通过对所述第一视频进行视频人像分割得到。

3、 根据权利要求 1所述的方法, 其特征在于, 还包括: 接收第二用户指令, 第二用户指令包括屏幕坐标信息; 确定当前的实景图像中, 与所述屏幕坐标信息对应的实景坐标点; 根据所述实景坐标点, 确定所述视频素材在所述实景图像中的所述目标位置。

4、根据权利要求 3所述的方法,其特征在于,所述第二用户指令中还包括以下至少一种: 尺寸信息、 角度信息; 所述尺寸信息用于指示所述视频素材的显示尺寸; 所述角度信息用于指示所述视频素材相对于图像采集平面的显示角度, 其中, 所述图像 采集平面为所述图像采集装置所在平面。

5、 根据权利要求 4所述的方法, 其特征在于, 播放所述视频素材, 包括: 根据所述角度信息, 以与所述角度信息对应的显示角度播放所述视频素材。

6、 根据权利要求 3所述的方法, 其特征在于, 根据所述实景坐标点, 确定所述视频素材 在所述实景图像中的所述目标位置, 包括: 根据同步定位与地图绘制算法, 获得所述实景图像对应的同步定位与地图绘制平面, 所 述同步定位与地图绘制平面用于表征所述实景图像中实景的定位模型; 根据所述同步定位与地图绘制平面所表征的实景图像中实景的定位模型, 确定与所述实 景坐标点对应的同步定位与地图绘制平面坐标点; 根据所述同步定位与地图绘制平面坐标点确定所述目标位置。

7、 根据权利要求 1-6任一项所述的方法, 其特征在于, 所述方法还包括: 获取所述视频素材对应的音频素材; 在将所述视频素材显示在所述实景图像中的目标位置的同时, 根据所述视频素材的播放 时间戳, 同步播放所述音频素材。

8、 根据权利要求 1-6任一项所述的方法, 其特征在于, 所述方法还包括: 获取所述视频素材的播放信息, 所述播放信息用于表征所述视频素材的播放进度; 若根据所述播放信息, 判断所述视频素材播放完毕, 则在所述目标位置重复播放所述视 频素材。

9、 一种基于增强现实的显示装置, 其特征在于, 包括: 接收单元, 用于接收第一视频; 获取单元, 用于对所述第一视频中的目标物体进行分割, 以获取视频素材; 显示单元, 用于获取并显示实景图像, 以及将所述视频素材增强显示于所述实景图像的 目标位置处并播放所述视频素材, 其中, 所述实景图像通过图像采集装置采集。 10、 一种电子设备, 其特征在于, 包括: 至少一个处理器和存储器; 所述存储器存储计算机执行指令; 所述至少一个处理器执行所述存储器存储的计算机执行指令, 使得所述至少一个处理器 执行如权利要求 1-8任一项所述的基于增强现实的显示方法。 11、 一种计算机可读存储介质, 其特征在于, 所述计算机可读存储介质中存储有计算机 执行指令, 当处理器执行所述计算机执行指令时,实现如权利要求 1-8任一项所述的基于增强 现实的显示方法。

12、 一种计算机程序产品, 包括计算机程序, 该计算机程序被处理器执行时实现权利要 求 1-8任一项所述的基于增强现实的显示方法。 13、 一种计算机程序, 其特征在于, 所述计算机程序在被处理器执行时实现权利要求 1-8 中任一项所述的基于增强现实的显示方法。

Description:
基 于增 强现 实的 显示 方法 、 装置、 设备及 存储 介质 本申请要求于 2020年 12月 18日提交中国专利局、 申请号为 202011508594.9、 申请名称 为 “基于增强现实的显示方法、 装置、 设备及存储介质” 的中国专利申请的优先权, 其全部 内容通过引用结合在本申请中。 技术领域 本公开实施例涉及计算机与网络通信技术领域 , 尤其涉及一种基于增强现实的显示方法、 装置、 设备及存储介质。 背景技术 对于视频类软件和平台, 视频创作功能是视频类软件的核心功能之一。 视频创作功能的 丰富性、 多样性和趣味性, 是吸引用户和视频创作者使用该视频类软件的 重要因素。 目前, 在用户使用视频创作功能的过程中, 当需要在拍摄环境中添加视频特效时, 只能 选择平台提供好的固定的图片或视频素材。 然而, 由于图片或视频素材的数量有限, 用户在进行视频创作时, 对拍摄环境的实景图 像无法完全按照预想的构思进行特效设置, 导致视频创作灵活性差, 影响视频表现力。 发明内容 本公开实施例提供一种基于增强现实的显示方 法、 装置、 设备及存储介质, 以克服视频 创作灵活性差, 影像视频表现力的问题。 第一方面, 本公开实施例提供一种基于增强现实的显示方 法, 包括: 接收第一视频; 对所述第一视频中的目标物体进行分割, 以获取视频素材; 获取并显示实景图像, 其中, 所述实景图像通过图像采集装置采集; 将所述视频素材增强显示于所述实景图像的目 标位置处并播放所述视频素材。 第二方面, 本公开实施例提供一种基于增强现实的显示装 置, 包括: 接收单元, 用于接收第一视频; 获取单元, 用于对所述第一视频中的目标物体进行分割, 以获取视频素材; 显示单元, 用于获取并显示实景图像, 以及将所述视频素材增强显示于所述实景图像 的 目标位置处并播放所述视频素材, 其中, 所述实景图像通过图像采集装置采集。 第三方面, 本公开实施例提供一种电子设备, 包括: 至少一个处理器和存储器; 所述存储器存储计算机执行指令; 所述至少一个处理器执行所述存储器存储的计 算机执行指令, 使得所述至少一个处理器 执行如上第一方面以及第一方面各种可能的设 计所述的基于增强现实的显示方法。 第四方面, 本公开实施例提供一种计算机可读存储介质, 所述计算机可读存储介质中存 储有计算机执行指令, 当处理器执行所述计算机执行指令时, 实现如上第一方面以及第一方 面各种可能的设计所述的基于增强现实的显示 方法。 第五方面, 本公开实施例提供一种计算机程序产品, 包括计算机程序, 该计算机程序被 处理器执行时实现如上第一方面以及第一方面 各种可能的设计所述的基于增强现实的显示方 法。 第六方面, 本公开实施例提供一种计算机程序, 所述计算机程序被处理器执行时实现如 上第一方面以及第一方面各种可能的设计所述 的基于增强现实的显示方法。 本实施例提供的基于增强现实的显示方法、 装置、 设备及存储介质, 该方法通过接收第 一视频; 对所述第一视频中的目标物体进行分割, 以获取视频素材; 获取并显示实景图像, 其中, 所述实景图像通过图像采集装置采集; 将所述视频素材增强显示于所述实景图像的目 标位置处并播放所述视频素材。 由于视频素材是通过接收第一视频, 并对第一视频中的目标 物体进行分割而获得的, 因此, 视频素材可以根据用户的需要进行设置, 从而满足用户自定 义加载并显示视频素材的目的, 将自定义的视频素材通过增强现实的方式显示 在实景图像中, 形成符合用户构思的视频特效, 增强视频创作的灵活性, 提高视频表现力。 附图说明 为了更清楚地说明本公开实施例或现有技术中 的技术方案, 下面将对实施例或现有技术 描述中所需要使用的附图作一简单地介绍, 显而易见地, 下面描述中的附图是本公开的一些 实施例, 对于本领域普通技术人员来讲, 在不付出创造性劳动性的前提下, 还可以根据这些 附图获得其他的附图。 图 1为现有技术中一种视频拍摄过程的示例图; 图 2为本公开实施例提供的基于增强现实的显示 法流程示意图一; 图 3为本公开实施例提供的一种接收第一视频的 意图; 图 4为本公开实施例提供的另一种接收第一视频 示意图; 图 5为本公开实施例提供的一种对视频中的目标 体进行分割的示意图; 图 6为本公开实施例提供的一种在实景图像的目 位置播放视频素材的示意图; 图 7为本公开实施例提供的基于增强现实的显示 法流程示意图二; 图 8为本公开实施例提供的一种用户输入第二用 指令的示意图; 图 9为图 7所示实施例中步骤 S206的流程示意图; 图 10为本公开实施例提供的一种以不同显示角度 放视频素材的示意图; 图 11为本公开实施例提供的另一种以不同显示角 播放视频素材的示意图; 图 12为本公开实施例提供的基于增强现实的显示 置的结构框图; 图 13为本公开实施例提供的电子设备的硬件结构 意图。 具体实施方式 为使本公开实施例的目的、 技术方案和优点更加清楚, 下面将结合本公开实施例中的附 图, 对本公开实施例中的技术方案进行清楚、 完整地描述, 显然, 所描述的实施例是本公开 一部分实施例, 而不是全部的实施例。 基于本公开中的实施例, 本领域普通技术人员在没有 作出创造性劳动前提下所获得的所有其他实施 例, 都属于本公开保护的范围。 参考图 1 , 图 1为现有技术中一种视频拍摄过程的示例图。 有技术中, 用户在通过终端 设备, 例如智能手机, 视频拍摄的过程中, 当需要对拍摄环境的实景图像添加视频特效时 , 一种可能的实现方式为, 在视频类软件所提供的视频特效库中, 选择视频类软件所提供的若 干视频素材 11 , 并将该视频素材 11添加至终端设备所显示的实景图像 12中, 生成带有视频 特效的拍摄环境图像, 进而进行视频创作, 以得到更富有创意和有表现力的视频。 然而, 由于现有技术中仅能通过视频类软件中预设的 固定几种视频素材供用户使用, 因 此, 当用户在拍摄一些复杂场景的视频时, 素材库中所提供的视频素材往往无法满足用户 的 使用需求, 因此, 用户使用固定素材拍摄出的视频不能完全实现 用户的构思, 导致视频的表 现力下降。 本公开实施例提供一种基于增强现实的显示方 法以解决上述问题。 参考图 2, 图 2为本公开实施例提供的基于增强现实的显示 法流程示意图一。本实施例 的方法可以应用在终端设备中, 例如智能手机等终端设备。 该基于增强现实的显示方法包括:

S101: 接收第一视频。 具体地, 第一视频可以包括包含有用户感兴趣的视频素 材的视频。 例如, 一段舞蹈表演 视频、 一段唱歌表演视频、 一段动画视频等等。 其中, 在一种可能的实现方式中, 视频素材 可以是人像视频素材。 在另一种可能的实现方式中, 视频素材还可以是物体视频素材, 例如, 第一视频为一段赛车视频, 其中, 运动的赛车即为视频素材; 此外, 在另一种可能的实现方 式中, 视频素材还可以是卡通动画视频素材、 动物视频素材等等, 此处不再对第一视频的具 体实现形式进行赘述。 进一步地, 在一种可能的实现方式中, 第一视频素材是用户预先拍摄并存储在终端设 备 内的视频, 也可以是用户直接通过存储介质上传, 或者通过网络下载等方式, 存储在终端设 备内的视频。 图 3为本公开实施例提供的一种接收第一视频的 意图, 如图 3所示, 接收第 一视频的方式包括: 用户通过点击终端设备的用户界面 (User Interface, 简称 UI), 选择存储 在终端设备本地的视频, 如图 3中所示, 从本地存储的视频 1、 视频 2、 视频 3、 视频 4中, 选择视频 1作为第一视频并上传, 从而终端设备实现第一视频的接收过程。 图 4为本公开实施例提供的另一种接收第一视频 示意图。 如图 4所示, 第一视频存储 在服务器, 终端设备接收并显示服务器一侧发送的第一视 频信息, 更具体地, 例如第一视频 的标题和预览图, 用户通过点击终端设备上显示的第一视频的标 题或预览图, 从服务器下载 该第一视频, 从而使得终端设备实现对该第一视频的接收。

S102: 对第一视频中的目标物体进行分割, 以获取视频素材。 具体地, 图 5为本公开实施例提供的一种对视频中的目标 体进行分割的示意图。如图 5 所示, 终端设备在获得第一视频后, 通过视频分割技术, 对目标视频进行特征识别, 即确定 目标视频中的目标物体的轮廓, 进而根据该目标物体的轮廓进行视频分割, 从而得到该目标 物体的视频素材。 示例性地, 该视频素材可以为动态的视频图像或静态的视 频图像, 此处不 进行具体限定。 视频素材的具体实现形式, 可参见步骤 S101中的示例, 此处不再进行赘述。 在一种可能的实现方式中, 第一视频中的目标物体为人像, 终端设备可以对第一视频中 的人像进行分割,从而获得对应的人像视频素 材。具体地,该过程可以通过视频人像分割 (Video Portrait Segmentation)技术, 对第一视频中的人像轮廓进行特征识别, 确定人像轮廓, 并根据 人像轮廓对第一视频中的人像部分进行保留, 而将第一视频中人像外的部分去除, 从而得到 人像视频素材。 视频人像分割的具体实现过程, 可以采用各种可能的实现方式, 此处不做赘 述。 此外, 第一视频中的目标物体为还可以包括诸如物体 等, 终端设备可以对第一视频中的 目标物体进行分割, 从而获得对应的目标物体视频素材。

S103: 获取并显示实景图像, 其中, 实景图像通过图像采集装置采集。 示例性地, 图像采集装置例如为终端设备上设置的前置摄 像头或后者摄像头, 或者是设 置在终端设备外部, 并与终端设备通信的其他摄像头。 终端设备通过摄像头对所处拍摄环境 进行拍摄, 可以实时地获得拍摄环境所对应的实景图像, 该实景图像为拍摄环境的真实表现。 进而一步的, 在获得该实景图像后, 终端设备可以实时地将该实景图像显示在终端 设备 的 UI上。用户通过终端设备的 UI, 可以实时地观察到拍摄环境的真实表现。该获 取并显示实 景图像的过程为用户进行视频拍摄前的准备过 程, 用户可以通过对拍摄环境的观察, 确定具 体的拍摄位置和拍摄角度后, 通过图像采集装置进行后续的视频拍摄过程。

S104: 将视频素材增强显示于实景图像的目标位置处 并播放视频素材。 示例性地, 在确定视频素材后, 终端设备可以将视频素材显示在实景图像的目 标位置, 该目标位置可以是用户设置的, 并可以根据用户指令, 进一步的调整; 也可以是系统默认的 位置。 在一种可能的实现方式中, 将视频素材显示在实景图像的目标位置, 包括: 首先将视 频素材显示在默认位置, 例如 UI中所显示的实景图像的几何中心, 再根据用户输入的指令, 对该目标位置进行调整, 并根据调整结果, 将视频素材显示于对应的目标位置, 以实现用户 对视频素材显示位置的设置和调整。 进一步地, 视频素材是以增强现实 (Augmented Reality, 简称 AR) 的方式显示在实景图 像的目标位置处的。 具体地, 例如, 视频素材为人像视频素材, 且内容为一个跳舞的人像, 该视频素材显示在实景图像 (例如, 用户的起居室图像) 的目标位置处时, 例如实景图像中 沙发的旁边, 该视频素材与实景图像的位置关系是固定的, 即在没有新的用户指令改变目标 位置的情况下, 该跳舞的人像始终固定于沙发的旁边, 当用户操作终端设备移动或转动时, 终端设备的 UI所显示的视野内的实景图像发生改变, 但是该视频素材固定显示在实景图像中 的固定位置, 不发生移动, 即以 AR的方式显示在实景图像中。 进一步地, 图 6为本公开实施例提供的一种在实景图像的目 位置播放视频素材的示意 图, 如图 6所示, 视频素材增强显示于实景图像的目标位置处后 , 播放该视频素材, 例如视 频素材为人像视频素材, 内容为一个跳舞的人像, 则播放该人像跳舞的视频内容。 由于视频 素材是以 AR的形式显示在实景图像中的, 即该视频素材在视觉表现上,成为了拍摄环境 的一 部分, 从而可以实现构建虚拟拍摄环境的目的。 用户基于该虚拟拍摄环境进行视频的拍摄, 可以实现自定义的拍摄内容, 使用户能够充分发挥创作想象力, 不受视频素材固定, 而无法 生成所需要的虚拟拍摄环境的限制, 从而大幅度的提高了视频创作的丰富性和表现 力。 该方法通过接收第一视频; 对第一视频中的目标物体进行分割, 以获取视频素材; 获取 并显示实景图像, 其中, 实景图像通过图像采集装置采集; 将视频素材增强显示于实景图像 的目标位置处并播放视频素材。 由于视频素材是通过接收第一视频, 并对第一视频中的目标 物体进行分割而获得的, 因此, 视频素材可以根据用户的需要进行设置, 从而满足用户自定 义加载并显示视频素材的目的, 将自定义的视频素材通过增强现实的方式显示 在实景图像中, 形成符合用户构思的视频特效, 增强视频创作的灵活性, 提高视频表现力。 图 7为本公开实施例提供的基于增强现实的显示 法流程示意图二。 本实施例中, 增加 了根据用户指令对视频素材进行调整的步骤, 该方法包括: S201: 接收第一视频。

S202: 对第一视频中的目标物体进行分割, 以获取视频素材。

S203: 获取并显示实景图像, 其中, 实景图像通过图像采集装置采集。

S204: 接收第二用户指令, 第二用户指令包括屏幕坐标信息。 具体地, 第二用户指令是用户通过终端设备的 UI输入的, 用于使视频素材显示在指定位 置的指令。 图 8为本公开实施例提供的一种用户输入第二用 指令的示意图, 如图 8所示, 该第二用户指令可以通过用户的拖拽手势, 或点击手势实现, 其中, 第二用户指令中的平面 坐标信息表征手势操作作用在终端设备的屏幕 上的坐标, 例如点击手势在屏幕上的坐标, 拖 拽手势划过屏幕的坐标。 终端设备在接收到该第二用户指令后, 根据屏幕坐标信息确定第二 用户指令对应的目标位置, 并将视频素材显示在该目标位置处。 可选地, 第二用户指令中还包括以下至少一种: 尺寸信息、 角度信息。 尺寸信息用于指 示视频素材的显示尺寸; 角度信息用于指示视频素材相对于图像采集平 面的显示角度, 其中, 图像采集平面为图像采集装置所在平面。 可选地, 第二用户指令可以通过不同的操作手势来实现 。 例如, 用户通过手指 (例如, 二根手指) 的相对移动, 表征尺寸信息, 从而对视频素材的显示尺寸进行调节, 当然, 还可 以通过操作手势, 来表征角度信息, 其中, 角度信息是控制视频素材显示角度的信息, 当视 频素材为二维平面视频时, 角度信息用于表征该二维平面视频相对于图像 采集平面的显示角 度; 当视频素材为三维立体视频时, 角度信息用于表征该三维立体视频在三维空间 中的显示 角度。 操作手势的实现方式, 例如通过单指的旋转, 或者敲击等, 具体的手势操作, 可以根 据需要进行设置, 此处不再对此进行赘述。

S205: 确定当前的实景图像中, 与屏幕坐标信息对应的实景坐标点。 根据第二用户指令, 获得屏幕坐标信息后, 确定与该屏幕坐标信息对应的, 显示在屏幕 上的实景图像的实景坐标点。 该实景坐标点用于表征在拍摄环境中实景的位 置。

S206: 根据实景坐标点, 确定视频素材在实景图像中的目标位置。 可选地, 如图 9所示, 步骤 S206包括 S2061、 S2062、 S2063三个具体的实现步骤:

S2061 : 根据同步定位与地图绘制 (Simultaneous Localization And Mapping, 简称 Slam) 算法, 获得实景图像对应的同步定位与地图绘制平面 , 同步定位与地图绘制平面用于表征实 景图像中实景的定位模型。 具体地, Slam算法是一种用于解决在未知环境中定位导 与地图构建问题的方法, 在本 实施例中, 通过 Slam算法对拍摄环境对应的实景图像信息进行 理, 实现对拍摄环境中不同 实景物体之间的定位, 得到 Slam平面, 该 Slam平面用于表征实景图像与拍摄环境中实景 体的位置关系, 即实景物体中实景的定位模型。 Slam算法及通过 Slam算法生成 Slam平面的 具体实现方式为现有技术, 此处不再赘述。

S2062: 根据同步定位与地图绘制平面所表征的实景图 像中实景的定位模型, 确定与实景 坐标点对应的同步定位与地图绘制平面坐标点 。

S2063: 根据同步定位与地图绘制平面坐标点确定目标 位置。 具体地, 根据 Slam平面所表征的定位模型, 可以确定实景坐标点在该 Slam平面中的位 置, 即 Slam坐标点, 确定视频素材的目标位置时, 将该 Slam坐标点作为目标位置, 即可实 现视频素材在实景图像中的显示。 S207: 根据角度信息, 以与角度信息对应的显示角度播放视频素材。 具体地, 角度信息用于指示视频素材相对于图像采集平 面的显示角度, 其中, 图像采集 平面为图像采集装置所在平面。 由于终端设备采集的实景图像是随着终端设备 的位置和拍摄 角度而实时变化的, 例如, 终端设备移动, 或者在三维空间中旋转一定角度后, 其所拍摄和 显示的实景图像的显示角度也会发生角度变化 , 对应的, 显示在实景图像中的视频素材的显 示角度, 也会随之变化, 并以对应的显示角度, 播放该视频素材。 图 10为本公开实施例提供的一种以不同显示角度 放视频素材的示意图,参考图 10,视 频素材为二维平面视频, 根据角度信息, 可以确定视频素材的显示角度, 如图 10所示, 在角 度信息发生变化时, 二维平面视频素材的显示角度也发生相应变化 , 即由图 10中的显示角度 1变为显示角度 2, 从而, 实现对二维平面视频素材显示角度的调整。 图 11为本公开实施例提供的另一种以不同显示角 播放视频素材的示意图, 参考图 11 , 视频素材为三维立体视频, 根据角度信息, 可以确定视频素材的显示角度, 如图 11所示, 在 角度信息发生变化时, 三维立体视频素材的显示角度也发生相应变化 , 即由图 11中的显示角 度 1变为显示角度 2, 从而, 实现对三维立体视频素材显示角度的调整。

S208: 获取视频素材对应的音频素材, 在将视频素材显示在实景图像中的目标位置的 同 时, 根据视频素材的播放时间戳, 同步播放音频素材。 示例性地, 视频素材是从第一视频中获取的, 视频素材中包括了第一视频中与视频素材 的播放时间戳对应、 播放时长相同的音频素材。 该音频素材可以根据视频素材的播放时间戳, 与视频素材同步播放, 从而更大程度上还原视频素材在第一视频中的 效果。

S209: 获取视频素材的播放信息, 播放信息用于表征视频素材的播放进度, 若根据播放 信息, 判断视频素材播放完毕, 则在目标位置重复播放视频素材。 示例性地, 在视频素材播放过程中, 根据视频素材的播放信息, 例如视频素材的当前播 放时长、 或者当前播放时间戳, 或者视频素材播放完毕的标识信息, 确定视频素材是否播放 结束, 若视频素材播放结束, 则继续重新播放该视频素材, 以避免视频素材停止播放影响视 频的整体表现效果。 在本实施例中,步骤 S201-S203与上述实施例中步骤 S101-S103的一致,详细论述请参考 步骤 S101-S103的论述, 这里不再赘述。 对应于上文实施例的基于增强现实的显示方法 , 图 12为本公开实施例提供的基于增强现 实的显示装置的结构框图。为了便于说明, 仅示出了与本公开实施例相关的部分。参照图 12, 基于增强现实的显示装置 3包括: 接收单元 31 , 用于接收第一视频。 获取单元 32, 用于对第一视频中的目标物体进行分割, 以获取视频素材。 显示单元 33 , 用于获取并显示实景图像, 以及将视频素材增强显示于实景图像的目标位 置处并播放视频素材, 其中, 实景图像通过图像采集装置采集。 在本公开的一个实施例中, 视频素材包括人像视频素材, 人像视频素材通过对第一视频 进行视频人像分割得到。 在本公开的一个实施例中, 接收单元 31还用于: 接收第二用户指令, 第二用户指令包括 屏幕坐标信息; 确定当前的实景图像中, 与屏幕坐标信息对应的实景坐标点; 根据实景坐标 点, 确定视频素材在实景图像中的目标位置。 在本公开的一个实施例中, 第二用户指令中还包括以下至少一种: 尺寸信息、 角度信息; 尺寸信息用于指示视频素材的显示尺寸; 角度信息用于指示视频素材相对于图像采集平 面的 显示角度, 其中, 图像采集平面为图像采集装置所在平面。 在本公开的一个实施例中, 显示单元 33在播放视频素材时, 具体用于: 根据角度信息, 以与角度信息对应的显示角度播放视频素材。 在本公开的一个实施例中, 接收单元 31在根据实景坐标点, 确定视频素材在实景图像中 的目标位置时, 具体用于: 根据同步定位与地图绘制算法, 获得实景图像对应的同步定位与 地图绘制平面, 同步定位与地图绘制平面用于表征实景图像中 实景的定位模型; 根据同步定 位与地图绘制平面所表征的实景图像中实景的 定位模型, 确定与实景坐标点对应的同步定位 与地图绘制平面坐标点; 根据同步定位与地图绘制平面坐标点确定目标 位置。 在本公开的一个实施例中, 获取单元 32, 还用于: 获取视频素材对应的音频素材; 在将 视频素材显示在实景图像中的目标位置的同时 , 根据视频素材的播放时间戳, 同步播放音频 素材。 在本公开的一个实施例中, 获取单元 32, 还用于: 获取视频素材的播放信息, 播放信息 用于表征视频素材的播放进度; 若根据播放信息, 判断视频素材播放完毕, 则在目标位置重 复播放视频素材。 本实施例提供的设备, 可用于执行上述方法实施例的技术方案, 其实现原理和技术效果 类似, 本实施例此处不再赘述。 参考图 13 , 其示出了适于用来实现本公开实施例的电子设 备 900的结构示意图, 该电子 设备 900可以为终端设备或服务器。 其中, 终端设备可以包括但不限于诸如移动电话、 笔记 本电脑、 数字广播接收器、 个人数字助理 (Personal Digital Assistant, 简称 PDA)、 平板电脑 (Portable Android Device, 简称 PAD)、 便携式多媒体播放器 (Portable Media Player, 简称 PMP)、 车载终端 (例如车载导航终端)、 可穿戴电子设备等等的移动终端以及诸如数字 TV (Television), 台式计算机、 智能家居设备等等的固定终端。 图 13示出的电子设备仅仅是一 个示例, 不应对本公开实施例的功能和使用范围带来任 何限制。 如图 13所示, 电子设备 900可以包括处理装置 (例如中央处理器、 图形处理器等 ) 901 , 其可以根据存储在只读存储器 (Read Only Memory , 简称 ROM) 902中的程序或者从存储装 置 908加载到随机访问存储器 (Random Access Memory , 简称 RAM) 903中的程序而执行各 种适当的动作和处理, 例如, 用于执行流程图所示的方法的程序代码, 以实现本公开实施例 的方法中限定的上述功能。 在 RAM 903中, 还存储有电子设备 900操作所需的各种程序和数 据。处理装置 901、 ROM 902以及 RAM 903通过总线 904彼此相连。输入 /输出 (Input/Output, 简称 I/O)接口 905也连接至总线 904 o 通常, 以下装置可以连接至 I/O接口 905: 包括例如触摸屏、 触摸板、 键盘、 鼠标、 摄像 头、麦克风、加速度计、陀螺仪等的输入装置 906;包括例如液晶显示器 ( Liquid Crystal Display, 简称 LCD)、 扬声器、 振动器等的输出装置 907; 包括例如磁带、 硬盘等的存储装置 908; 以 及通信装置 909 o通信装置 909可以允许电子设备 900与其他设备进行无线或有线通信以交换 数据。 虽然图 13示出了具有各种装置的电子设备 900, 但是应理解的是, 并不要求实施或具 备所有示出的装置。 可以替代地实施或具备更多或更少的装置。 特别地, 根据本公开的实施例, 上文参考流程图描述的过程可以被实现为计算 机软件程 序。 例如, 本公开的实施例包括一种计算机程序产品, 其包括承载在计算机可读介质上的计 算机程序, 该计算机程序包含用于执行流程图所示的方法 的程序代码。 在这样的实施例中, 该计算机程序可以通过通信装置 909从网络上被下载和安装, 或者从存储装置 908被安装, 或者从 ROM 902被安装。 在该计算机程序被处理装置 901执行时, 执行本公开实施例的方法 (Erasable Programmable Read-Only Memory, 简称 EPROM或闪存)、 光纤、 便携式紧凑磁盘 只读存储器(Portable Compact Disk Read-Only Memory, 简称 CD-ROM 光存储器件、 磁存 储器件、 或者上述的任意合适的组合。 在本公开中, 计算机可读存储介质可以是任何包含或 存储程序的有形介质, 该程序可以被指令执行系统、 装置或者器件使用或者与其结合使用。 而在本公开中, 计算机可读信号介质可以包括在基带中或者作 为载波一部分传播的数据信号, 其中承载了计算机可读的程序代码。 这种传播的数据信号可以采用多种形式, 包括但不限于 电磁信号、 光信号或上述的任意合适的组合。 计算机可读信号介质还可以是计算机可读存储 介质以外的任何计算机可读介质, 该计算机可读信号介质可以发送、 传播或者传输用于由指 令执行系统、 装置或者器件使用或者与其结合使用的程序。 计算机可读介质上包含的程序代 码可以用任何适当的介质传输, 包括但不限于: 电线、 光缆、 RF (Radio Frequency, 射频) 等等, 或者上述的任意合适的组合。 上述计算机可读介质可以是上述电子设备中所 包含的; 也可以是单独存在, 而未装配入 该电子设备中。 上述计算机可读介质承载有一个或者多个程序 , 当上述一个或者多个程序被该电子设备 执行时, 使得该电子设备执行上述实施例所示的方法。 可以以一种或多种程序设计语言或其组合来编 写用于执行本公开的操作的计算机程序代 码, 上述程序设计语言包括面向对象的程序设计语 言一诸如 Java、 Smalltalk, C++, 还包括常 称 LAN)或广域网(Wide Area Network, 简称 WAN)一连接到用户计算机, 或者, 可以连接 到外部计算机 (例如利用因特网服务提供商来通过因特网连 接)。 附图中的流程图和框图, 图示了按照本公开各种实施例的系统、 方法和计算机程序产品 的可能实现的体系架构、 功能和操作。 在这点上, 流程图或框图中的每个方框可以代表一个 模块、 程序段、 或代码的一部分, 该模块、 程序段、 或代码的一部分包含一个或多个用于实 现规定的逻辑功能的可执行指令。 也应当注意, 在有些作为替换的实现中, 方框中所标注的 功能也可以以不同于附图中所标注的顺序发生 。 例如, 两个接连地表示的方框实际上可以基 本并行地执行, 它们有时也可以按相反的顺序执行, 这依所涉及的功能而定。 也要注意的是, 框图和 /或流程图中的每个方框、 以及框图和 /或流程图中的方框的组合, 可以用执行规定的功 能或操作的专用的基于硬件的系统来实现, 或者可以用专用硬件与计算机指令的组合来实 现。 描述于本公开实施例中所涉及到的单元可以通 过软件的方式实现, 也可以通过硬件的方 式来实现。 其中, 单元的名称在某种情况下并不构成对该单元本 身的限定, 例如, 第一获取 单元还可以被描述为 “获取至少两个网际协议地址的单元”。 本文中以上描述的功能可以至少部分地由一个 或多个硬件逻辑部件来执行。 例如, 非限 制性地, 可以使用的示范类型的硬件逻辑部件包括: 现场可编程门阵列 (Field-Programmable Gate Array, 简称 FPGA)、 专用集成电路(Field-Programmable Gate Array, 简称 ASIC)、 专用 标准产品 (Application Specific Standard Product, 简称 ASSP)、 片上系统 (System-on-a-chip, 简称 SOC)、 复杂可编程逻辑设备 (Complex Programmable Logic Device, 简称 CPLD)等等。 在本公开的上下文中, 机器可读介质可以是有形的介质, 其可以包含或存储以供指令执 行系统、 装置或设备使用或与指令执行系统、 装置或设备结合地使用的程序。 机器可读介质 可以是机器可读信号介质或机器可读储存介质 。 机器可读介质可以包括但不限于电子的、 磁 性的、 光学的、 电磁的、 红外的、 或半导体系统、 装置或设备, 或者上述内容的任何合适组 合。 机器可读存储介质的更具体示例会包括基于一 个或多个线的电气连接、 便携式计算机盘、 硬盘、 随机存取存储器 (RAM)、 只读存储器 (ROM)、 可擦除可编程只读存储器 (EPROM 或快闪存储器)、 光纤、 便捷式紧凑盘只读存储器(CD-ROM)、 光学储存设备、 磁储存设备、 或上述内容的任何合适组合。 第一方面, 根据本公开的一个或多个实施例, 提供了一种基于 增强现实的显示方法, 包括: 接收第一视频; 对所述第一视频中的目标物体进行分割, 以获取视频素材; 获取并显示 实景图像, 其中, 所述实景图像通过图像采集装置采集; 将所述视频素材增强显示于所述实 景图像的目标位置处并播放所述视频素材。 根据本公开的一个或多个实施例, 所述视频素材包括人像视频素材, 所述人像视频素材 通过对所述第一视频进行视频人像分割得到。 根据本公开的一个或多个实施例, 还包括: 接收第二用户指令, 第二用户指令包括屏幕 坐标信息; 确定当前的实景图像中, 与所述屏幕坐标信息对应的实景坐标点; 根据所述实景 坐标点, 确定所述视频素材在所述实景图像中的所述目 标位置。 根据本公开的一个或多个实施例, 所述第二用户指令中还包括以下至少一种: 尺寸信息、 角度信息; 所述尺寸信息用于指示所述视频素材的显示尺 寸; 所述角度信息用于指示所述视 频素材相对于图像采集平面的显示角度, 其中, 所述图像采集平面为所述图像采集装置所在 平面。 根据本公开的一个或多个实施例, 播放所述视频素材, 包括: 根据所述角度信息, 以与 所述角度信息对应的显示角度播放所述视频素 材。 根据本公开的一个或多个实施例, 根据所述实景坐标点, 确定所述视频素材在所述实景 图像中的所述目标位置, 包括: 根据同步定位与地图绘制算法, 获得所述实景图像对应的同 步定位与地图绘制平面, 所述同步定位与地图绘制平面用于表征所述实 景图像中实景的定位 模型; 根据所述同步定位与地图绘制平面所表征的实 景图像中实景的定位模型, 确定与所述 实景坐标点对应的同步定位与地图绘制平面坐 标点; 根据所述同步定位与地图绘制平面坐标 点确定所述目标位置。 根据本公开的一个或多个实施例, 所述方法还包括: 获取所述视频素材对应的音频素材; 在将所述视频素材显示在所述实景图像中的目 标位置的同时, 根据所述视频素材的播放时间 戳, 同步播放所述音频素材。 根据本公开的一个或多个实施例, 所述方法还包括: 获取所述视频素材的播放信息, 所 述播放信息用于表征所述视频素材的播放进度 ; 若根据所述播放信息, 判断所述视频素材播 放完毕, 则在所述目标位置重复播放所述视频素材。 第二方面, 根据本公开的一个或多个实施例, 提供了一种基于增强现实的显示装置, 包 括: 接收单元, 用于接收第一视频。 获取单元, 用于对所述第一视频中的目标物体进行分割, 以获取视频素材。 显示单元, 用于获取并显示实景图像, 以及将所述视频素材增强显示于所述实景图像 的 目标位置处并播放所述视频素材, 其中, 所述实景图像通过图像采集装置采集。 根据本公开的一个或多个实施例, 所述视频素材包括人像视频素材, 所述人像视频素材 通过对所述第一视频进行视频人像分割得到。 根据本公开的一个或多个实施例, 接收单元还用于: 接收第二用户指令, 第二用户指令 包括屏幕坐标信息; 确定当前的实景图像中, 与所述屏幕坐标信息对应的实景坐标点; 根据 所述实景坐标点, 确定所述视频素材在所述实景图像中的所述目 标位置。 根据本公开的一个或多个实施例, 所述第二用户指令中还包括以下至少一种: 尺寸信息、 角度信息; 所述尺寸信息用于指示所述视频素材的显示尺 寸; 所述角度信息用于指示所述视 频素材相对于图像采集平面的显示角度, 其中, 所述图像采集平面为所述图像采集装置所在 平面。 根据本公开的一个或多个实施例, 显示单元在播放所述视频素材时, 具体用于: 根据所 述角度信息, 以与所述角度信息对应的显示角度播放所述视 频素材。 根据本公开的一个或多个实施例, 接收单元在根据所述实景坐标点, 确定所述视频素材 在所述实景图像中的所述目标位置时, 具体用于: 根据同步定位与地图绘制算法, 获得所述 实景图像对应的同步定位与地图绘制平面, 所述同步定位与地图绘制平面用于表征所述实 景 图像中实景的定位模型; 根据所述同步定位与地图绘制平面所表征的实 景图像中实景的定位 模型, 确定与所述实景坐标点对应的同步定位与地图 绘制平面坐标点; 根据所述同步定位与 地图绘制平面坐标点确定所述目标位置。 根据本公开的一个或多个实施例, 获取单元, 还用于: 获取所述视频素材对应的音频素 材; 在将所述视频素材显示在所述实景图像中的目 标位置的同时, 根据所述视频素材的播放 时间戳, 同步播放所述音频素材。 根据本公开的一个或多个实施例, 获取单元, 还用于: 获取所述视频素材的播放信息, 所述播放信息用于表征所述视频素材的播放进 度; 若根据所述播放信息, 判断所述视频素材 播放完毕, 则在所述目标位置重复播放所述视频素材。 第三方面, 根据本公开的一个或多个实施例, 提供了一种电子设备, 包括: 至少一个处 理器和存储器; 所述存储器存储计算机执行指令; 所述至少一个处理器执行所述存储器存储的计 算机执行指令, 使得所述至少一个处理器 执行如上第一方面以及第一方面各种可能的设 计所述的基于增强现实的显示方法。 第四方面, 根据本公开的一个或多个实施例, 提供了一种计算机可读存储介质, 所述计 算机可读存储介质中存储有计算机执行指令, 当处理器执行所述计算机执行指令时, 实现如 上第一方面以及第一方面各种可能的设计所述 的基于增强现实的显示方法。 第五方面, 根据本公开的一个或多个实施例, 提供一种计算机程序产品, 包括计算机程 序, 该计算机程序被处理器执行时, 实现如上第一方面以及第一方面各种可能的设 计所述的 基于增强现实的显示方法。 第六方面, 根据公开的一个或多个实施例, 提供了一种计算机程序, 该计算机程序被处 理器执行时, 实现如上第一方面以及第一方面各种可能的设 计的图片处理接口生成方法。 以上描述仅为本公开的较佳实施例以及对所运 用技术原理的说明。 本领域技术人员应当 理解, 本公开中所涉及的公开范围, 并不限于上述技术特征的特定组合而成的技术 方案, 同 时也应涵盖在不脱离上述公开构思的情况下, 由上述技术特征或其等同特征进行任意组合而 形成的其它技术方案。 例如上述特征与本公开中公开的 (但不限于) 具有类似功能的技术特 征进行互相替换而形成的技术方案。 此外, 虽然采用特定次序描绘了各操作, 但是这不应当理解为要求这些操作以所示出的 特定次序或以顺序次序执行来执行。 在一定环境下, 多任务和并行处理可能是有利的。 同样 地, 虽然在上面论述中包含了若干具体实现细节, 但是这些不应当被解释为对本公开的范围 的限制。 在单独的实施例的上下文中描述的某些特征还 可以组合地实现在单个实施例中。 相 反地, 在单个实施例的上下文中描述的各种特征也可 以单独地或以任何合适的子组合的方式 实现在多个实施例中。 尽管巳经采用特定于结构特征和 /或方法逻辑动作的语言描述了本主题, 但是应当理解所 附权利要求书中所限定的主题未必局限于上面 描述的特定特征或动作。 相反, 上面所描述的 特定特征和动作仅仅是实现权利要求书的示例 形式。