技术领域 本发明实施例涉及通信技术领域， 尤其涉及一种移动终端的增强现实处 理方法及装置。 背景技术

增强现实 (Augmented Reality, AR), 把原本在现实世界的一定时间空间 范围内 艮难体验到的实体信息例如， 视觉信息、 声音、 味道或触觉等， 通过 科学技术模拟仿真后再叠加到现实世界被人类 感官所感知， 从而达到超越现 实的感官体验， 这种技术叫做增强现实技术， 简称 AR技术。

三维注册， 通过计算机图形学分析， 获取三维空间中具体物体的三维空 间坐标， 然后根据获取的三维空间坐标将由计算机生成 的虚拟物体绑定拼接 到真实的三维空间中去， 以达到真实环境和虚拟物体的准确无缝融合。

基于移动终端的 AR应用， 是通过移动终端的摄像头获取现实世界的真 实信息， 识别真实世界的 AR目标， 在真实的 AR目标上叠加一些虚拟信息， 该虚拟信息也可以称为是 AR内容， 帮助用户看到真实的 AR 目标之外， 显 示与该 AR目标相关联的 AR内容。

在这种 AR应用模式中，特别强调了 AR内容和 AR目标之间空间跟踪与 注册的准确性， 即当用户使用摄像头观察 AR 目标时， 随着镜头的转动或者 AR目标的移动， 用户可以体验到 AR内容， 如虚拟 3D对象和 AR目标一体 化的随动效果。 同时， 用户和 AR 内容之间可以进行交互， 如点击、 放大、 缩小、 旋转等。

在对现有技术进行研究后， 发明人发现， 现有技术中， 用户通过移动终 端使用 AR应用程序时， 必须对准 AR目标， 否则叠加的 AR内容就会随着视 野中的目标物移动而不断变换位置。 但是当用户查看 AR内容时， 通常情况 下并不想让 AR 内容随着移动， 此时让用户稳定的对准目标物， 就限制了用 户行为， 增加了用户的负担。 但是如果移开了终端， 则根据现有处理流程， 那么叠加的 AR内容就会消失， 导致用户的体验变差。 发明内容 本发明实施例提供一种移动终端的增强现实处 理方法及装置， 以实现对 图像进行定格处理， 降低对用户的行为的约束， 提高 AR处理的效果。

第一方面， 本发明实施例提供一种移动终端的增强现实处 理方法， 包括： 从摄像头获取釆集到的实时图像， 将所述实时图像緩存；

将所述实时图像进行增强现实 AR处理生成第一 AR图像， 并将所述第 一 AR图像显示；

判断是否进行定格处理， 若是， 则从緩存的距离当前时刻第一预设时间 范围内的实时图像中确定一帧緩存的实时图像 作为定格图像， 将所述定格图 像进行 AR处理生成 AR定格图像并显示。

在第一种可能的实现方式中， 所述判断是否进行定格处理， 具体为： 检测所述移动终端在第二预设时间范围内是否 保持静止状态， 若是， 则 进行定格处理。

结合第一方面的第一种可能的实现方式， 在第二种可能的实现方式中， 所述检测所述移动终端在第二预设时间范围内 是否保持静止状态， 若是， 则 进行定格处理， 具体为：

根据在所述第二预设时间范围内通过重力加速 度计釆集到的重力加速度 信息和通过数字罗盘釆集到的方位信息， 判断所述移动终端在所述第二预设 时间范围内是否保持静止状态， 若是， 则进行定格处理。

在第三种可能的实现方式中， 所述从緩存的距离当前时刻第一预设时间 范围内的实时图像中确定至少一帧緩存的实时 图像作为定格图像， 具体为： 对于每一帧緩存的实时图像， 根据所述緩存的实时图像中的第一 AR目 标的位置生成位置权重， 将所述位置权重最大的实时图像确定为所述定 格图 像。

在第四种可能的实现方式中， 所述从緩存的距离当前时刻第一预设时间 范围内的实时图像中确定至少一帧緩存的实时 图像作为定格图像， 具体为： 对于每一帧緩存的实时图像， 根据所述緩存的实时图像中的第一 AR目 标的位置生成位置权重， 根据所述緩存的实时图像中的第一 AR目标所占的 面积比例生成面积权重， 根据所述緩存的实时图像中的第一 AR目标的清晰 度生成清晰度权重， 根据每一帧所述緩存的实时图像的所述位置权 重、 所述 面积权重和所述清晰度权重确定所述定格图像 。

在第五种可能的实现方式中， 所述将所述实时图像进行 AR处理生第一 AR图像， 并将所述第一 AR图像显示， 包括：

获取緩存的第一 AR目标基准位置信息， 根据所述緩存的第一 AR目标 基准位置信息对所述实时图像进行跟踪， 根据跟踪到的第一 AR目标和所述 第一 AR目标标准尺寸信息进行三维注册计算， 生成第一旋转参数和第一平 移参数， 将所述第一旋转参数和所述第一平移参数緩存 ；

获取緩存的第一 AR内容，根据所述第一旋转参数和所述第一平� ��参数, 将所述实时图像和所述第一 AR内容进行虚实融合渲染处理， 生成所述第一 AR图像并显示。

结合第一方面的第五种可能的实现方式， 在第六种可能的实现方式中， 所述获取緩存的第一 AR目标基准位置信息之前， 所述方法还包括：

对所述实时图像进行特征检测和描述， 生成第一特征检测描述数据， 将 所述第一特征检测描述数据发送给 AR服务器， 以使所述 AR服务器根据所 述第一特征检测描述数据进行 AR目标检测；

接收所述 AR服务器在检测到第一 AR目标时发送的第一检测结果， 其 中， 所述第一检测结果中携带有第一 AR目标信息， 所述第一 AR目标信息 包括： 用以指示所述第一 AR目标在所述实时图像中的位置的第一 AR目标 基准位置信息和用以指示所述第一 AR目标在标准图像中的大小的第一 AR 目标标准尺寸信息， 将所述第一 AR目标信息緩存；

根据所述第一检测结果停止向所述 AR服务器发送所述第一特征检测描 述数据；

从所述 AR服务器获取所述第一 AR目标的第一 AR内容， 将所述第一 AR内容緩存。

结合第一方面的第六种可能的实现方式， 在第七种可能的实现方式中， 所述将所述定格图像进行 AR处理生成 AR定格图像并显示， 具体为：

获取緩存的所述定格图像对应的第一旋转参数 、 第一平移参数和所述第 一 AR内容， 根据所述定格图像对应的第一旋转参数和第一 平移参数， 将所 述定格图像和所述第一 AR内容进行虚实融合渲染处理， 生成所述 AR定格 图像并显示。

结合第一方面的第六种可能的实现方式， 在第八种可能的实现方式中， 所述判断是否进行定格处理， 具体为：

根据在第二预设时间范围内生成的所述第一旋 转参数和所述第一平移参 数， 判断所述移动终端在所述第二预设时间范围内 是否保持静止状态， 若是， 则进行定格处理。

结合第一方面的第五种可能的实现方式， 在第九种可能的实现方式中， 所述第一 AR目标信息还包括： 用以指示所述第一 AR目标的类型的第一 AR 目标类型信息；

所述判断是否进行定格处理， 具体为：

若所述第一 AR目标类型信息为浏览类型， 则进行定格处理。

结合第一方面的第五种可能的实现方式， 在第十种可能的实现方式中， 所述判断是否进行定格处理， 若是， 则从緩存的距离当前时刻第一预设时间 范围内的实时图像中确定至少一帧緩存的实时 图像作为定格图像之后， 还包 括：

对所述实时获取到的实时图像进行特征检测和 描述， 生成第二特征检测 描述数据， 将所述第二特征检测描述数据发送给所述 AR服务器， 以使所述 AR服务器根据所述第二特征检测描述数据进行 AR目标检测；

接收所述 AR服务器在检测到第二 AR目标时发送的第二检测结果， 其 中， 所述第二检测结果中携带有第二 AR目标信息， 所述第二 AR目标信息 包括： 用以指示所述第二 AR目标在所述实时图像中的位置的第二 AR目标 基准位置信息和用以指示所述第二 AR目标在所述标准图像中的大小的第二 AR目标标准尺寸信息， 将所述第二 AR目标信息緩存；

根据所述第二检测结果停止向所述 AR服务器发送所述第二特征检测描 述数据；

将所述第二 AR目标信息緩存， 根据所述第二 AR目标基准位置信息对 所述实时图像中的第二 AR目标进行跟踪， 若在第三预设时间范围内跟踪到 所述第二 AR目标，则从所述 AR服务器获取所述第二 AR目标的第二 AR内 容， 将所述第二 AR内容緩存， 生成解除定格指示信息并显示；

若接收到的解除定格指令， 则根据緩存的所述第二 AR目标基准位置信 息对所述实时图像中的第二 AR目标进行跟踪， 根据跟踪到的第二 AR目标 和所述第二 AR目标标准尺寸信息进行三维注册计算， 生成第二旋转参数和 第二平移参数 , 将所述第二旋转参数和所述第二平移参数緩存 ；

根据所述第二旋转参数和所述第二平移参数， 将所述实时图像和所述第 二 AR内容进行虚实融合渲染处理， 生成所述第二 AR图像并显示。

第二方面， 本发明实施例提供一种移动终端的增强现实处 理装置， 包括: 图像获取单元， 用于从摄像头获取釆集到的实时图像， 将所述实时图像 緩存；

第一增强现实处理单元， 与所述图像获取单元相连， 用于将所述实时图 像进行增强现实 AR处理生成第一 AR图像， 并将所述第一 AR图像显示； 定格处理单元， 用于判断是否进行定格处理， 若是， 则从緩存的距离当 前时刻第一预设时间范围内的实时图像中确定 一帧緩存的实时图像作为定格 图像， 将所述定格图像进行 AR处理生成 AR定格图像并显示。

在第一种可能的实现方式中， 所述定格处理单元具体用于检测所述移动 终端在第二预设时间范围内是否保持静止状态 ， 若是， 则进行定格处理。

结合第二方面的第一种可能的实现方式， 在第二种可能的实现方式中， 所述定格处理单元具体用于根据在所述第二预 设时间范围内通过重力加速度 计釆集到的重力加速度信息和通过数字罗盘釆 集到的方位信息， 判断所述移 动终端在所述第二预设时间范围内是否保持静 止状态， 若是， 则进行定格处 理。

在第三种可能的实现方式中， 所述定格处理单元具体用于对于每一帧緩 存的实时图像， 根据所述緩存的实时图像中的第一 AR目标的位置生成位置 权重， 将所述位置权重最大的实时图像确定为所述定 格图像。

在第四种可能的实现方式中， 所述定格处理单元具体用于对于每一帧緩 存的实时图像， 根据所述緩存的实时图像中的第一 AR目标的位置生成位置 权重， 根据所述緩存的实时图像中的第一 AR目标所占的面积比例生成面积 权重，根据所述緩存的实时图像中的第一 AR目标的清晰度生成清晰度权重, 根据每一帧所述緩存的实时图像的所述位置权 重、 所述面积权重和所述清晰 度权重确定所述定格图像。

在第五种可能的实现方式中， 所述第一增强现实处理单元， 包括： 第一跟踪注册子单元， 与所述图像获取单元相连， 用于获取緩存的第一

AR目标基准位置信息，根据所述緩存的第一 AR目标基准位置信息对所述实 时图像进行跟踪， 根据跟踪到的第一 AR目标和所述第一 AR目标标准尺寸 信息进行三维注册计算， 生成第一旋转参数和第一平移参数， 将所述第一旋 转参数和所述第一平移参数緩存；

第一渲染子单元， 与所述第一跟踪注册子单元相连， 用于获取緩存的第 一 AR内容， 根据所述第一旋转参数和所述第一平移参数， 将所述实时图像 和所述第一 AR内容进行虚实融合渲染处理， 生成所述第一 AR图像并显示。

结合第二方面的第五种可能的实现方式， 在第六种可能的实现方式中， 所述第一增强现实处理单元还包括：

第一检测子单元， 与所述图像获取单元相连， 用于对所述实时图像进行 特征检测和描述， 生成第一特征检测描述数据， 将所述第一特征检测描述数 据发送给 AR服务器， 以使所述 AR服务器根据所述第一特征检测描述数据 进行 AR目标检测；

第一接收子单元， 用于接收所述 AR服务器在检测到第一 AR目标时发 送的第一检测结果， 其中， 所述第一检测结果中携带有第一 AR目标信息， 所述第一 AR目标信息包括： 用以指示所述第一 AR目标在所述实时图像中 的位置的第一 AR目标基准位置信息和用以指示所述第一 AR目标在标准图 像中的大小的第一 AR目标标准尺寸信息， 将所述第一 AR目标信息緩存； 第一控制子单元， 分别与所述第一检测子单元和所述第一接收子 单元相 连， 用于根据所述第一检测结果停止向所述 AR服务器发送所述第一特征检 测描述数据；

第一获取子单元， 用于从所述 AR服务器获取所述第一 AR目标的第一 AR内容， 将所述第一 AR内容緩存。

结合第二方面的第六种可能的实现方式， 在第七种可能的实现方式中， 所述定格处理单元具体用于获取緩存的所述定 格图像对应的第一旋转参数、 第一平移参数和所述第一 AR内容， 根据所述定格图像对应的第一旋转参数 和第一平移参数， 将所述定格图像和所述第一 AR内容进行虚实融合渲染处 理， 生成所述 AR定格图像并显示。

结合第二方面的第六种可能的实现方式， 在第八种可能的实现方式中， 所述定格处理单元具体用于根据在第二预设时 间范围内生成的所述第一旋转 参数和所述第一平移参数， 判断所述移动终端在所述第二预设时间范围内 是 否保持静止状态， 若是， 则进行定格处理。

结合第二方面的第五种可能的实现方式， 在第九种可能的实现方式中， 所述第一 AR目标信息还包括： 用以指示所述第一 AR目标的类型的第一 AR 目标类型信息；

所述定格处理单元具体用于若所述第一 AR目标类型信息为浏览类型 , 则进行定格处理。

结合第二方面的第五种可能的实现方式， 在第十种可能的实现方式中， 所述移动终端的增强现实处理装置， 还包括第二增强现实处理单元， 所述第 二增强现实处理单元包括：

第二检测子单元， 与所述图像获取单元相连， 对所述实时图像进行特征 检测和描述， 生成第二特征检测描述数据， 将所述第二特征检测描述数据发 送给所述 AR服务器， 以使所述 AR服务器根据所述第二特征检测描述数据 进行 AR目标检测；

第二接收子单元， 用于接收所述 AR服务器在检测到第二 AR目标时发 送的第二检测结果， 其中， 所述第二检测结果中携带有第二 AR目标信息， 所述第二 AR目标信息包括： 用以指示所述第二 AR目标在所述实时图像中 的位置的第二 AR目标基准位置信息和用以指示所述第二 AR目标在所述标 准图像中的大小的第二 AR目标标准尺寸信息；

第二控制子单元， 分别与所述第二检测子单元和所述第二接收子 单元相 连， 根据所述第二检测结果停止向所述 AR服务器发送所述第二特征检测描 述数据；

緩存处理子单元，分别与所述图像获取单元和 所述第二接收子单元相连， 用于将所述第二 AR目标信息緩存， 根据所述第二 AR目标基准位置信息对 所述实时图像中的第二 AR目标进行跟踪， 若在第三预设时间范围内跟踪到 所述第二 AR目标，则从所述 AR服务器获取所述第二 AR目标的第二 AR内 容， 将所述第二 AR内容緩存， 生成解除定格指示信息并显示；

第二跟踪注册子单元， 与所述图像获取单元相连， 用于若接收到的解除 定格指令， 则根据緩存的所述第二 AR目标基准位置信息对所述实时图像中 的第二 AR目标进行跟踪，根据跟踪到的第二 AR目标和所述第二 AR目标标 准尺寸信息进行三维注册计算， 生成第二旋转参数和第二平移参数， 将所述 第二旋转参数和所述第二平移参数緩存；

第二渲染子单元， 与所述第二跟踪注册子单元相连， 用于根据所述第二 旋转参数和所述第二平移参数， 将所述实时图像和所述第二 AR内容进行虚 实融合渲染处理， 生成所述第二 AR图像并显示。

本实施例提供的移动终端的增强现实处理方法 及装置， 增强现实处理装 置从摄像头获取釆集到的实时图像， 将实时图像緩存， 将实时图像进行增强 现实 AR处理生成第一 AR图像，并将第一 AR图像显示，判断是否进行定格 处理， 若是， 则从緩存的距离当前时刻第一预设时间范围内 的实时图像中确 定一帧緩存的实时图像作为定格图像， 将定格图像进行 AR处理生成 AR定 格图像并显示。 通过对定格处理的判断， 当需要进行定格处理时， 从緩存的 实时图像中确定一帧实时图像进行 AR处理生成 AR定格图像并显示， 使得 用户可以方便地观看定格后的 AR图像， 降低了对用户的行为的约束， 大大 提高了 AR处理的效果。 附图说明 为了更清楚地说明本发明实施例或现有技术中 的技术方案， 下面将对实 施例或现有技术描述中所需要使用的附图作简 单地介绍， 显而易见地， 下面 描述中的附图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动的前提下， 还可以根据这些附图获得其他的附图。

图 1 为本发明实施例提供的第一种移动终端的增强 现实处理方法流程 图；

图 2 为本发明实施例提供的第二种移动终端的增强 现实处理方法流程 图；

图 3 为本发明实施例提供的第三种移动终端的增强 现实处理方法流程 图；

图 4为本发明实施例提供的一种定格判断处理流� �示意图；

图 5为本发明实施例提供的另一种定格判断处理� �程示意图；

图 6为本发明实施例提供的一种定格后增强现实� �理流程示意图； 图 7为本发明实施例提供的另一种定格后增强现� �处理流程示意图； 图 8为本发明实施例提供的第一种移动终端的增� �现实处理装置结构示 意图；

图 9为本发明实施例提供的另一种移动终端的增� �现实处理装置结构示 意图；

图 10 为本发明实施例提供的第三种移动终端的增强 现实处理装置结构 示意图；

图 11 为本发明实施例提供的第四种移动终端的增强 现实处理装置结构 示意图。 具体实施方式 为使本发明实施例的目的、 技术方案和优点更加清楚， 下面将结合本发 明实施例中的附图， 对本发明实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是本发明一部分实施例， 而不是全部的实施例。 基于 本发明中的实施例， 本领域普通技术人员在没有作出创造性劳动前 提下所获 得的所有其他实施例， 都属于本发明保护的范围。

图 1 为本发明实施例提供的第一种移动终端的增强 现实处理方法流程 图。 如图 1所示， 本实施例提供的移动终端的增强现实处理方法 具体可以应 用于集成有增强现实 AR应用的移动终端的 AR处理过程。 该移动终端具体 可以为手机、 数码相机、 笔记本电脑和平板电脑等终端设备。 本实施例提供 的移动终端的增强现实处理方法可以通过增强 现实处理装置来执行。 该增强 现实处理装置可以集成在移动终端中。

本实施例提供的移动终端的增强现实处理方法 具体包括：

步骤 101、 从摄像头获取釆集到的实时图像， 将所述实时图像緩存； 步骤 102、将所述实时图像进行增强现实 AR处理生成第一 AR图像， 并 将所述第一 AR图像显示；

步骤 103、 判断是否进行定格处理， 若是， 则从緩存的距离当前时刻第 一预设时间范围内的实时图像中确定一帧緩存 的实时图像作为定格图像， 将 所述定格图像进行 AR处理生成 AR定格图像并显示。

具体地， 移动终端的摄像头可以釆集实时图像， 增强现实处理装置可以 将从摄像头获取到的实时图像显示在移动终端 的显示屏上， 用户可以通过显 示屏观看该实时图像。 在实际应用过程中， 可以在移动终端的存储单元中设 置实时图像緩存区， 该实时图像緩存区中緩存有一帧当前的实时图 像， 则后 续对实时图像的处理均可以从该实时图像緩存 区中获得该实时图像。 例如， 从该实时图像緩存区中获取实时图像通过显示 屏显示。

当用户启动了 AR应用时， 增强现实处理装置对摄像头釆集到的实时图 像进行 AR处理， 也可以从实时图像緩存区中获取实时图像， 并对该获取到 的实时图像进行 AR处理。 AR处理的过程具体可以为首先识别实时图像中� �� 第一 AR目标， 对第一 AR目标进行跟踪注册， 再将第一 AR内容与第一 AR 目标进行融合渲染， 生成第一 AR图像， 并将该第一 AR图像通过显示屏显 示给用户。 其中， AR目标具体为需要进行 AR处理的对象， AR内容为虚拟 信息， 如虚拟 3D对象。 例如， 在试衣的 AR应用中， 实时图像中的人即为 AR目标， 虚拟的衣服即为 AR内容， 生成的 AR图像即为人试穿虚拟衣服的 图像， 则用户通过显示屏看到的是人试穿衣服的效果 ， 当人在摄像头前动作 时， 由于是对实时图像的处理， 则显示给用户的为实时处理的 AR图像， 该 AR图像中的衣服也在动作。 AR内容可以存储在移动终端本地的存储单元中 , 也可以存储在 AR服务器端， 当 AR内容存储在 AR服务器端时，移动终端可 以从 AR服务器端获取 AR内容。

在对实时图像的 AR处理过程中， 可以生成图像信息， 该图像信息包括在 对该实时图像进行 AR处理的过程中生成的信息， 例如 AR目标在实时图像中 位置信息、 实时图像的清晰度、 AR目标在实时图像中的三维注册信息和时间 信息等。 每帧实时图像都有对应的图像信息。

具体地， 也可以将该图像信息进行緩存， 可以将实时图像和图像信息均 緩存入存储单元的图像队列緩存区中， 该图像队列緩存区可以緩存距离当前 时刻第一预设时间范围内， 对实时图像的 AR处理过程生成的图像信息， 即图 像队列緩存区中可以緩存多个图像信息。 将图像信息緩存至图像队列緩存区 的实现过程具体可以为：

记录当前时间 t,根据当前时间 t与图像队列緩存区的首个图像信息的緩存 时间 tl之间的差是否超过第一预设时间范围 T1来判断是否更新图像队列緩存 区， 即是否移除图像队列緩存区的一些图像信息； 将图像队列緩存区中满足 (t - ti > T1)的前 i个图像信息从图像队列緩存区 中移除， 将 11设为更新后的图像队列緩存区中的第一个图� ��信息的緩存时间； 其中，第一预设时间范围 T1可以根据摄像头釆集到的单帧实时图像的大 小及用户移动终端的存储单元的容量情况来动 态调整。 例如， 设第一预设时 间范围 T1 的初始值可以设为 5s, 摄像头釆集到的单帧图像的大小可以根据 实时图像緩存区中緩存的实时图像来确定， 假设摄像头单帧图像的大小为 q, AR应用每秒处理的帧数为 r, 移动终端的内存为 a, 为了避免图像队列緩存 区占用过多的存储单元的存储空间， 设置图像队列緩存区占用存储单元的存 储空间不超过存储空间容量的 5%在实际处理过程中， q和 r的大小可能实时 变化， 则可以实时或以预设时间间隔对图像队列緩存 区所占用的存储空间进 行判断， 若 q ^x rx21 _> 5%x _a , 则说明图像队列緩存区所占的存储空间超过储 空 间容量的 5%, 则可以令^ ! ⁼ (5%xa)/ (qxi ， 以通过调整该第一预设时间范围 T1使得图像队列緩存区所占用的存储空间不超� ��存储空间总容量的 5%。

当用户需要对显示器显示的图像进行定格处理 时， 可以将定格后的 AR 图像通过显示屏显示给用户。 触发定格处理的方式可以有多种：

在一种实现方式中， 用户可以手动触发该定格处理流程。 可以在 AR应 用界面上预设定格使能按钮， 用户可以通过控制该定格使能按钮触发定格处 理流程。 当显示屏为触摸屏时， 当用户希望使用定格功能查看 AR图像时， 可以直接点触该定格使能按钮， 即手动触发定格处理， AR应用获取该用户输 入的定格指示信息， 设置定格功能信号标志为启动， 执行定格处理。

在另一种实现方式中， 增强现实处理装置还可以自动判断是否需要执 行 定格处理。 例如， 当移动终端在一定时间范围内处于静止状态， 则可以判断 用户希望查看定格的 AR图像， 则设置定格功能信号标志为启动。 执行定格 处理。

在又一种实现方式中， 增强现实处理装置还可以根据 AR对象的类型信 息来执行定格处理， 如 AR对象的类型信息为浏览类型， 例如 AR对象为一 静物，如书本或者且他用于展示静态物品等， 则说明用户希望看到静态的 AR 图像效果， 则执行该定格处理。 或者处理器根据 AR对象的类型信息获知该 AR对象为交互性的对象， 用户需要通过触摸或点击交互信息了解更多的 AR 内容， 当这种交互信息的数量达到一定阈值时，判断 用户想要详细了解该 AR 内容， 则执行该定格处理。

若判断需要进行定格处理， 则从图像队列緩存区中确定一帧效果好的实 时图像作为定格图像。 在实际应用过程中， 也可以从图像队列緩存区中确定 多帧实时图像作为定格图像， 并将确定的多帧定格图像通过显示屏显示给用 户， 由用户选择其中一帧定格图像， 再将该选择的定格图像进行 AR处理生 成 AR定格图像并通过显示屏显示。 或者， 确定的多帧定格图像可以将确定 的多帧定格图像都进行 AR处理生成多帧 AR定格图像， 并通过分屏形式显 示给用户， 多帧 AR定格图像可以从多个角度体现 AR处理的效果。 或者， 可以从图像队列緩存区中确定一帧效果最好的 实时图像作为定格图像， 并对 该定格图像进行 AR处理。若判断不需要进行定格处理，则继续� ��行步骤 101， 对实时图像进行 AR处理， 并将生成的第一 AR图像通过显示屏显示给用户。

在定格处理过程中， 虽然显示给用户的是 AR定格图像， 但是， 增强现 实处理装置还分配有其他线程继续执行获取实 时图像并对实时图像跟踪处 理。

当用户不需要查看 AR定格图像时， 可以解除定格， 解除定格的实现方 式也可以有多种， 可以向用户显示用于解除定格的功能按钮， 用户手动控制 以实现解除定格功能， 或者在 AR 目标跟丟后， 检测到新的 AR 目标时， 自 动提示用户进行解除定格的操作。 当用户解除定格时， 则设置定格功能信号 标志为非启动， 继续后台运行的对实时图像跟踪处理的流程， 再对跟踪到的 AR 目标进行三维注册计算， 并根据 AR 内容进行虚实融合渲染处理， 生成 AR图像并显示。

本实施例提供的移动终端的增强现实处理方法 ， 增强现实处理装置从摄 像头获取釆集到的实时图像，将实时图像緩存 ，将实时图像进行增强现实 AR 处理生成第一 AR图像， 并将第一 AR图像显示， 判断是否进行定格处理， 若是， 则从緩存的距离当前时刻第一预设时间范围内 的实时图像中确定一帧 緩存的实时图像作为定格图像， 将定格图像进行 AR处理生成 AR定格图像 并显示。 通过对定格处理的判断， 当需要进行定格处理时， 从緩存的实时图 像中确定一帧实时图像进行 AR处理生成 AR定格图像并显示， 使得用户可 以方便地观看定格后的 AR图像， 降低了对用户的行为的约束， 大大提高了 AR处理的效果。 图 2为本发明实施例提供的第二种移动终端的增� �现实处理方法流程 图。 如图 2所示， 在本实施例中， 步骤 102, 所述将所述实时图像进行 AR处 理生第一 AR图像， 并将所述第一 AR图像显示， 具体可以包括如下步骤： 步骤 205、获取緩存的第一 AR目标基准位置信息，根据所述緩存的第一 AR目标基准位置信息对所述实时图像进行跟踪� ��根据跟踪到的第一 AR目标 和所述第一 AR目标标准尺寸信息进行三维注册计算， 生成第一旋转参数和 第一平移参数， 将所述第一旋转参数和所述第一平移参数緩存 ；

步骤 206、获取緩存的第一 AR内容，根据所述第一旋转参数和所述第一 平移参数， 将所述实时图像和所述第一 AR内容进行虚实融合渲染处理， 生 成所述第一 AR图像并显示。

具体地， 可以设置 AR服务器为移动终端提供 AR应用服务。 增强现实 处理装置可以将实时图像作为测试图像， 对测试图像进行特征检测和描述， 生成第一特征检测描述数据， 并将该第一特征检测描述数据发送给 AR服务 器， AR服务器的数据库中存储有标准图像的特征检� ��数据， AR服务器将接 收到的第一特征检测描述数据与数据库中的标 准图像的特征检测数据进行匹 配， 若匹配成功， 则在测试图像中检测到第一 AR 目标， 并生成用以指示检 测到该第一 AR 目标的第一检测结果。 在实际应用过程中， 增强现实处理装 置也可以将实时图像作为测试图像直接发送给 AR服务器， 由 AR服务器对 测试图像进行特征检测和描述， 生成第一特征检测描述数据， 将第一特征检 测描述数据与数据库中的标准图像的特征检测 数据进行匹配。 测试图像与标 准图像的匹配过程还可以釆用其他图像匹配的 方式实现， 并不限于利用特征 检测数据的方式。

增强现实处理装置接收 AR服务器在检测到第一 AR 目标时发送的第一 检测结果， 其中， 第一检测结果中携带有第一 AR 目标信息， 第一 AR 目标 信息包括： 用以指示第一 AR 目标在实时图像中的位置的第一 AR 目标基准 位置信息和用以指示第一 AR 目标在标准图像中的大小的第一 AR 目标标准 尺寸信息， 将第一 AR 目标信息进行緩存。 第一 AR 目标信息还可以包括第 一 AR目标的类型信息和第一 AR的特征信息等。可以在存储单元中设置 AR 目标緩存区， 以对该第一 AR 目标信息进行緩存。 增强现实处理装置接收到 AR服务器发送的该第一检测结果后， 可以停止向 AR服务器发送实时图像， 以避免 AR服务器的重复检测。

增强现实处理装置从 AR服务器中下载该第一 AR目标对应的第一 AR内 容， AR服务器也可以将该第一 AR内容携带在第一检测结果中发送给移动终 端。 可以在存储单元中设置 AR内容緩存区， 以对该第一 AR内容进行緩存。

对于之后釆集到的实时图像的处理， 增强现实处理装置可以从存储单元 的 AR目标緩存区中获取緩存的第一 AR目标基准位置信息，根据该第一 AR 目标基准位置信息对实时图像中的第一 AR 目标进行跟踪， 可以将用于进行 目标跟踪的实时图像作为跟踪图像。 在对第一 AR 目标的跟踪过程中， 可以 生成第一跟踪信息， 第一跟踪信息具体包括第一 AR 目标在跟踪图像中的位 置信息和跟踪图像的清晰度等信息。 还可以在存储单元中设置 AR 目标位置 緩存区， 将跟踪过程中生成的第一跟踪信息， 以及在三维注册计算过程中生 成的第一旋转参数和第一平移参数等 AR 目标在实时图像中的三维注册信息 緩存至该 AR 目标位置緩存区。 若在对第一 AR 目标的跟踪过程中， 在跟踪 图像中未跟踪到该第一 AR目标， 即第一目标 AR跟丟，或者第一目标 AR离 开摄像头的釆集范围， 则将 AR 目标緩存区和 AR 目标位置緩存区清空。 重 新向 AR服务器发送实时图像，以使 AR服务器对实时图像进行 AR目标检测， 后续处理流程可以参照上述描述， 在此不再赘述。 若重新检测到的 AR 目标 仍为第一 AR目标， 则可以不用重新下载第一 AR目标对应的第一 AR内容， 直接从 AR内容緩存区内获取第一 AR内容即可。若重新检测到的 AR目标不 是该第一 AR目标， 则将 AR内容緩存区清空， 并从 AR服务器下载新的 AR 目标对应的 AR内容。

增强现实处理装置根据第一旋转参数和第一平 移参数， 将实时图像和第 一 AR内容进行虚实融合渲染处理， 生成第一 AR图像并通过显示屏显示。

在本实施例中， 步骤 205, 所述获取緩存的第一 AR目标基准位置信息之 前， 所述方法进一步还可以包括：

步骤 201、 对所述实时图像进行特征检测和描述， 生成第一特征检测描 述数据， 将所述第一特征检测描述数据发送给 AR服务器， 以使所述 AR服 务器根据所述第一特征检测描述数据进行 AR目标检测；

步骤 202、接收所述 AR服务器在检测到第一 AR目标时发送的第一检测 结果， 其中， 所述第一检测结果中携带有第一 AR目标信息， 所述第一 AR 目标信息包括： 用以指示所述第一 AR目标在所述实时图像中的位置的第一 AR目标基准位置信息和用以指示所述第一 AR目标在标准图像中的大小的第 一 AR目标标准尺寸信息， 将所述第一 AR目标信息緩存；

步骤 203、根据所述第一检测结果停止向所述 AR服务器发送所述第一特 征检测描述数据；

步骤 204、 从所述 AR服务器获取所述第一 AR目标的第一 AR内容， 将 所述第一 AR内容緩存。

图 3为本发明实施例提供的第三种移动终端的增� �现实处理方法流程图。 如图 3所示，本发明实施例提供的移动终端的增强� �实处理方法的实现过程具 体如下：

步骤 31、 获取摄像头釆集的实时图像， 将实时图像緩存至实时图像緩存 区；

步骤 32、 判断 AR目标位置緩存区是否緩存有 AR目标基准位置信息， 若 AR目标位置緩存区中没有緩存 AR目标基准位置信息， 说明 AR应用刚启动， AR目标位置緩存区为空， 或者在 AR目标跟踪过程中没有跟踪到 AR目标， 将 AR目标位置緩存区清空， 执行步骤 33; 若 AR目标位置緩存区中緩存有 AR目 标基准位置信息， 则执行步骤 39;

步骤 33、 在 AR应用刚启动或者 AR目标跟丟的情况下， 将实时图像作为 测试图像， 对测试图像进行检测和描述， 进行特征检测和描述， 生成特征检 测描述数据， 将该特征检测描述数据发送给 ARI良务器；

步骤 34、 AR服务器将该特征检测描述数据与数据库中的� ��准图像的特征 检测描述数据进行匹配， 若匹配成功， 则在测试图像中检测到 AR目标， 生成 检测到 AR目标的检测结果， 并发送给移动终端， 若匹配不成功， AR服务器 会生成用以指示没有检测到 AR目标的检测结果， 并发送给移动终端；

步骤 35、 移动终端根据检测结果获知检测到 AR目标， 则停止向 AR服务 器发送测试图像， 并执行步骤 36; 若根据检测结果获知没有检测到 AR目标， 则执行步骤 31 ;

步骤 36、移动终端从 ARI良务器下载 AR目标信息，该 AR目标信息包括用以 指示该 AR目标在测试图像中的位置的 AR目标基准位置信息、 用以指示该 AR 目标在标准图像中的大小的 AR目标标准尺寸信息、 AR目标的类型信息和 AR 目标的特征信息等， 并将 AR目标信息緩存至 AR目标位置緩存区； 步骤 37、 判断 AR内容緩存区中是否存储有该 AR目标对应的 AR内容， 若 存在， 则执行步骤 310; 若不存在， 则执行步骤 38;

步骤 38、移动终端从 AR服务器下载该 AR目标对应的 AR内容， 将 AR内容 緩存至 AR内容緩存区内；

对于 AR应用刚启动或者在 AR目标跟踪过程中没有跟踪到 AR目标时， AR 目标位置緩存区为空， 对于 AR服务器第一次跟踪到 AR目标的实时图像， 不 对实时图像进行 AR目标跟踪处理， 直接根据 AR服务器发送的 AR目标信息中 的 AR目标基准位置信息对该实时图像进行三维注� ��计算， 即执行步骤 312; 步骤 39、 从 AR目标位置緩存区获取 AR目标基准位置信息；

步骤 310、 将实时图像作为跟踪图像， 根据该 AR目标基准位置信息对跟 踪图像中的 AR目标进行跟踪；

步骤 311、 若在跟踪图像中跟踪到 AR目标， 则执行步骤 312, 在对跟踪图 像的跟踪过程中， 可以生成跟踪信息， 该跟踪信息具体可以包括 AR目标在跟 踪图像中位置信息、 跟踪图像的清晰度和时间信息等； 若在跟踪图像中没有 跟踪到 AR目标， 则执行步骤 31；

步骤 312、 根据跟踪信息、 AR目标位置緩存区中 AR目标基准位置信息及 AR目标标准尺寸信息和摄像头的焦距和光心等� ��像机参数计算得到 AR目标 发生的旋转参数、 平移参数等三维注册信息， 将步骤 311和步骤 312中产生的 信息作为图像信息緩存至图像队列緩存区中；

具体的， 可以根据 AR目标位置緩存区中 AR目标基准位置信息及 AR目标 标准尺寸信息计算出摄像头的焦距和光心等参 数,再根据 AR目标位置緩存区 中 AR目标基准位置信息、 AR目标标准尺寸信息、 摄像头的焦距和光心等参 数计算得到 AR目标发生的旋转参数、 平移参数等三维注册信息。

步骤 313、 根据三维注册信息将 AR内容緩存区中的第一 AR内容与当前跟 踪图像中的第一 AR目标进行虚实融合渲染生成 AR图像， 并通过显示屏显示 给用户；

步骤 314、 判断是否进行定格处理， 若是， 则执行步骤 315; 若否， 则执 行步骤 31 ;

步骤 315、设置定格功能信号标志为启动， 从图像队列緩存区中确定一帧 效果最好的实时图像作为定格图像；

步骤 316、 根据该定格图像的图像信息， 从 AR目标位置緩存区中获取该 定格图像的三维注册信息， 从 AR内容緩存区中获取 AR内容；

步骤 317、 根据三维注册信息、 AR内容对该定格图像进行虚实融合渲染 处理， 生成 AR定格图像并显示；

步骤 318、 判断是否解除定格， 若是， 则执行步骤 319, 后执行步骤 31 ; 若否， 则执行步骤 317;

步骤 319、 设置定格功能信号标志为非启动， 将图像队列緩存区清空。 在本实施例中， 步骤 103中， 所述将所述定格图像进行 AR处理生成 AR 定格图像并显示， 具体可以为：

获取緩存的所述定格图像对应的第一旋转参数 、 第一平移参数和所述第 一 AR内容， 根据所述定格图像对应的第一旋转参数和第一 平移参数， 将所 述定格图像和所述第一 AR内容进行虚实融合渲染处理， 生成所述 AR定格 图像并显示。

对定格图像的 AR处理过程具体可以参照对实时图像的 AR处理过程的 详细描述， 在此不再赘述„

在本实施例中， 步骤 103中， 所述判断是否进行定格处理， 具体可以为： 检测所述移动终端在第二预设时间范围内是否 保持静止状态， 若是， 则 进行定格处理。

检测移动终端在第二预设时间范围内是否保持 静止状态的方式可以有多 种， 可以通过硬件检测也可以通过软件计算。

在本实施例中， 所述检测所述移动终端在第二预设时间范围内 是否保持 静止状态， 若是， 则进行定格处理， 具体可以为：

根据在所述第二预设时间范围内通过重力加速 度计釆集到的重力加速度 信息和通过数字罗盘釆集到的方位信息， 判断所述移动终端在所述第二预设 时间范围内是否保持静止状态， 若是， 则进行定格处理。

在一种实现方式中， 移动终端中可以设置有重力加速度计和数字罗 盘， 重力加速度集可以釆集重力加速度信息， 数字罗盘可以釆集方位信息， 则根 据重力加速度信息和方位信息即可判断移动终 端是否处于静止状态。

具体地， 可以在存储单元中设置硬件参数队列緩存区， 将重力加速度计 釆集到的重力加速度信息和数字罗盘釆集到的 方位信息及该次緩存的时间信 息作为一个元素緩存到硬件参数队列緩存区尾 部。 硬件参数队列緩存区存储 的第一个元素的时间信息为 tl , 当前时间为 t。

图 4为本发明实施例提供的一种定格判断处理流� �示意图。 如图 4所示， 定格处理判断的流程步骤具体如下：

步骤 41、 判断当前时间 t与硬件参数队列緩存区中存储的第一个元素� �时 间信息 11的时间差是否超过第二预设时间范围 Ts , 若超过第二预设时间范围 Ts, 则执行步骤 42 , 若没超过第二预设时间范围 Ts , 则执行步骤 46;

步骤 42、 根据每个元素中的重力加速度信息和方位信息 计算第二预设时 间范围 Ts内的重力加速度计和数字罗盘的变化， 具体计算过程为： 存区中緩存的元素个数， 为硬件参数緩存区中緩存的第 i个重力加速度计 参数， 为硬件参数緩存区中緩存的第 i个緩存重力加速度计时的时间信息； 数字罗盘在 (t-tl)秒内的变化为 tw-t'， 其中 n为硬件参数緩存区 中緩存的元素个数， Ci为硬件参数緩存区中緩存的第 i个数字罗盘参数， t为 硬件参数緩存区中緩存的第 i个緩存数字罗盘时的时间信息； 步骤 43、 将硬件参数队列緩存区中满足 (t - ti > T)的前 i个元素从硬件参数 队列緩存区中移除， 将 tl设为新緩存的硬件参数队列緩存区中的第一� ��元素 的时间信息；

步骤 44、 若步骤 42中计算得到的第二预设时间范围 Ts内重力加速度计的 变化 g _dlff <0.5米 /秒平方， 执行步骤 45 , 否则， 执行步骤 46;

步骤 45、 若步骤 2中计算得到的第二预设时间范围 Ts内数字罗盘的变化 c _dlff <5度， 执行步骤 47 , 否则， 执行步骤 46;

步骤 46、 设置定格功能信号标志为非启动；

步骤 47、 设置定格功能信号标志为启动。

在本实施例中， 步骤 103中， 所述判断是否进行定格处理， 具体可以为： 根据在第二预设时间范围内生成的所述第一旋 转参数和所述第一平移参 数， 判断所述移动终端在所述第二预设时间范围内 是否保持静止状态， 若是， 则进行定格处理。

在另一种实现方式中，可以根据步骤 205中三维注册计算过程中生成的第 一旋转参数和第一平移参数来判断移动终端是 否处于静止状态。

具体地， 三维注册计算得到的第一旋转参数 rx、 ry和 rz, 以及第一平移参 数 tx、 ty和 tz, 其中， rx, ry和 rz分别表示移动终端在 x方向、 y方向和 z方向的 旋转的角度， tx、 ty和 tz分别表示移动终端在 X方向、 y方向和 z方向平移的单 位。 可以在存储单元中设置三维注册参数队列緩存 区， 将第一旋转参数、 第 一平移参数及该次緩存的时间信息作为一个元 素緩存到三维注册参数队列緩 存区尾部。

三维注册参数队列緩存区緩存的是第二预设时 间范围内连续跟踪 AR 目 标时的三维注册参数信息。 若没有跟踪到 AR 目标， 则需要将三维注册参数 队列緩存区中的内容清空。

设该三维注册参数队列緩存区存储的第一个元 素的时间信息为 tl , 当前 时间为 t。

图 5为本发明实施例提供的另一种定格判断处理� �程示意图。如图 5所示， 定格处理判断的流程步骤具体如下：

步骤 51、 判断当前时间 t与三维注册参数队列緩存区中存储的第一个� �素 的时间信息 11的时间差是否超过第二预设时间范围 Ts , 若超过第二预设时间 范围过 Ts, 则执行步骤 52, 没超过第二预设时间范围 Ts, 则执行步骤 56; 步骤 52、根据每个元素中第一旋转参数和所述第一� ��移参数计算第一 AR 目标在第二预设时间范围 Ts 内的旋转变化和平移变化， 具体计算过程为： 第一 AR目标在第二预设时间范围 Ts内的平移变化为： r _dlff =∑" ( ^r x _l+l - ^r x) ^{+ ( r} y _l+l - ^r y) ^{+ (r} z _l+l - ^r z)) . r _dlff 表示第一 AR目标在相邻两帧跟踪图像中发生旋转变化的� ��度差之和， 其中， n为三维注册参数緩存区中緩存的元素个数， 1¾、 ！^和 分别为分别三 维注册参数緩存区中緩存的第 i个元素中的第一旋转参数；

第一 AR目标在第二预设时间范围 Ts内的平移变化为：

t _dlff =∑" ^t x _l+ r ^t x) ⁺ ^γ _ι+ι -^) ^{+ ϋ} ζ _ί+ ^{ ζ) . t _dlff 表示第一 AR目标相邻两帧跟踪图像中发生平移变化的平� ��量之和，其 中， n为三维注册参数緩存区中緩存的元素个数， t _Xl 、 1 和1 为三维注册参数 緩存区中緩存的第 i个元素中的第一平移参数；

步骤 53、 将三维注册参数队列緩存区中满足 (t - ti > T)的前 i个元素从三维 注册参数队列緩存区中移除， 将 tl设为新緩存的三维注册参数队列緩存区中 的第一个元素的时间信息；

步骤 54、若步骤 52中计算得到的约第二预设时间范围 Ts内第一 AR目标旋 转的变化 <5度， 执行步骤 55, 否则， 执行步骤 56;

步骤 55、 步骤 52中计算得到的第二预设时间范围 Ts内第一 AR目标平移的 变化 t _dlff <5度， 执行步骤 57, 否则， 执行步骤 56;

步骤 56、 设置定格功能信号标志为非启动；

步骤 57、 设置定格功能信号标志为启动。

在本实施例中， 所述第一 AR目标信息还包括： 用以指示所述第一 AR 目标的类型的第一 AR目标类型信息；

步骤 103中， 所述判断是否进行定格处理， 具体为：

若所述第一 AR目标类型信息为浏览类型， 则进行定格处理。

在本实施例中， 步骤 103中， 所述从緩存的距离当前时刻第一预设时间 范围内的实时图像中确定一帧緩存的实时图像 作为定格图像， 具体可以为： 对于每一帧緩存的实时图像， 根据所述緩存的实时图像中的第一 AR目 标的位置生成位置权重， 将所述位置权重最大的实时图像确定为所述定 格图 像。

具体地， 通过计算第一 AR 目标整体出现的位置的中心坐标与该緩存的 实时图像中心的坐标之间的像素距离， 即获取第一 AR 目标的位置与屏幕中 心的距离。 根据第一 AR 目标的位置与屏幕中心的距离， 设置第一 AR 目标 在緩存图像的位置最靠近图像中心的緩存图像 的位置权重最大， 距图像中心 最远的緩存图像的位置权重最小。 将位置权重最大的緩存图像确定为定格图 像。

本实施例中， 根据位置权重确定的定格图像， 第一 AR 目标的位置与屏 幕中心的距离较近， 以获得较好的显示效果， 这使得用户观看时更加舒适和 方便。 在本实施例中， 步骤 103中， 所述从緩存的距离当前时刻第一预设时间 范围内的实时图像中确定一帧緩存的实时图像 作为定格图像， 具体可以为： 对于每一帧緩存的实时图像， 根据所述緩存的实时图像中的第一 AR目 标的位置生成位置权重， 根据所述緩存的实时图像中的第一 AR目标所占的 面积比例生成面积权重， 根据所述緩存的实时图像中的第一 AR目标的清晰 度生成清晰度权重， 根据每一帧所述緩存的实时图像的所述位置权 重、 所述 面积权重和所述清晰度权重确定所述定格图像 。

具体地， 在确定定格图像的过程中还可以考虑实时图像 的面积和清晰度 等参数。

可以将图像队列緩存区中的緩存图像信息通过 空域参数方程、 熵以及频 域调制传递函数 MTF等方法计算， 获取緩存的实时图像的清晰度。

将图像队列緩存区中緩存的实时图像的清晰度 大小按从小到大排列， 可 以将排序编号作为緩存的实时图像的清晰度权 重，即緩存的实时图像越清晰， 则緩存的实时图像的清晰度权重越大。

通过第一 AR 目标的坐标信息计算得到第一 AR 目标在緩存的实时图像 中出现的面积与第一 AR 目标整体的面积。 第一 AR 目标在緩存的实时图像 中出现的面积与第一 AR 目标整体的面积的比值作为面积比。 将面积比由大 到小排序， 设置每帧緩存的实时图像的面积比权重。 即若 AR 目标整体出现 在緩存图片中， 则面积比重最大。

若第一 AR 目标的坐标信息没有超出緩存的实时图像的坐 标范围， 则为 第一 AR目标整体都出现在緩存图像中， 则面积比重为 1 ; 若 AR目标的坐标 信息超出跟踪图像的坐标范围， 则 AR 目标没有完全出现在跟踪图像， 可计 算出现在緩存图像内的第一 AR 目标的面积与第一 AR 目标的实际面积的比 值。

可以将緩存图像的位置权重、 面积权重和清晰度权重的权重之和最大的 緩存的实时图像确定为定格图像。

本实施例中， 根据位置权重、 面积权重和清晰度权重确定的定格图像， 使用户可以看到一个大而清晰， 且处于中心第一 AR 目标的定格图像， 这得 使用户观看时更加舒适和方便， 提高了定格效果。

图 6为本发明实施例提供的一种定格后增强现实� �理流程示意图。 如图 6所示， 在本实施例中， 步骤 103 , 所述判断是否进行定格处理， 若是， 则从 緩存的距离当前时刻第一预设时间范围内的实 时图像中确定一帧緩存的实时 图像作为定格图像之后， 所述方法还可以包括：

步骤 601、 对所述实时获取到的实时图像进行特征检测和 描述， 生成第 二特征检测描述数据，将所述第二特征检测描 述数据发送给所述 AR服务器， 以使所述 AR服务器根据所述第二特征检测描述数据进行 AR目标检测； 步骤 602、接收所述 AR服务器在检测到第二 AR目标时发送的第二检测 结果， 其中， 所述第二检测结果中携带有第二 AR 目标信息， 所述第二 AR 目标信息包括： 用以指示所述第二 AR 目标在所述实时图像中的位置的第二 AR目标基准位置信息和用以指示所述第二 AR目标在所述标准图像中的大小 的第二 AR目标标准尺寸信息， 将所述第二 AR目标信息緩存；

步骤 603、根据所述第二检测结果停止向所述 AR服务器发送所述第二特 征检测描述数据；

步骤 604、将所述第二 AR目标信息緩存， 根据所述第二 AR目标基准位 置信息对所述实时图像中的第二 AR 目标进行跟踪， 若在第三预设时间范围 内跟踪到所述第二 AR目标，则从所述 AR服务器获取所述第二 AR目标的第 二 AR内容， 将所述第二 AR内容緩存， 生成解除定格指示信息并显示； 步骤 605、若接收到的解除定格指令， 则根据緩存的所述第二 AR目标基 准位置信息对所述实时图像中的第二 AR 目标进行跟踪， 根据跟踪到的第二 AR目标和所述第二 AR目标标准尺寸信息进行三维注册计算，生成� ��二旋转 参数和第二平移参数， 将所述第二旋转参数和所述第二平移参数緩存 ；

步骤 606、 根据所述第二旋转参数和所述第二平移参数， 将所述实时图 像和所述第二 AR内容进行虚实融合渲染处理， 生成所述第二 AR图像并显 示。

具体地， 定格后， 虽然显示给用户的是 AR定格图像， 但是， 增强现实 处理装置还分配有其他线程继续执行获取实时 图像并对实时图像进行相应地 处理。 增强现实处理装置可以以一个预设时间间隔获 取摄像头釆集的实时图 像， 将该实时图像作为测试图像， 对测试图像进行特征检测、 描述， 生成特 征检测描述数据， 将该特征检测描述数据连同测试图像一起发送 给 AR服务 器。 AR服务器将特征检测描述数据与数据库中的标� ��图像的特征检测描述数 据进行匹配。 若在测试图像中检测到第二 AR 目标， 生成用以指示检测到该 第二 AR 目标的第二检测结果， 并发送给移动终端。 该第二检测结果中携带 有第二 AR 目标信息。 移动终端接收到该第二检测结果后， 判断第二 AR 目 标信息与 AR 目标緩存区中的第一 AR 目标信息是否相同， 若不同， 则停止 向 AR服务器发送测试图像， 以避免 AR服务器的重复检测。 移动终端将该 第二 AR 目标信息緩存到存储单元的预加载 AR 目标緩存区中， 移动终端根 据第二 AR 目标信息中第二 AR 目标基准位置信息对作为跟踪图像的实时图 像进行跟踪， 若在第三预设时间范围内持续跟踪到第二 AR 目标， 则从 AR 服务器下载该第二 AR目标对应的第二 AR内容，将第二 AR内容緩存至存储 单元的预加载 AR内容緩存区， 并生成解除定格指示信息显示给用户， 以提 示用户解除定格。 该解除定格指示信息实现形式可以为弹出对话 框， 以提示 用户选择是否查看新目标， 或者将手动解定格按钮高亮显示， 表示已经发现 新的 AR目标及下载了相对应的第二 AR内容。

若第二 AR目标信息与 AR目标緩存区中的第一 AR目标信息相同， 则重复 执行步骤 601和步骤 602, 直到检测到不同于第一 AR目标的新的 AR目标为止。

用户可以根据该解除定格指示信息选择继续保 持定格或解除定格， 若用 户选择解除定格， 则输入解除定格指令， 增强现实处理装置则持续对跟踪图 像进行第二 AR目标的跟踪、 三维注册计算以及虚实渲染融合处理。 其具体实 现过程可以参照上述实施例的描述， 在此不再赘述。

若用户选择保持定格， 则输入保持定格指令， 增强现实处理装置执行步 骤 601和步骤 602, 若检测到的 AR目标仍为第二 AR目标， 且在预设时间范围 内持续跟踪到该第二 AR目标， 则再次向用户显示解除定格指示信息。 若检测 到的 AR目标与第二 AR目标不同，则将预加载 AR目标緩存区和预加载 AR内容 緩存区清空， 并将该新的 AR目标信息緩存至该预加载 AR目标緩存区。 移动 终端根据新的 AR目标信息中新的 AR目标基准位置信息对作为跟踪图像的实 时图像进行跟踪， 若在预设时间范围内持续跟踪到该新的 AR目标， 则从 AR 月良务器下载该新的 AR目标对应的 AR内容， 将该 AR内容緩存至 AR内容緩存 区， 并生成解除定格指示信息显示给用户。

在实际应用中， 新获取的 AR目标信息与预加载 AR目标緩存区的 AR目标 信息不同有两种情况： 一种为预加载目标緩存区中的 AR目标信息为空：

在每次启动定格功能时将预加载目标緩存区中 的 AR 目标信息清空， 若 定格后一直没有发现 AR目标，或者新获取的 AR目标信息与 AR目标緩存区 緩存的 AR目标信息相同， 则预加载目标緩存区中的目标信息一直为空； 另一种为预加载目标緩存区中的目标信息不为 空，但是新获取的 AR目标 信息与预加载目标緩存区中的 AR目标信息不同， 即不是连续发现 AR目标。

图 7为本发明实施例提供的另一种定格后增强现� �处理流程示意图。 如 图 7所示， 定格后增强现实处理的流程步骤具体如下：

步骤 71、 定格功能启动， 为用户显示 AR定格图像；

步骤 72、 判断是否等待了 T2秒， 若是， 则执行步骤 73 , 若否， 则继续 等待；

步骤 73、 从摄像头获取实时图像；

步骤 74、 将实时图像作为测试图像进行图像特征检测和 描述， 生成特征 检测描述数据， 将该特征检测描述数据发送给 AR服务器；

步骤 75、 AR服务器将该特征检测描述数据与数据库中的� ��准图像的特 征检测描述数据进行匹配， 若匹配成功， 则在测试图像中检测到 AR 目标， 生成检测到 AR目标的检测结果， 并发送给移动终端， 若匹配不成功， AR服 务器会生成用以指示没有检测到 AR目标的检测结果， 并发送给移动终端； 步骤 76、 移动终端根据检测结果获知检测到 AR目标， 则停止向 AR服 务器发送测试图像， 并执行步骤 77; 若根据检测结果获知没有检测到 AR目 标， 则执行步骤 72;

步骤 77、检测出的 AR目标为 AR目标 a, 下载 AR目标 a的 AR目标信 息；

步骤 78、 判断 AR目标 a的 AR目标信息与 AR目标緩存区中的 AR目 标信息是否相同， 若相同， 则执行步骤 72; 若不同， 则执行步骤 79;

步骤 79、 判断 AR目标 a的 AR目标信息与预加载的 AR目标緩存区中 的 AR 目标信息是否相同， 若相同， 则执行步骤 711 ; 若不同， 则执行步骤 710;

步骤 710、将 AR目标 a的 AR目标信息緩存至预加载的 AR目标緩存区； 步骤 711、 判断在 T3秒内是否持续跟踪到该 AR目标 a, 若是则执行步 骤 712; 若否则执行步骤 72;

步骤 712、 判断是否已经下载 AR目标 a的 AR内容， 若是， 则执行步骤 714; 若否， 则执行步骤 713;

步骤 713、 从 AR服务器下载 AR目标 a的 AR内容， 并将 AR内容緩存 至预加载的 AR内容緩存区；

步骤 714、 判断距离 AR内容下载的时间是否超过 T4秒， 若是， 则执行 步骤 715; 若否则继续等待；

步骤 715、 提示用户发现新的 AR目标；

步骤 716、 用户选择显示新的 AR目标， 执行步骤 717; 用户选择不显示 新的 AR目标， 执行步骤 718;

步骤 717、 设置定格功能信号标志为非启动；

步骤 718、 清空预加载的 AR目标緩存区和预加载的 AR内容緩存区， 执 行步骤 72。

在本实施例中， 通过预加载的 AR 目标位置緩存区和预加载的 AR内容 緩存区的设置，可以在定格过程中緩存新检测 到的 AR目标的相关信息及 AR 内容， 当用户解除定格时， 可以立刻根据 AR目标位置緩存区和预加载的 AR 内容緩存区的数据进行后续处理， 避免了处理等待时间， 实现了无缝切换。

值得注意的是， 为了描述清楚， 上述实施例中通过实时图像緩存区、 图 像队列緩存区、 预加载的 AR目标位置緩存区、 预加载的 AR内容緩存区 AR 目标緩存区、 AR内容緩存区、 AR目标位置緩存区、 硬件参数队列緩存区和 三维注册参数队列緩存区以区分緩存的不同的 信息， 但在实际实现过程中， 上述各緩存区可以仅为逻辑上的緩存区， 或不区分緩存区即通过统一緩存区 域来实现。

图 8为本发明实施例提供的第一种移动终端的增� �现实处理装置结构示 意图。 如图 8所示， 本实施例提供的移动终端的增强现实处理装置 81具体可 以实现本发明任意实施例提供的移动终端的增 强现实处理方法的各个步骤， 其具体实现过程， 在此不再赘述。 本实施例提供的移动终端的增强现实处理 装置 81包括图像获取单元 801、 第一增强现实处理单元 802和定格处理单元 803。 图像获取单元 801用于从摄像头获取釆集到的实时图像， 将所述实时图 像緩存。 第一增强现实处理单元 802与所述图像获取单元 801相连， 用于将 所述实时图像进行增强现实 AR处理生成第一 AR图像，并将所述第一 AR图 像显示。 定格处理单元 803用于判断是否进行定格处理， 若是， 则从緩存的 距离当前时刻第一预设时间范围内的实时图像 中确定一帧緩存的实时图像作 为定格图像， 将所述定格图像进行 AR处理生成 AR定格图像并显示。

本实施例提供的移动终端的增强现实处理装置 81 , 图像获取单元 801从 摄像头获取釆集到的实时图像， 将所述实时图像緩存。 第一增强现实处理单 元 802将所述实时图像进行增强现实 AR处理生成第一 AR图像， 并将所述 第一 AR图像显示。 定格处理单元 803判断是否进行定格处理， 若是， 则从 緩存的距离当前时刻第一预设时间范围内的实 时图像中确定一帧緩存的实时 图像作为定格图像， 将所述定格图像进行 AR处理生成 AR定格图像并显示。 通过对定格处理的判断， 当需要进行定格处理时， 从緩存的实时图像中确定 一帧实时图像进行 AR处理生成 AR定格图像并显示， 使得用户可以方便地 观看定格后的 AR图像， 降低了对用户的行为的约束， 大大提高了 AR处理 的效果。

图 9为本发明实施例提供的另一种移动终端的增� �现实处理装置结构示 意图。 如图 9所示， 在本实施例中， 所述第一增强现实处理单元 802包括第 一跟踪注册子单元 905和第一渲染子单元 906。 第一跟踪注册子单元 905与 所述图像获取单元 801相连， 用于获取緩存的第一 AR目标基准位置信息， 根据所述緩存的第一 AR目标基准位置信息对所述实时图像进行跟踪� �� 根据 跟踪到的第一 AR目标和所述第一 AR目标标准尺寸信息进行三维注册计算， 生成第一旋转参数和第一平移参数， 将所述第一旋转参数和所述第一平移参 数緩存。 第一渲染子单元 906与所述第一跟踪注册子单元 905相连， 用于获 取緩存的第一 AR内容， 根据所述第一旋转参数和所述第一平移参数， 将所 述实时图像和所述第一 AR内容进行虚实融合渲染处理， 生成所述第一 AR 图像并显示。

在本实施例中， 所述第一增强现实处理单元 802还包括第一检测子单元 901、 第一接收子单元 902、 第一控制子单元 903和第一获取子单元 904。 第 一检测子单元 901与所述图像获取单元 801相连， 用于对所述实时图像进行 特征检测和描述， 生成第一特征检测描述数据， 将所述第一特征检测描述数 据发送给 AR服务器， 以使所述 AR服务器根据所述第一特征检测描述数据 进行 AR目标检测。 第一接收子单元 902用于接收所述 AR服务器在检测到 第一 AR目标时发送的第一检测结果， 其中， 所述第一检测结果中携带有第 一 AR目标信息，所述第一 AR目标信息包括： 用以指示所述第一 AR目标在 所述实时图像中的位置的第一 AR目标基准位置信息和用以指示所述第一 AR 目标在标准图像中的大小的第一 AR目标标准尺寸信息， 将所述第一 AR目 标信息緩存。 第一控制子单元 903分别与所述第一检测子单元 901和所述第 一接收子单元 902相连， 用于根据所述第一检测结果停止向所述 AR服务器 发送所述第一特征检测描述数据。 第一获取子单元 904用于从所述 AR服务 器获取所述第一 AR目标的第一 AR内容， 将所述第一 AR内容緩存。

在本实施例中， 所述定格处理单元 803具体可以用于获取緩存的所述定 格图像对应的第一旋转参数、 第一平移参数和所述第一 AR内容， 根据所述 定格图像对应的第一旋转参数和第一平移参数 ， 将所述定格图像和所述第 ― AR内容进行虚实融合渲染处理， 生成所述 AR定格图像并显示。

在本实施例中， 所述定格处理单元 803具体可以用于检测所述移动终端 在第二预设时间范围内是否保持静止状态， 若是， 则进行定格处理。

在本实施例中， 所述定格处理单元 803具体可以用于根据在所述第二预 设时间范围内通过重力加速度计釆集到的重力 加速度信息和通过数字罗盘釆 集到的方位信息， 判断所述移动终端在所述第二预设时间范围内 是否保持静 止状态， 若是， 则进行定格处理。

在本实施例中， 所述定格处理单元 803具体用于根据在第二预设时间范 围内生成的所述第一旋转参数和所述第一平移 参数， 判断所述移动终端在所 述第二预设时间范围内是否保持静止状态， 若是， 则进行定格处理。

在本实施例中， 所述第一 AR目标信息还包括： 用以指示所述第一 AR 目标的类型的第一 AR目标类型信息。 所述定格处理单元 803具体用于若所 述第一 AR目标类型信息为浏览类型， 则进行定格处理。

当用户需要对显示器显示的图像进行定格处理 时， 可以将定格后的 AR 图像通过显示屏显示给用户。 触发定格处理的方式可以有多种， 不以本实施 例为限。

在本实施例中， 所述定格处理单元 803具体可以用于对于每一帧緩存的 实时图像，根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重， 将所述位置权重最大的实时图像确定为所述定 格图像。

具体地， 通过计算第一 AR目标整体出现的位置的中心坐标与该緩存的 实时图像中心的坐标之间的像素距离， 即获取第一 AR目标的位置与屏幕中 心的距离。 根据第一 AR目标的位置与屏幕中心的距离， 设置第一 AR目标 在緩存图像的位置最靠近图像中心的緩存图像 的位置权重最大， 距图像中心 最远的緩存图像的位置权重最小。 将位置权重最大的緩存图像确定为定格图 像。

在本实施例中， 所述定格处理单元 803具体用于对于每一帧緩存的实时 图像， 根据所述緩存的实时图像中的第一 AR目标的位置生成位置权重， 根 据所述緩存的实时图像中的第一 AR目标所占的面积比例生成面积权重， 根 据所述緩存的实时图像中的第一 AR目标的清晰度生成清晰度权重， 根据每 一帧所述緩存的实时图像的所述位置权重、 所述面积权重和所述清晰度权重 确定所述定格图像。

具体地， 可以将图像队列緩存区中的緩存图像信息通过 空域参数方程、 熵以及频域调制传递函数 MTF等方法计算， 获取緩存的实时图像的清晰度。

将图像队列緩存区中緩存的实时图像的清晰度 大小按从小到大排列， 可 以将排序编号作为緩存的实时图像的清晰度权 重，即緩存的实时图像越清晰， 则緩存的实时图像的清晰度权重越大。

通过第一 AR 目标的坐标信息计算得到第一 AR 目标在緩存的实时图像 中出现的面积与第一 AR 目标整体的面积。 第一 AR 目标在緩存的实时图像 中出现的面积与第一 AR 目标整体的面积的比值作为面积比。 将面积比由大 到小排序， 设置每帧緩存的实时图像的面积比权重。 即若 AR 目标整体出现 在緩存图片中， 则面积比重最大。

若第一 AR 目标的坐标信息没有超出緩存的实时图像的坐 标范围， 则为 第一 AR目标整体都出现在緩存图像中， 则面积比重为 1 ; 若 AR目标的坐标 信息超出跟踪图像的坐标范围， 则 AR 目标没有完全出现在跟踪图像， 可计 算出现在緩存图像内的第一 AR 目标的面积与第一 AR 目标的实际面积的比 值。

可以将緩存图像的位置权重、 面积权重和清晰度权重的权重之和最大的 緩存的实时图像确定为定格图像。 本实施例中， 根据位置权重、 面积权重和清晰度权重确定的定格图像， 使用户可以看到一个大而清晰， 且处于中心第一 AR 目标的定格图像， 这得 使用户观看时更加舒适和方便， 提高了定格效果。

图 10为本发明实施例提供的第三种移动终端的增� ��现实处理装置结构 示意图。 如图 10所示， 进一步地， 在本实施例中， 所述移动终端的增强现实 处理装置 81还可以包括第二增强现实处理单元 106, 所述第二增强现实处理 单元 106包括第二检测子单元 1001、 第二接收子单元 1002、 第二控制子单元 1003、 緩存处理子单元 1004、 解除定格判断子单元 1005、 第二跟踪注册子单 元 1006和第二渲染子单元 1007。 第二检测子单元 1001与所述图像获取单元 801相连， 对所述实时图像进行特征检测和描述， 生成第二特征检测描述数 据， 将所述第二特征检测描述数据发送给所述 AR服务器， 以使所述 AR服 务器根据所述第二特征检测描述数据进行 AR目标检测。 第二接收子单元 1002用于接收所述 AR服务器在检测到第二 AR目标时发送的第二检测结果， 其中， 所述第二检测结果中携带有第二 AR目标信息， 所述第二 AR目标信 息包括： 用以指示所述第二 AR目标在所述实时图像中的位置的第二 AR目 标基准位置信息和用以指示所述第二 AR目标在所述标准图像中的大小的第 二 AR目标标准尺寸信息。 第二控制子单元 1003分别与所述第二检测子单元 1001和所述第二接收子单元 1002相连， 用于根据所述第二检测结果停止向 所述 AR服务器发送所述第二特征检测描述数据。緩� ��处理子单元 1004分别 与所述图像获取单元 801和所述第二接收子单元 1002相连，用于将所述第二 AR目标信息緩存，根据所述第二 AR目标基准位置信息对所述实时图像中的 第二 AR目标进行跟踪， 若在第三预设时间范围内跟踪到所述第二 AR目标， 则从所述 AR服务器获取所述第二 AR目标的第二 AR内容， 将所述第二 AR 内容緩存， 生成解除定格指示信息并显示。 第二跟踪注册子单元 1005与所述 图像获取单元 801相连， 用于若接收到的解除定格指令， 则根据緩存的所述 第二 AR目标基准位置信息对所述实时图像中的第二 AR目标进行跟踪， 根 据跟踪到的第二 AR目标和所述第二 AR目标标准尺寸信息进行三维注册计 算， 生成第二旋转参数和第二平移参数， 将所述第二旋转参数和所述第二平 移参数緩存。 第二渲染子单元 1006与所述第二跟踪注册子单元 1005相连， 用于根据所述第二旋转参数和所述第二平移参 数， 将所述实时图像和所述第 二 AR内容进行虚实融合渲染处理， 生成所述第二 AR图像并显示。

在本实施例中， 通过预加载的 AR 目标位置緩存区和预加载的 AR内容 緩存区的设置，可以在定格过程中緩存新检测 到的 AR目标的相关信息及 AR 内容， 当用户解除定格时， 可以立刻根据 AR目标位置緩存区和预加载的 AR 内容緩存区的数据进行后续处理， 避免了处理等待时间， 实现了无缝切换。

图 11 为本发明实施例提供的第四种移动终端的增强 现实处理装置结构 示意图。 如图 11所示， 本实施例提供的移动终端的增强现实处理装置 包括至 少一个处理器 1101 (例如 CPU ) 、 存储器 1102、 摄像头 1103、 显示屏 1104 和至少一个通信总线 _U05 , 用于实现这些装置之间的连接通信。 处理器 1101 用于执行存储器 1102 中存储的可执行模块， 例如计算机程序。 存储器 1102 可能包含高速随机存取存储器（RAM: Random Access Memory ) , 也可能还 包括非不稳定的存储器（ non- volatile memory ) , 例如至少一个磁盘存储器。 摄像头 1103用于釆集实时图像， 显示屏 1104用于显示实时图像或实时处理 得到的 AR图像或 AR定格图像。

在一些实施方式中， 存储器 1102存储了程序指令， 程序指令可以被处理 器 1101执行， 其中， 程序指令包括图像获取单元 801、 第一增强现实处理单 元 802和定格处理单元 803 , 其中， 各单元的具体实现参见图 8所揭示的相 应单元， 其具体实现过程和产生的技术效果， 在此不再累述。

通过以上的实施方式的描述， 所属领域的技术人员可以清楚地了解到本 发明可以用硬件实现， 或固件实现， 或它们的组合方式来实现。 当使用软件 实现时， 可以将上述功能存储在计算机可读介质中或作 为计算机可读介质上 的一个或多个指令或代码进行传输。 计算机可读介质包括计算机存储介质和 通信介质， 其中通信介质包括便于从一个地方向另一个地 方传送计算机程序 的任何介质。 存储介质可以是计算机能够存取的任何可用介 质。 以此为例但 不限于： 计算机可读介质可以包括 RAM、 ROM, EEPROM、 CD-ROM或其 他光盘存储、 磁盘存储介质或者其他磁存储设备、 或者能够用于携带或存储 具有指令或数据结构形式的期望的程序代码并 能够由计算机存取的任何其他 介质。 此外。 任何连接可以适当的成为计算机可读介质。 例如， 如果软件是 使用同轴电缆、 光纤光缆、 双绞线、 数字用户线（DSL )或者诸如红外线、 无线电和微波之类的无线技术从网站、 服务器或者其他远程源传输的， 那么 同轴电缆、 光纤光缆、 双绞线、 DSL或者诸如红外线、 无线和微波之类的无 线技术包括在所属介质的定影中。 如本发明所使用的， 盘（ Disk )和碟（ disc ) 包括压缩光碟（CD ) 、 激光碟、 光碟、 数字通用光碟（DVD ) 、 软盘和蓝光 光碟， 其中盘通常磁性的复制数据， 而碟则用激光来光学的复制数据。 上面 的组合也应当包括在计算机可读介质的保护层 级之内。

总之， 以上所述仅为本发明技术方案的较佳实施例而 已， 并非用于限定 本发明的保护层级。 凡在本发明的精神和原则之内， 所作的任何修改、 等同 替换、 改进等， 均应包含在本发明的保护层级之内。