技术领域 本发明涉及移动增强现实领域，尤其涉及一种 基于二维码的增强现实方法、系统及移 动终端。 背景技术

二维码又称二维条码， 是用某种特定的儿何图形按一定规律在平面（ 二维方向上）分 布黑白相间的图形来记录数据符号信息，其在 代码编制上巧妙利用构成计算机內部逻辑基 础的 "0" 、 " 1 " 比特流概念，使用若千个与二迸制相对应的几 何形体来表示文字数值信 息。

近年来，二维码得到了广泛应用，市面上专门 用于扫描识别二维码的移动应用层出不 穷， 但这些应用扫描二维码后， 均直接呈现出二维码解析后所得到的文字信息 或视频、 网 页等资源链接网址， 使用起来不够炫。

在二维码使用越来越普遍的同时， 增强现实技术 （AR, Augumenied Reality) 开始慢 慢进入公众视线，其核心是将虚拟信息实时叠 加到真实环境呈现的场景中，利用虚拟信息 对真实场景进行补充、增强，让虚拟信息在真 实世界中同歩展示。现有的增强现实技术中， 要实现将虚拟信息叠加到真实场景上，必须计 算摄像机与真实场景间的相对位置关系， 即 通过真实场景图像与样本图像进行配准，得到 单应性矩阵。因此对于现有的增强现实技术， 如果移动终端或增强现实服务器端没有存储某 真实场景的样本图像或该样本图像的特征 点信息， 则无法实现虚拟信息与该真实场景的融合。 发明内容 本发明的目的是提供一种基于二维码的增强现 实方法、系统及移动终端，在没有样本 图像的情况下，通过解码场景图像中二维码及 重新编码生成与场景图像中的二维码一致的 二维码正视图，及对二维码正视图以及摄像模 块捕获的场景图像中的二维码图像进行特征 检测与匹配，计算单应性矩阵，实现在真实场 景二维码位置处或二维码的一定偏移位置处， 呈现二维码相关的视频、 图像、 文本、 3D模型的多媒体信息。 为了实现上述发明目的， 本发明提供了一种基于二维码的增强现实方法 ， 包括： 摄像模块捕获含有二维码的真实场景图像；

扫描场景图像中的二维码， 并对二维码进行解码， 获得二维码的编码信息， 所述编码 信息包括： 码制、 版本及资源信息；

对获得的二维码的编码信息进行再编码，生成 与场景图像中的二维码码制及版本相同 的二维码正视图； 同^解析所述资源信息， 以获取二维码对应的虚拟信息；

对二维码正视图以及摄像模块捕获的场景图像 中的二维码图像进行特征检测，分别得 到二者的特征描述； 并根据二者的特征描述进行图像配准， 计算摄像机的姿态， 得到单应 性矩阵；

根据单应性矩阵，在真实场景中二维码位置处 或二维码的一定偏移位置处，渲染并输 出显示所述与二维码对应的虚拟信息。

优选的， 当解析所述资源信息得到的是文本内容时， 将文本内容作为纹理进行渲染； 当解析所述资源信息得到的是资源 URL 则访问该 UR]获取虚拟信息， 并根据虚拟信息类 型 ]¾预设方式进行加载。

优选的， 所述虚拟信息类型包括： 视频、 图像、 文本、 3D模型中的一种或多种。 其中，所述真实场景图像中的二维码为常规二 维码或定制二维码； 定制二维码中的资 源信息包括资源标识符、资源类型、资源加载 界面尺寸、渲染位置偏移度中的一种或多种。

优选的，所述对二维码正视图以及摄像模块捕 获的场景图像中的二维码图像进行特征 检测， 分别得到二者的特征描述， 为 T面两种方式之一- 方式一:对二维码正视图以及摄像模块捕获的� �景图像中的二维码图像迸行全图特征 检测， 分别得到二者的特征描述；

方式二:仅对二维码正视图以及摄像模块捕获� �场景图像中的二维码图像的稳定区域 进行特征检测， 分别得到二者的特征描述。

相应的， 本发明还提出了一种基于二维码的增强现实系 统， 包括：

摄像模块， 用于捕获含有二维码的真实场景图像；

二维码解码模块， 用于扫描场景图像中的二维码， 并对二维码进行解码， 获取二维码 的编码信息， 所述编码信息包括： 码制、 版本及资源信息；

二维码编码模块，对所述二维码解码模块解析 出来的编码信息进行再编码，生成与场 景图像中的二维码码制及版本相同的二维码正 视图；

资源获取模块，用于解析所述编码信息中的资 源信息，以获取二维码对应的虚拟信息; 图像特征提取模块，用于对二维码正视图以及 摄像模块捕获的场景图像中的二维码图 像进行特征检测， 分别得到二者的特征描述- 图像跟踪配准模块,用于根据二维码正视图及� �景图像中的二维码图像特征描述进行 图像配准， 计算摄像机的姿态， 得到单应性矩阵；

渲染显示模块，用于根据单应性矩阵，在真实 场景中二维码位置处或二维码的一定偏 移位置处， 渲染并输出显示所述与二维码对应的虚拟信息 。

优选的，所述图像特征提取模块，对二维码正 视图以及摄像模块捕获的场景图像中的 二维码图像进行特征检测， 为下面两种方式之一 - 方式一:对二维码正视图以及摄像模块捕获的� �景图像中的二维码图像进行全图特征 检测， 分别得到二者的特征描述；

方式二:仅对二维码正视图以及摄像模块捕获� �场景图像中的二维码图像的稳定区域 进行特征检测， 分别得到二者的特征描述。

优选的，所述真实场景图像中的二维码为常规 二维码或定制二维码；定制二维码中的 资源信息包括资源标识符、资源类型、 资源加载界面尺寸、渲染位置偏移度中的一种 或多 种。

优选的， 当所述资源获取模块解析所述资源信息得到的 是文本内容时，将文本内容作 为纹理进行渲染； 而当解析所述资源信息得到的是资源 URL则访问该 UR获取虚拟信息, 并根据虚拟信息类型 预设方式进行加载， 所述虚拟信息类型包括： 视频、 图像、 文本、 3D模型中的一种或多种。

相应的，本发明还提出了一种移动终端，所述 移动终端包括上述的基于二维码的增强 现实系统。

与现有技术相比， 本发明具有如 T有益效果：

发明直接根据场景图像中的二维码， 重新生成与场景图像中二维码一致的二维码 正视图，用生成的二维码正视图与场景图像中 的二维码图像进行跟踪匹配，计算摄像机的 姿态， 得到单应性矩阵， 不需要数据库中存储二维码样本图像， 对任一二维码均适用， 打 破了传统增强现实应 ]¾中，必须在数据库中预先存储对应样本图像 才能进行跟踪匹配的局 限性。

2、 本发明由于不需要样本图像， 因此避免了从远程服务器的查询与匹配歩骤， 能够 减少因网络传输 题造成的系统响应延迟， 节约用户的网络通信流量。

3、 本发明深度挖掘二维码作为信息入口的应 ¾潜力， 使二维码的相关信息、 资源以 更加生动的形式呈现给用户。 附图说明 为了更清楚地说明本发明实施例或现有技术中 的技术方案，下面将对实施例或现有技 术描述中所需要使用的 图作简单地介绍，显而易见地，下面描述中的 附图仅仅是本发明 的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前提下， 还可以 根据这些 ϋ图获得其他的附图：

图 i为本发明实施例基于二维码的增强现实方法� �程示意图；

图 2为根据图】方法进行虚拟信息叠加的过程及� �果示意图；

图 3为几种常用码制的二维码图像示意图；

图 4为可遮挡区域被小图标遮挡的二维码应用示� �图。 具体实施方式

T面将结合本发明实施例中的附图，对本发明� �施例中的技术方案迸行清楚、完整地 描述， 显然， 所描述的实施例仅仅是本发明一部分实施例， 而不是全部的实施^。基于本 发明中的实施倒,本领域普通技术人员在没有� �出创造性劳动前提下所获得的所有其他实 施例， 都属于本发明保护的范围。

本领域技术人员应知： 在增强现实过程中， 将虚拟信息准确的叠加在目标物体之上， 需要对摄像机的姿态进行计算， 来确定从目标物体的坐标系到图像坐标系的单 应性矩阵。

本申请的发明人发现， 现有增强现实一般都是通过真实场景图像与样 本图像进行配 准， 得到单应性矩阵。这种方式要求对能够进行增 强现实的图像， 必须在移动终端或服务 器端存储其 于配准的样本图像，如果移动终端或增强现实 服务器端没有存储某真实场景 的样本图像或该样本图像的特征点信息，则无 法实现虚拟信息与该真实场景的融合，增强 现实技术的推广被样本图像所限制。 另外样本图像存储于移动终端会占用终端存储 空间， ϋ不能满足海量标识物的存储：而若将样本图� ��存储于远程服务器，样本图像的检索与下 载会延迟系统响应旦浪费用户的网络通信流量 。

本申请的发明人发现， 二维码具有易用性和普及性， 且二维码作为信息入口， 可以由 任何信息生成， 其可以携带任意一段文本或任意资源的 URL 最重要的一点是： 由于二维 码译码可以得到该二维码的码制、版本以及纠 错等级等信息，二维码解码后能再根据相同 的码制和版本重新编码生成与之前二维码图案 完全相同的二维码正视图，或生成与之前二 维码稳定区域图案完全相同的二维码正视图。 因此提出以二维码作为增强现实系统中的识 别与定位标识，对真实场景图像中的二维码解 码再编码，生成与真实场景图像中的二维码 图像相同的二维码正视图，将其作为样本图像 与场景中的二维码进行特征点跟踪匹配， 找 到二者中相匹配的特征点， 来进行单应性矩陈的计算。

所述二维码稳定区域是相对于二维码的可遮挡 区域而言的，因为二维码具有一定的纠 错能力， 其可以在一定区域被遮挡的情况下正确解码 （如图 4为在二维码的可遮挡区域放 置了一个小图标的二维码， 这个二维码是可以被正确解码的）， 因此我们称可被遮挡而不 影响二维码正确解码的区域为可遮挡区域， 除了可遮挡区域以外的区域为稳定区域。

T面结合 Pfi图详细介绍本发明介绍方案。

参见图 1、 图 2， 为本发明实施例基于二维码的增强现实方法流 程示意图， 包括如下 S101〜S105歩骤：

SlOb 摄像模块捕获含有二维码的真实场景图像， 所述二维码可以为常规二维码， 也-可以为定制二维码，常规二维码指资源信� �中包含一个文本字段或 URI链接的网络二维 码， 定制二维码指其资源信息包括资源标识符、 资源类型、 资源加载界面尺寸、渲染位置 偏移度等其他一些设置信息中的一种或多种；

S102: 扫描场景图像中的二维码， 并对二维码进行解码， 获得二维码的编码信息， 所述编码信息包括： 码制、版本及资源信息等， 所述资源信息指扫描二维码得到的相关信 息；

S 103: 对获得的二维码的编码信息进行再编码， 生成与场景图像中的二维码码制及 版本相同的二维码正视图； 同时解析所述资源信息， 以获取二维码对应的虚拟信息， 二维 码对应的资源信息可能为文本信息， 也可能为资源 URI， 当为资源 URI时， 根据 UIR地址 访 远程服务器,获得 URI对应的虚拟信息內容；

本步骤中，对获得的二维码的编码信息迸行再 编码，生成与场景图像中的二维码码制 及版本相同的二维码正视图，该二维码正视图 可能为与场景图像中的二维码图案完全相同 的二维码正视图（场景二维码的可遮挡区域无 任何遮挡时）， 也可能为与场景图像中的二 维码稳定区域图案完全相同的二维码正视图（ 场景二维码的可遮挡区域被部分或全部遮挡 时， 由于二维码具有纠错能力， 能够在具有小图标遮挡一定区域的情况下正确 解码， 然而 对解码后的信息进行再编码，可生成与原二维 码包含数据一致的二维码正视图，但生成的 正视图中不会存在原二维码中的遮挡小图标） 。

S 104: 对二维码正视图以及摄像模块捕获的场景图像 中的二维码图像进行特征检测， 分别得到二者的特征描述； 并根据二者的特征描述进行图像配准（即特征 点匹配， 找到二 者中相匹配的特征点） ， 计算摄像机的姿态， 得到单应性矩阵；

本步骤中，对二维码正视图以及摄像模块捕获 的场景图像中的二维码图像进行特征检 测,可以是对二维码正视图以及摄像模块捕获� �场景图像中的二维码图像进行全图特征检 测（此种方式在场景二维码的可遮挡区域无任 何遮挡时效果较好，其对场景二维码的可遮 挡部分被区域或全部遮挡时可能会出现一定匹 配误差），也可以是仅对二维码正视图以及 摄像模块捕获的场景图像中的二维码图像的稳 定区域进行特征检测（此种方式对场景二维 码的可遮挡区域是否被遮挡无要求， 均可良好匹配图像） 。

其中， 特征检测的方法可以为： FAST、 Harris, Shi-Thomas等， 特征描述可以用 SIFT、 SU:RF、 ORB、 BRIEF、 FREAK等， 这些技术都属于现有技术， 在此不赘述。 真实场景中 的二维码为平面物体，其确定了一个世界坐标 系，经过解码再编码生成的二维码正视图属 于图像坐标系， 以二维码正视图以及摄像模块捕获的场景图像 中的二维码图像上 配到 4 组对应特征点为例，可以将这四个特征点在世 界坐标系上的坐标与图像坐标系上的坐标建 立起如下对应关系；

其中， （《, v)表示特征点的图像坐标， （ ^Χ '»'·^， ^Ζ '«)表示特征点在世界坐标系上的坐标, 均为已知参数， 表示待计算的单应性矩阵， 匹配到的特征点越多， 计算结果越精确。

S 105 : 根据单应性矩阵， 在真实场景中二维码位置处或二维码的一定偏 移位置处， 渲染并输出显示所述与二维码对应的虚拟信息 。

本步骤中， 若二维码为常规二维码， 直接将虚拟信息叠加到二维码位置处； 而若二维 码为定制二维码， 其资源信息中设定了资源加载界面尺寸、渲染 位置偏移度等， 则根据设 定的尺寸及偏移度将虚拟信息叠显示在距目标 位置设定偏移位置处。 另外， 本步骤中， 当 解析所述资源信息得到的是文本内容时，将文 本内容作为纹理迸行渲染； 当解析所述资源 信息得到的是资源 URI , 则访问该 URI获取虚拟信息， 并根据虚拟信息类型用预设方式进 行加载，所述虚拟信息类型包括： 视频、 图像、 文本、 3D模型中的一种或多种， 例如： 当 虚拟信息为文本信息时， 将文本内容直接作为纹理进行渲染； 当虚拟信息为 3D模型时， 需要先对 3 D模型进行解析； 当虚拟信息为视频信息时， 需要先对视频进行解码， 将视频 各帧图像诈为紋理， 按序列逐帧映射到所述 3D模型上， 进行图形渲染。

本发明实施例中,通过歩骤 S】04得到单应性矩阵后,可对真实场景中二维� �进行跟踪 跟踪 S 104中匹配成功的特征点） ，由跟踪算法实^更新计算单应性矩阵，以使� �拟信息能 够更准确的重叠到预定位置。 当跟踪丢失后， 重新进入歩骤 S10i。 判断跟踪丢失的条件 可以为： 对跟踪成功的点重新计算其匹配度， 并进行计数， 当匹配良好的点的数量在阈值 以下时 （阈值范围一般范围 5〜20, 优选为 10) , 劑判断跟踪丢失。

本发明实施例方法， 可以以 PI)F417、 QR Code、 Data Matrix, Grid Matrix以及 Aztec 等二维码为应用对象， 几种常 ]¾码制的二维码示意图可参见图 3。

本发明实施例中二维码可以为常规二维码，也 可以为定制二维码，所谓常规二维码是 指二维码来源于互联网，其内包含的资源信息 一般为一个字符串，例如为一段文本或者二 维码相关资源的 URJ; 所谓定制二维码是指， 按照某种统一格式形成的资源标识， 即二维 码中的资源信息包括资源标识符、资源类型、 资源加载界面尺寸、渲染位置偏移度等其他 一些设置信息中的一种或多种。 例如，

ID:xxx UM:xxx TYPE:xxx WIDTH:xxx HEIGHT:xxx OFFSETrxxx,通过 ID和 URI确定资 源地址（该地址可能在远程服务器， 也可能在客户端本地） ， 通过资源类型可以预先设置 相关资源的加载方式 （图片、 文本、 音频、 视频和 3D模型的加载方式各不相同） ， 其他 设置信息包括了资源加载界面的尺寸以及渲染 位置相对于二维码的偏移等等。

本发明还提出了一种与上述方法对应的基于二 维码的增强现实系统，包括:摄像模块、 二维码解码模块、 二维码编码模块、 资源获取模块、 图像特征提取模块、 图像跟踪配准模 块以及渲染显示模块， 其中：

所述摄像模块，用于捕获含有二维码的真实场 景图像，所述真实场景图像中的二维码 为常规二维码或定制二维码， 定制二维码中的资源信息包括资源标识符、 资源类型、资源 加载界面尺寸、 渲染位置偏移度中的一种或多种；

所述二维码解码模块， 用于扫描场景图像中的二维码， 并对二维码迸行解码， 获取二 维码的编码信息， 所述编码信息包括： 码制、 版本及资源信息；

所述二维码编码模块，用于根据所述二维码解 码模块解析出来的编码信息，用与之相 同的码制和版本进行编码，生成与场景图像中 的二维码图案完全相同的二维码正视图，或 与场景图像中的二维码稳定区域图案完全相同 的二维码正视图，所述资源获取模块，用于 解析所述编码信息中的资源信息， 以获取二维码对应的虚拟信息；

所述图像特征提取模块，用于对二维码正视图 以及摄像模块捕获的场景图像中的二维 码图像进行特征检测， 分别得到二者的特征描述；

所述图像跟踪配准模块，用于根据二维码正视 图及场景图像中的二维码图像特征描述 进行图像配准， 计算摄像机的姿态， 得到单应性矩阵；

所述渲染显示模块，用于根据单应性矩阵，在 真实场景中二维码位置处或二维码的一 定偏移位置处，渲染并输出显示所述与二维码 对应的虚拟信息， 当所述资源获取模块解析 所述资源信息得到的是文本内容时，将文本内 容作为纹理进行渲染；而当解析所述资源信 息得到的是资源 URI, 贝 il访问该 URI获取虚拟信息， 并根据虚拟信息类型用预设方式进行 加载， 所述虚拟信息类型包括： 视频、 图像、 文本、 3D模型中的 ·种或多种。

本发明实施例中,所述图像跟踪配准模块得到� �应性矩阵后，对真实场景中二维码进行 跟踪，由跟踪算法实时更新计算单应性矩阵,� �使虚拟信息能够更准确的重叠到预定位置。

本发明还提出了一种移动终端， 所述移动终端包括上述的基于二维码的增强现 实系 统。

本发明以二维码作为增强现实系统中的识别与 定位标识,通过二维码的解码与再编码 直接生成二维码正视图， 用于单应性矩阵的计算， 既打破了传统增强现实应用中， 必须在 数据库中预先存储对应样本图像才能进行跟踪 匹配的局限性，又避免了使用传统标识物的 时候向远程服务器的模板查询与匹配步骤， 能够减少因网络传输问题造成的系统响应延 迟， 节约用户的网络通信流量。

本说明书中公开的所有特征，或公开的所有方 法或过程中的步骤， 除了互相排斥的特 征和 /或歩骤以外， 均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要和附 图）中公开的任一特征，除非特别叙述， 均可被其他等效或具有类似目的的替代特征加 以替换。 即， 除非特别叙述， 每个特征只是 一系列等效或类似特征中的一个倒子而已。

本发明并不局限于前述的具体实施方式。本发 明扩展到任何在本说明书中披露的新特 征或任何新的组合， 以及披露的任一新的方法或过程的歩骤或任何 新的组合。