Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
USER INTERFACE CONTROL METHOD AND DEVICE
Document Type and Number:
WIPO Patent Application WO/2013/149475
Kind Code:
A1
Abstract:
Disclosed is a user interface control method, comprising: acquiring 3D space information about a user hand; according to the acquired 3D space information, constructing a 3D virtual hand of which the movements are consistent with the movements of the user hand; and detecting an operation performed by the 3D virtual hand on a user interface, and according to the detected operation, performing corresponding functions. Also disclosed is a user interface control device. The present invention can be applied to enable a user to flexibly and conveniently control a user interface, and improve the user experience.

Inventors:
WANG XIAOHUI (CN)
ZHAO JIANZHANG (CN)
YU YANG (CN)
Application Number:
PCT/CN2012/086000
Publication Date:
October 10, 2013
Filing Date:
December 06, 2012
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SHENZHEN SKYWORTH DIGITAL TECH (CN)
SHENZHEN SKYWORTH SOFTWARE CO (CN)
International Classes:
G06F3/0481; G06F3/041; G06F3/0484
Foreign References:
CN101236454A2008-08-06
CN102184342A2011-09-14
CN102350700A2012-02-15
CN102650906A2012-08-29
Other References:
None
Attorney, Agent or Firm:
GUANGZHOU SCIHEAD PATENT AGENT CO.. LTD (CN)
广州三环专利代理有限公司 (CN)
Download PDF:
Claims:
权 利 要 求

1、 一种用户界面控制方法, 其特征在于, 包括:

采集用户手部的三维空间信息;

根据所述采集的三维空间信息, 在用户界面上构建出与用户手部动作一致 的三维虚拟手;

检测所述三维虚拟手对所述用户界面的操作, 并根据所述检测到的操作, 执行相应的功能。

2、 如权利要求 1所述的方法, 其特征在于, 所述采集用户手部动作的三维 空间信息包括:

周期性获取用户的手心面上的点在参考坐标系中的空间坐标。

3、 如权利要求 2所述方法, 其特征在于, 所述根据所述采集的三维空间信 息, 在用户界面上构建出与用户手部动作一致的三维虚拟手包括:

根据用户手心面上的点的三维空间坐标的变化, 构建出与用户手心面动作 一致的虚拟手心面;

根据所述与用户手心面动作一致的虚拟手心面, 构建出与用户手背面动作 一致的虚拟手背面。

4、 如权利要求 1所述的方法, 其特征在于, 所述三维虚拟手对用户界面的 操作包括: 旋转所述用户界面的操作、 拖拽所述用户界面的操作、 缩小所述用 户界面的操作和放大所述用户界面的操作中的至少一项。

5、 如权利要求 4所述的方法, 其特征在于, 所述用户界面还包括: 至少一 个三维式的功能选项;

所述三维虚拟手对用户界面的操作还包括: 用于请求执行所述功能选项所 对应的功能的操作。 6、 一种用户界面的操作控制装置, 其特征在于, 包括:

采集模块, 用于采集用户手部的三维空间信息;

三维虚拟手构建模块, 用于根据所述采集的三维空间信息, 在用户界面上 构建出与用户手部动作一致的三维虚拟手;

处理模块, 用于检测所述三维虚拟手对所述用户界面的操作, 并根据所述 检测到的操作, 执行相应的功能。

7、 如权利要求 6所述的装置, 其特征在于, 所述采集模块包括:

坐标获取单元, 用于周期性获取用户的手心面上的点在参考坐标系中的空 间坐标。

8、如权利要求 7所述的装置, 其特征在于, 所述三维虚拟手构建模块包括: 手心面构建单元, 用于根据用户手心面上的点的三维空间坐标的变化, 构 建出与用户手心面动作一致的虚拟手心面;

手背面构建单元, 用于根据所述与用户手心面动作一致的虚拟手心面, 构 建出与用户手背面动作一致的虚拟手背面。

9、 如权利要求 6所述的装置, 其特征在于, 所述三维虚拟手对用户界面的 操作包括: 旋转所述用户界面的操作、 拖拽所述用户界面的操作、 缩小所述用 户界面的操作和放大所述用户界面的操作中的至少一项。

10、 如权利要求 9所述的装置, 其特征在于, 所述用户界面还包括: 至少 一个三维式的功能选项;

所述三维虚拟手对用户界面的操作还包括: 用于请求执行所述功能选项所 对应的功能的操作。

Description:
一种用户界面的控制方法及装置 技术领域

本发明涉及通信领域, 尤其涉及一种用户界面的控制方法及装置。

背景技术

随着科技的发展, 人们在人性化和智能化上对多媒体设备要求越 来越高, 越来越多的多媒体设备置有手势控制功能, 手势控制功能使用户仅仅通过手势 动作便能对多媒体设备下达控制指令。 目前, 手势控制装置大体分为两类: 一 类是采用摄像头来识别手势动作, 该类装置需要识别手的投影是否符合特定形 状(每一种特定形状对应一种指令); 另一类是采用需要用户佩戴的传感器来识 别手势动作。 这两类装置的共性是代表控制命令的手势固定 且单一, 并且需要 用户熟记各种手势所对应的控制指令, 当指令过多时, 很容易让人混淆, 使得 用户体验不佳。

发明内容

本发明实施例所要解决的技术问题在于, 提供一种用户界面的控制方法及 装置。 可以让用户灵活和方便的控制用户界面, 提高用户体验。

为了解决上述技术问题, 本发明实施例提供了一种用户界面的控制方法 , 包括:

采集用户手部的三维空间信息;

根据所述采集的三维空间信息, 在用户界面上构建出与用户手部动作一致 的三维虚拟手;

检测所述三维虚拟手对所述用户界面的操作, 并根据所述检测到的操作, 执行相应的功能。

其中, 所述采集用户手部动作的三维空间信息包括:

周期性获取用户的手心面上的点在参考坐标系 中的空间坐标。

其中, 所述根据所述采集的三维空间信息, 在用户界面上构建出与用户手 部动作一致的三维虚拟手包括:

根据用户手心面上的点的三维空间坐标的变化 , 构建出与用户手心面动作 一致的虚拟手心面;

根据所述与用户手心面动作一致的虚拟手心面 , 构建出与用户手背面动作 一致的虚拟手背面。

其中, 所述三维虚拟手对用户界面的操作包括: 旋转所述用户界面的操作、 拖拽所述用户界面的操作、 缩小所述用户界面的操作和放大所述用户界面 的操 作中的至少一项。

其中, 所述用户界面还包括: 至少一个三维式的功能选项;

所述三维虚拟手对用户界面的操作还包括: 用于请求执行所述功能选项所 对应的功能的操作。

相应地, 本发明实施例还提供了一种用户界面的控制装 置, 包括: 采集模块, 用于采集用户手部的三维空间信息;

三维虚拟手构建模块, 用于根据所述采集的三维空间信息, 在用户界面上 构建出与用户手部动作一致的三维虚拟手;

处理模块, 用于检测所述三维虚拟手对所述用户界面的操 作, 并根据所述 检测到的操作, 执行相应的功能。

其中, 所述采集模块包括:

坐标获取单元, 用于周期性获取用户的手心面上的点在参考坐 标系中的空 间坐标。

其中, 所述三维虚拟手构建模块包括:

手心面构建单元, 用于根据用户手心面上的点的三维空间坐标的 变化, 构 建出与用户手心面动作一致的虚拟手心面;

手背面构建单元, 用于根据所述与用户手心面动作一致的虚拟手 心面, 构 建出与用户手背面动作一致的虚拟手背面。

其中, 所述三维虚拟手对用户界面的操作包括: 旋转所述用户界面的操作、 拖拽所述用户界面的操作、 缩小所述用户界面的操作和放大所述用户界面 的操 作中的至少一项。

其中, 所述用户界面还包括: 至少一个三维式的功能选项;

所述三维虚拟手对用户界面的操作还包括: 用于请求执行所述功能选项所 对应的功能的操作。

实施本发明实施例, 具有如下有益效果: 本发明的实施例通过在用户界面上构建出与用 户手部动作一致的三维虚拟 手, 使得用户可以通过用户界面中的三维虚拟手直 接控制用户界面, 操作方法 简单且灵活, 由于用户通过三维虚拟手操作控制用户界面, 因此可以同时提高 用户触觉和视觉的真实度, 大大提高了用户体验。 附图说明

为了更清楚地说明本发明实施例或现有技术中 的技术方案, 下面将对实施 例或现有技术描述中所需要使用的附图作简单 地介绍, 显而易见地, 下面描述 中的附图仅仅是本发明的一些实施例, 对于本领域普通技术人员来讲, 在不付 出创造性劳动的前提下, 还可以根据这些附图获得其他的附图。

图 1是本发明的用户界面的控制方法的第一实施 的流程示意图; 图 2是本发明的用户界面的控制方法的第二实施 的流程示意图; 图 3是本发明的用户界面的控制装置的实施例的 构示意图;

图 4是图 3所示的采集模块的实施例的结构示意图;

图 5是图 3所示的三维虚拟手构建模块的实施例的结构 意图;

图 6是本发明的双目立体视觉的基本原理图。 具体实施方式

下面将结合本发明实施例中的附图, 对本发明实施例中的技术方案进行清 楚、 完整地描述, 显然, 所描述的实施例仅仅是本发明一部分实施例, 而不是 全部的实施例。 基于本发明中的实施例, 本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例, 都属于本发明保护的范围。

请参照图 1 , 是本发明的用户界面控制方法的第一实施例的 流程示意图。 所 述方法包括:

步骤 S11 , 采集用户手部的三维空间信息。

用户手部的三维空间信息可以是用户手心面或 手背面的三维空间信息, 也 可以是整只手的三维空间信息。 为了减少数据处理量, 可以只获取用户手心面 的三维空间信息。

三维空间信息可以通过三维超声仪、 三维摄像机、 或者包含激光分光扫描 器与两个摄像机的三维采集装置来获取。 其中, 包含激光分光扫描器与两个摄像机的三维采集 装置是基于双目立体 视觉技术的。 双目立体视觉方法就是利用两个摄像机模拟人 眼双眼处理景物的 方式, 从两个视点观察同一场景, 获得不同视角下的两个图像, 然后通过计算 图像对应点间的位置偏差, 便能推断出场景中目标物体或目标点的三维空 间信 息。

具体地, 激光分光扫描器包括: 分光镜和红激光管。 激光分光扫描器用于 标定用户手部上的需要采集三维空间信息的点 。

分光镜可以将红激光管产生的红激光束分散成 多条平行于 X轴方向的光线 和多条平行于 Υ轴方向的光线, 并且通常情况下, 这些光线是肉眼不可见的。 这些光线互相交织, 形成在三维空间上有序排列的光线交点 (这些光线交织点 不止排布在 ΧΥ平面上, 在整个三维空间均有排布) 。 当用户的手部进入该光 线交织区域时, 位于用户手心面上的光线交织点即为需要采集 三维空间信息的 点。

双目立体视觉的基本原理如图 6所示。 图中分别以下标 1和 r标注左、 右摄 像机的相应参数。 位于用户手心面上某一光线交织点 Α(Χ, Υ, Z)在左右摄像机 的成像面 C1和 Cr上的像点分别为 al(ul, vl)和 ar(ur, vr;)。 这两个像点是 A点的 像, 称为"共轭点"。 分别作出这两个共轭像点与各自相机的光心 01和 Or的连 线, 即投影线 alOl和 arOr, 它们的交点即为 A点。 在 01、 0r、 al、 ar四点已确 定的前提下, 通过计算便能得到 A点在现实空间的三维坐标。

步骤 S12,根据采集的三维空间信息,在用户界面上 建出与用户手部动作 一致的三维虚拟手。

为了更好的提高用户的视觉体验, 用户界面可以设计成为虚拟三维式的。 应该注意的是, 三维虚拟手在虚拟三维式的用户界面中动作幅 度与用户手部动 作幅度一致或是等比例缩放。

用户手部的三维空间信息可以是用户手心面和 /或手背面上的点在预设的参 考坐标系中的三维空间坐标。

在构建三维虚拟手时, 可以根据获取的手心面和 /或手背面上的点的三维空 间坐标, 在三维的用户界面中构建出与用户手部具有相 同或等比例缩放的位置 坐标的三维虚拟手, 值得注意的是, 构建出的三维虚拟手与用户手部形状、 大 小相同或是其的等比例缩放。 为了能够获取用户手部的动作信息, 步骤 S11 中的三维空间信息的采集过 程是周期性的, 并且这个周期的时长很短, 例如可以每 0.01秒采集一次用户手 心面和 /或手背面的上点的三维空间坐标。 根据多次采集的三维空间坐标, 在用 户界面中重复性构建出三维虚拟手, 由于三维虚拟手的构建周期很短, 这就使 得用户在用户界面中看到的三维虚拟手的画面 就是连续的, 且三维虚拟手的动 作与用户手部动作完全一致。

步骤 S13 , 检测三维虚拟手对用户界面的操作, 并根据检测到的操作, 执行 相应的功能。

通常三维虚拟手对用户界面的操作包括: 旋转用户界面的操作、 拖拽用户 界面的操作、 缩小用户界面的操作和放大用户界面的操作等 。

此外, 用户界面还包括: 至少一个三维式的功能选项。 相应地, 三维虚拟 手对用户界面的操作还包括: 旋转三维式功能选项的操作、 拖拽三维式功能选 项的操作、 缩小三维式功能选项的操作和放大三维式功能 选项的操作、 以及用 于请求执行功能选项所对应的功能的操作。 其中, 三维式的功能选项可以是三 维立体图形, 每个三维立体图形可以对应一个或多个功能选 项。 用于请求执行 功能选项所对应的功能的操作包括: 拖拽、 点击、 按等。

通常情况下, 用户通过三维虚拟手对用户界面的各种操作都 会有其特有的 动作特征, 通过提取三维虚拟手的当前操作的动作特征信 息, 并将其与数据库 中预存的动作特征(数据库中每一动作特征都 会对应一控制命令)进行匹配, 从而确定用户对用户界面下达的控制命令。

在检测三维虚拟手对用户界面的操作时, 可以定期性将获取的手心面和 /或 手背面上的点的三维空间坐标进行抽样对比( 例如每隔 0.05秒将当前采集的三 维空间坐标和前 0.05秒采集的三维空间坐标进行比较) , 从而确定用户手部的 动作趋势, 再根据确定的用户手部动作趋势, 来提取三维虚拟手的当前操作的 动作特征信息。

例如, 用户在旋转用户界面时, 其特有的动作特征通常会是: 手掌心抬起, 五指指尖绕着手掌心转动。 其相应的动作特征信息可以从周期性采集的三 维空 间坐标的来提取, 通过将不同时间获取的用户手心面和 /或手背面的三维空间坐 标进行分析和对比, 可以判定用户手部的动作趋势, 进而确定用户期望旋转用 户界面的方向及弧度。 用户在拖拽用户界面时, 其特有的动作特征通常会是: 一根或几根手指做 按住状或捏住状沿某一方向直线运动, 同样得可以根据周期性采集的三维空间 坐标来获取用户手指的移动方向和移动距离, 进而依此来确定用户期望拖拽用 户界面的方向及拖拽距离。

用户在缩小用户界面时, 其特有的动作特征通常会是: 掌心抬起, 五指指 尖收拢, 同样得可以根据周期性采集的三维空间坐标来 获取用户手指的收拢幅 度, 进而依此来确定用户期望缩小用户界面的幅度 。

用户在放大用户界面时, 其特有的动作特征通常会是: 掌心抬起, 五指指 尖向外张开, 同样得可以根据周期性采集的三维空间坐标来 获取用户手指的张 开幅度, 进而依此来确定用户期望放大用户界面的幅度 。

当用户需要对用户界面中的某一三维式功能选 项做出操作时, 通常情况下, 用户会通过手部动作将用户界面中的三维虚拟 手放在或靠近该三维式功能选项 所在的位置。 由此, 当用户通过手部动作将用户界面中的三维虚拟 手移放在或 者靠近三维式功能选项所在的位置时, 则认为用户期望的是对该三维式功能选 项进行操作。

用户旋转、 拖拽、 放大、 缩小三维式功能选项的操作与用户旋转、 拖拽、 放大、 缩小用户界面的操作大致相同, 不同之处只在于动作幅度的大小, 可以 根据动作幅度的大小来区分是对整个用户界面 或只是某一三维式功能选项的操 作。 例如, 用户在旋转用户界面时, 通常五指张开的幅度较大, 而用户在旋转 用户界面中的某一三维式功能选项时, 通常五指张开的幅度较小, 同样的通过 分析手部的三维空间坐标便能准确获取用户五 指张开的幅度, 如此可以将该幅 度值与预设的幅度值进行比较, 大于预设幅度值时, 则认为用户期望的是旋转 整个用户界面; 小于预设幅度值时, 则认为用户期望的是旋转三维式功能选项。

通常用户在请求执行三维式功能选项所对应的 功能的操作包括: 点击、 按 等。 当用户期望执行某一三维式功能选项所对应的 功能时, 通常会通过移动手 部将用户界面中的三维虚拟手置于或靠近该三 维式功能选项所在的位置, 依此, 便可以确定用户期望是对该三维式选项进行操 作。 当用户做出点击动作时, 其 特有的动作特征通常会是: 食指或中指抬起再放下, 而手掌心和其它手指固定 不动, 由此, 根据该操作其特有的动作特征, 便可以确定用户期望执行该三维 式功能选项所对应的功能。 本发明的实施例通过在用户界面上构建出与用 户手部动作一致的三维虚拟 手, 使得用户可以通过用户界面中的三维虚拟手直 接控制用户界面, 用户不需 要牵记特定的手势, 也不需要佩戴传感器。 并且由于用户通过三维虚拟手操作 控制用户界面, 因此可以同时提高用户视觉和触觉的真实度, 提高用户体验度。

请参照图 2, 是本发明的用户界面控制方法的第二实施例的 流程示意图。 所 述方法包括:

步骤 S21 , 判断所需采集三维空间信息的物体的形状是否 符合手型,如果判 断结果为是则进入步骤 S23 , 如果判断结果为否则进入步骤 S22。

步骤 S22,停止采集该物体的三维空间信息, 并在用户界面上作出相应的提 示。

步骤 S23 , 周期性获取用户的手心面上的点在参考坐标系 中的空间坐标。 三维空间坐标可以通过三维超声仪、 三维摄像机、 或者包含激光分光扫描 器与两个摄像机的三维采集装置来获取。

其中, 包含激光分光扫描器与两个摄像机的三维采集 装置是基于双目立体 视觉技术的。 双目立体视觉方法就是利用两个摄像机模拟人 眼双眼处理景物的 方式, 从两个视点观察同一场景, 获得不同视角下的两个图像, 然后通过计算 图像对应点间的位置偏差, 便能推断出场景中目标物体或目标点的三维空 间信 息。

具体地, 激光分光扫描器包括: 分光镜和红激光管。 激光分光扫描器用于 标定用户手部上的需要采集三维空间信息的点 。

分光镜可以将红激光管产生的红激光束分散成 多条平行于 X轴方向的光线 和多条平行于 Y轴方向的光线, 并且通常情况下, 这些光线是肉眼不可见的。 这些光线互相交织, 形成在三维空间上有序排列的光线交点 (这些光线交织点 不止排布在 XY平面上, 在整个三维空间均有排布) 。 当用户的手部进入该光 线交织区域时, 位于用户手心面上的光线交织点即为需要采集 三维空间信息的 点。

双目立体视觉的基本原理如图 6所示。 图中分别以下标 1和 r标注左、 右摄 像机的相应参数。 位于用户手心面上某一光线交织点 Α(Χ, Υ, Z)在左右摄像机 的成像面 C1和 Cr上的像点分别为 al(ul, vl)和 ar(ur, vr;)。 这两个像点是 A点的 像, 称为"共轭点"。 分别作出这两个共轭像点与各自摄像机的光心 01和 Or的 连线, 即投影线 alOl和 arOr, 它们的交点即为 A点。 因此在 01、 Or、 al、 ar四 点已确定的前提下, 通过计算便能得到 A点在现实空间的三维坐标。

步骤 S24,根据用户手心面上的点的三维空间坐标的 化, 构建出与用户手 心面动作一致的虚拟手心面; 居与用户手心面动作一致的虚拟手心面, 构建 出与用户手背面动作一致的虚拟手背面。

步骤 S25 , 检测三维虚拟手对用户界面的操作, 并根据检测到的操作, 执行 相应的功能。

通常三维虚拟手对用户界面的操作包括: 旋转用户界面的操作、 拖拽用户 界面的操作、 缩小用户界面的操作和放大用户界面的操作等 。

此外, 用户界面还包括: 至少一个三维式的功能选项。 相应地, 三维虚拟 手对用户界面的操作还包括: 旋转三维式功能选项的操作、 拖拽三维式功能选 项的操作、 缩小三维式功能选项的操作和放大三维式功能 选项的操作、 以及用 于请求执行功能选项所对应的功能的操作。 其中, 三维式的功能选项可以是三 维立体图形, 每个三维立体图形可以对应一个或多个功能选 项。 用于请求执行 功能选项所对应的功能的操作包括: 拖拽、 点击、 按等。

通常情况下, 用户通过三维虚拟手对用户界面的各种操作都 会有其特有的 动作特征, 通过提取三维虚拟手的当前操作的动作特征信 息, 并将其与数据库 中预存的动作特征(数据库中每一动作特征都 会对应一控制命令)进行匹配, 从而确定用户对用户界面下达的控制命令。

在检测三维虚拟手对用户界面的操作时, 可以定期性将获取的手心面和 /或 手背面上的点的三维空间坐标进行抽样对比( 例如每隔 0.05秒将当前采集的三 维空间坐标和前 0.05秒采集的三维空间坐标进行比较) , 从而确定用户手部的 动作趋势, 再根据确定的用户手部动作趋势, 来提取三维虚拟手的当前操作的 动作特征信息。

发明的实施例通过在用户界面上构建出与用户 手部动作一致的三维虚拟 手, 使得用户可以通过用户界面中的三维虚拟手直 接控制用户界面, 用户不需 要牵记特定的手势, 也不需要佩戴传感器。 并且由于用户通过三维虚拟手操作 控制用户界面, 因此可以同时提高用户视觉和触觉的真实度, 提高用户体验度。 图 1至图 2对用户界面的控制方法的实施例进行了详细 述后, 下面将继续结 合附图, 对相应于上述方法流程的装置进行说明。 请参照图 3 , 是本发明的用户界面的控制装置的实施例的结 构示意图。 所述 控制装置 100包括:

采集模块 110, 用于采集用户手部的三维空间信息。

其中, 采集模块 110 的功能可以由三维超声仪、 三维摄像机、 或者包含激 光分光扫描器与摄像机的三维采集装置来实现 。

三维虚拟手构建模块 120, 用于根据采集的三维空间信息, 在用户界面上构 建出与用户手部动作一致的三维虚拟手。

为了更好的提高用户的视觉体验, 用户界面可以设计成为虚拟三维式的。 应该注意的是, 三维虚拟手在虚拟三维式的用户界面中动作幅 度与用户手部动 作幅度一致或是等比例缩放。

用户手部的三维空间信息可以是用户手心面和 /或手背面上的点在预设的参 考坐标系中的三维空间坐标。

在构建三维虚拟手时, 可以根据获取的手心面和 /或手背面上的点的三维空 间坐标, 在三维的用户界面中构建出与用户手部具有相 同或等比例缩放的位置 坐标的三维虚拟手, 值得注意的是, 构建出的三维虚拟手与用户手部形状、 大 小相同或是其的等比例缩放。

为了能够获取用户手部的动作信息, 三维空间信息的采集过程是周期性的 , 并且这个周期的时长 4艮短, 例如可以每 0.01秒采集一次用户手心面和 /或手背面 的上点的三维空间坐标。 根据多次采集的三维空间坐标, 在用户界面中重复性 构建出三维虚拟手, 由于三维虚拟手的构建周期 ^艮短, 这就使得用户在用户界 面中看到的三维虚拟手的画面就是连续的, 且三维虚拟手的动作与用户手部动 作完全一致。

处理模块 130, 用于检测三维虚拟手对用户界面的操作, 并根据检测到的操 作, 执行相应的功能。

通常三维虚拟手对用户界面的操作包括: 旋转用户界面的操作、 拖拽用户 界面的操作、 缩小用户界面的操作和放大用户界面的操作等 。

此外, 用户界面还包括: 至少一个三维式的功能选项。 相应地, 三维虚拟 手对用户界面的操作还包括: 旋转三维式功能选项的操作、 拖拽三维式功能选 项的操作、 缩小三维式功能选项的操作和放大三维式功能 选项的操作、 以及用 于请求执行功能选项所对应的功能的操作。 其中, 三维式的功能选项可以是三 维立体图形, 每个三维立体图形可以对应一个或多个功能选 项。 用于请求执行 功能选项所对应的功能的操作包括: 拖拽、 点击、 按等。

通常情况下, 用户通过三维虚拟手对用户界面的各种操作都 会有其特有的 动作特征, 通过提取三维虚拟手的当前操作的动作特征信 息, 并将其与数据库 中预存的动作特征(数据库中每一动作特征都 会对应一控制命令)进行匹配, 从而确定用户对用户界面下达的控制命令。

在检测三维虚拟手对用户界面的操作时, 可以定期性将获取的手心面和 /或 手背面上的点的三维空间坐标进行抽样对比( 例如每隔 0.05秒将当前采集的三 维空间坐标和前 0.05秒采集的三维空间坐标进行比较) , 从而确定用户手部的 动作趋势, 再根据确定的用户手部动作趋势, 来提取三维虚拟手的当前操作的 动作特征信息。

例如, 用户在旋转用户界面时, 其特有的动作特征通常会是: 手掌心抬起, 五指指尖绕着手掌心转动。 其相应的动作特征信息可以从周期性采集的三 维空 间坐标的来提取, 通过将不同时间获取的用户手心面和 /或手背面的三维空间坐 标进行分析和对比, 可以判定用户手部的动作趋势, 进而确定用户期望旋转用 户界面的方向及弧度。

用户在拖拽用户界面时, 其特有的动作特征通常会是: 一根或几根手指做 按住状或捏住状沿某一方向直线运动, 同样得可以根据周期性采集的三维空间 坐标来获取用户手指的移动方向和移动距离, 进而依此来确定用户期望拖拽用 户界面的方向及拖拽距离。

用户在缩小用户界面时, 其特有的动作特征通常会是: 掌心抬起, 五指指 尖收拢, 同样得可以根据周期性采集的三维空间坐标来 获取用户手指的收拢幅 度, 进而依此来确定用户期望缩小用户界面的幅度 。

用户在放大用户界面时, 其特有的动作特征通常会是: 掌心抬起, 五指指 尖向外张开, 同样得可以根据周期性采集的三维空间坐标来 获取用户手指的张 开幅度, 进而依此来确定用户期望放大用户界面的幅度 。

当用户需要对用户界面中的某一三维式功能选 项做出操作时, 通常情况下, 用户会通过手部动作将用户界面中的三维虚拟 手放在或靠近该三维式功能选项 所在的位置。 由此, 当用户通过手部动作将用户界面中的三维虚拟 手移放在或 者靠近三维式功能选项所在的位置时, 则认为用户期望的是对该三维式功能选 项进行操作。

用户旋转、 拖拽、 放大、 缩小三维式功能选项的操作与用户旋转、 拖拽、 放大、 缩小用户界面的操作大致相同, 不同之处只在于动作幅度的大小, 可以 根据动作幅度的大小来区分是对整个用户界面 或只是某一三维式功能选项的操 作。 例如, 用户在旋转用户界面时, 通常五指张开的幅度较大, 而用户在旋转 用户界面中的某一三维式功能选项时, 通常五指张开的幅度较小, 同样的通过 分析手部的三维空间坐标便能准确获取用户五 指张开的幅度, 如此可以将该幅 度值与预设的幅度值进行比较, 大于预设幅度值时, 则认为用户期望的是旋转 整个用户界面; 小于预设幅度值时, 则认为用户期望的是旋转三维式功能选项。

通常用户在请求执行三维式功能选项所对应的 功能的操作包括: 点击、 按 等。 当用户期望执行某一三维式功能选项所对应的 功能时, 通常会通过移动手 部将用户界面中的三维虚拟手置于或靠近该三 维式功能选项所在的位置, 依此, 便可以确定用户期望是对该三维式选项进行操 作。 当用户做出点击动作时, 其 特有的动作特征通常会是: 食指或中指抬起再放下, 而手掌心和其它手指固定 不动, 由此, 根据该操作其特有的动作特征, 便可以确定用户期望执行该三维 式功能选项所对应的功能。

发明的实施例通过在用户界面上构建出与用户 手部动作一致的三维虚拟 手, 使得用户可以通过用户界面中的三维虚拟手直 接控制用户界面, 用户不需 要牵记特定的手势, 也不需要佩戴传感器。 并且由于用户通过三维虚拟手操作 控制用户界面, 因此可以同时提高用户视觉和触觉的真实度, 提高用户体验度。 请参照图 4,是图 3所示的采集模块的实施例的结构示意图。 所述三维手型采集 模块 110包括:

判断单元 111 , 用于判断所需采集三维空间信息的物体的形状 是否符合手 型, 如果符合手型, 则采集用户手部动作的三维空间信息; 如不符合手型, 则 在用户界面中作出相应的提示。

坐标获取单元 112,用于周期性获取用户的手心面上的点在参 坐标系中的 空间坐标。

其中, 坐标获取单元 112可以由三维超声仪、 三维摄像机、 或者包含激光 分光扫描器与两个摄像机的三维采集装置来实 现。

其中, 包含激光分光扫描器与两个摄像机的三维采集 装置是基于双目立体 视觉技术的。 双目立体视觉方法就是利用两个摄像机模拟人 眼双眼处理景物的 方式, 从两个视点观察同一场景, 获得不同视角下的两个图像, 然后通过计算 图像对应点间的位置偏差, 便能推断出场景中目标物体或目标点的三维空 间信 息。

用户手部的三维空间信息可以是用户手心面或 手背面的三维空间信息, 也 可以是整只手的三维空间信息。 为了减少数据处理量, 可以只获取用户手心面 的三维空间信息。

具体地, 激光分光扫描器包括: 分光镜和红激光管。 激光分光扫描器用于 标定用户手部上的需要采集三维空间信息的点 。

分光镜可以将红激光管产生的红激光束分散成 多条平行于 X轴方向的光线 和多条平行于 Y轴方向的光线, 并且通常情况下, 这些光线是肉眼不可见的。 这些光线互相交织, 形成在三维空间上有序排列的光线交点 (这些光线交织点 不止排布在 XY平面上, 在整个三维空间均有排布) 。 当用户的手部进入该光 线交织区域时, 位于用户手心面上的光线交织点即为需要采集 三维空间信息的 点。

双目立体视觉的基本原理如图 6所示。 图中分别以下标 1和 r标注左、 右摄 像机的相应参数。 位于用户手心面上某一光线交织点 Α(Χ, Υ, Z)在左右摄像机 的成像面 C1和 Cr上的像点分别为 al(ul, vl)和 ar(ur, vr;)。 这两个像点是 A点的 像, 称为"共轭点"。 分别作出这两个共轭像点与各自摄像机的光心 01和 Or的 连线, 即投影线 alOl和 arOr, 它们的交点即为 A点。 因此在 01、 0r、 al、 ar四 点已确定的前提下, 通过计算便能得到 A点在现实空间的三维坐标。

请参照图 5 ,是图 3所示的三维虚拟手构建模块的实施例的结构 意图。 所 述三维虚拟手构建模块 120包括:

手心面构建单元 121 , 用于才艮据用户手心面上的点的三维空间坐标 的变化, 构建出与用户手心面动作一致的虚拟手心面;

手背面构建单元 122, 用于才艮据与用户手心面动作一致的虚拟手心 面, 构建 出与用户手背面动作一致的虚拟手背面。

由于三维手型采集模块只是获取手心面上部分 点的空间坐标, 在构建虚拟 手心面时, 手心面构建单元 121 会根据用户手心面上已获取的点的空间坐标来 模拟重现手心面上其它点的坐标, 从而得到完整的手心面。 本发明在上述实施例中所提及的旋转、 拖拽、 缩小、 放大、 点击等操作都 只是作为举例说明, 在本发明的实施例中, 还可以包括其它界面操作。

本领域普通技术人员可以理解实现上述实施例 方法中的全部或部分流程, 是可以通过计算机程序来指令相关的硬件来完 成, 所述的程序可存储于一计算 机可读取存储介质中, 该程序在执行时, 可包括如上述各方法的实施例的流程。 其中, 所述的存储介质可为磁碟、 光盘、 只读存储记忆体(Read-Only Memory, ROM )或随机存储记忆体(Random Access Memory, RAM )等。

以上所揭露的仅为本发明一种较佳实施例而已 , 当然不能以此来限定本发 明之权利范围, 本领域普通技术人员可以理解实现上述实施例 的全部或部分流 程, 并依本发明权利要求所作的等同变化, 仍属于发明所涵盖的范围。