Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
USER INTERFACE OPERATION CONTROL METHOD AND DEVICE
Document Type and Number:
WIPO Patent Application WO/2013/149476
Kind Code:
A1
Abstract:
Disclosed is a user interface operation control method, comprising: acquiring a capacitance change signal generated by the change of movements of a user hand; according to the acquired capacitance change signal, controlling a 3D virtual hand of a user interface so that the movements of the 3D virtual hand are consistent with the movements of the user hand; and according to an operation performed by the 3D virtual hand on the user interface, performing corresponding operations. Also disclosed is a user interface operation control device. The present invention can be applied to enable a user to flexibly and conveniently control a user interface, and improve the user experience.

Inventors:
ZHAO JIANZHANG (CN)
CAI YUE (CN)
SONG BENMIN (CN)
Application Number:
PCT/CN2012/086002
Publication Date:
October 10, 2013
Filing Date:
December 06, 2012
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SHENZHEN SKYWORTH DIGITAL TECH (CN)
SHENZHEN SKYWORTH SOFTWARE CO (CN)
International Classes:
G06F3/048; G06F3/0488
Foreign References:
CN1462929A2003-12-24
CN101739208A2010-06-16
CN102707878A2012-10-03
Attorney, Agent or Firm:
GUANGZHOU SCIHEAD PATENT AGENT CO., LTD (CN)
广州三环专利代理有限公司 (CN)
Download PDF:
Claims:
1、 一种用户界面的操作控制方法, 其特征在于, 包括:

采集由用户手部动作的变化而产生的电容变化信号;

根据所述采集的电容变化信号, 控制用户界面的三维虚拟手, 使所述三维 虚拟手的动作与所述用户手部动作一致;

根据所述三维虚拟手对所述用户界面的操作, 执行相应的操作。

2、 如权利要求 1所述的方法, 其特征在于, 所述三维虚拟手对用户界面的 操作包括: 旋转所述用户界面的操作、 拖拽所述用户界面的操作、 缩小所述用 户界面的操作和放大所述用户界面的操作中的至少一项。

3、 如权利要求 2所述的方法, 其特征在于, 所述用户界面还包括: 至少一 个三维式的功能选项;

所述三维虚拟手对用户界面的操作还包括: 用于请求执行所述功能选项所 对应的功能的操作。

4、 如权利要求 1-3中任一项所述的方法, 其特征在于, 所述三维虚拟手与 所述用户手部的大小、 形状一致或者等比例缩放。

5、 如权利要求 4所述的方法, 其特征在于, 所述采集由用户手部动作的变 化而产生的电容变化信号之前, 还包括:

采集当所述用户手部静止时的电容信号;

根据所述电容信号, 在所述用户界面上构造与所述用户手部的大小、 形状 一致或者等比例缩放的三维虚拟手。

6、 一种用户界面的操作控制装置, 其特征在于, 包括:

采集模块, 用于采集由用户手部动作的变化而产生的电容变化信号; 三维虚拟手控制模块, 用于根据所述采集的电容变化信号, 控制用户界面 的三维虚拟手, 使所述三维虚拟手的动作与所述用户手部动作一致; 处理模块, 用于根据所述三维虚拟手对所述用户界面的操作, 执行相应的 操作。

7、 如权利要求 6所述的装置, 其特征在于, 所述三维虚拟手对用户界面的 操作包括: 旋转所述用户界面的操作、 拖拽所述用户界面的操作、 缩小所述用 户界面的操作和放大所述用户界面的操作中的至少一项。

8、 如权利要求 6所述的装置, 其特征在于, 所述用户界面还包括: 至少一 个三维式的功能选项;

所述三维虚拟手对用户界面的操作还包括: 用于请求执行所述功能选项所 对应的功能的操作。

9、 如权利要求 6-8中任一项所述的装置, 其特征在于, 所述三维虚拟手与 所述用户手部的大小、 形状一致或者等比例缩放。

10、 如权利要求 9所述的装置, 其特征在于, 所述采集模块还用于采集当 所述用户手部静止时的电容信号, 所述装置还包括: 构造模块, 所述构造模块 用于根据所述采集模块采集的电容信号, 在所述用户界面上构造与所述用户手 部的大小、 形状一致或者等比例缩放的三维虚拟手。

Description:
一种用户界面的操作控制方法及装置 技术领域

本发明涉及触摸控制领域, 尤其涉及一种用户界面的操作控制方法及装置 。 背景技术

目前, 触摸式的用户界面控制方法大致分为两类: 一是用户通过手指直接 在用户界面显示屏上进行触摸点选, 二是用户通过在触摸感应装置上进行触摸 操作来远程遥控用户界面, 这两类方法都只能让用户通过一两个手指作出 点击、 滑动等简单的触摸操作、 操作方法过于单一, 缺乏用户和用户界面的之间互动, 用户体验不佳。 发明内容

本发明实施例所要解决的技术问题在于, 提供一种用户界面的操作控制方 法及装置, 可以让用户灵活和方便的控制用户界面, 提高用户体验。

为了解决上述技术问题, 本发明实施例提供了一种用户界面的操作控制 方 法, 包括:

采集由用户手部动作的变化而产生的电容变化 信号;

根据所述采集的电容变化信号, 控制用户界面的三维虚拟手, 使所述三维 虚拟手的动作与所述用户手部动作一致;

根据所述三维虚拟手对所述用户界面的操作, 执行相应的操作。

其中, 所述三维虚拟手对用户界面的操作包括: 旋转所述用户界面的操作、 拖拽所述用户界面的操作、 缩小所述用户界面的操作和放大所述用户界面 的操 作中的至少一项。

其中, 所述用户界面还包括: 至少一个三维式的功能选项;

所述三维虚拟手对用户界面的操作还包括: 用于请求执行所述功能选项所 对应的功能的操作。

其中, 所述三维虚拟手与所述用户手部的大小、 形状一致或者等比例缩放。 其中, 所述采集由用户手部动作的变化而产生的电容 变化信号之前, 还包 采集当所述用户手部静止时的电容信号;

根据所述电容信号, 在所述用户界面上构造与所述用户手部的大小 、 形状 一致或者等比例缩放的三维虚拟手。

相应地, 本发明实施例还提供了一种用户界面的操作控 制装置, 包括: 采集模块, 用于采集由用户手部动作的变化而产生的电容 变化信号; 三维虚拟手控制模块, 用于根据所述采集的电容变化信号, 控制用户界面 的三维虚拟手, 使所述三维虚拟手的动作与所述用户手部动作 一致;

处理模块, 用于根据所述三维虚拟手对所述用户界面的操 作, 执行相应的 操作。

其中, 所述三维虚拟手对用户界面的操作包括: 旋转所述用户界面的操作、 拖拽所述用户界面的操作、 缩小所述用户界面的操作和放大所述用户界面 的操 作中的至少一项。

其中, 所述用户界面还包括: 至少一个三维式的功能选项;

所述三维虚拟手对用户界面的操作还包括: 用于请求执行所述功能选项所 对应的功能的操作。

其中, 所述三维虚拟手与所述用户手部的大小、 形状一致或者等比例缩放。 其中, 所述采集模块还用于采集当所述用户手部静止 时的电容信号, 所述 装置还包括: 构造模块, 所述构造模块用于根据所述采集模块采集的电 容信号, 在所述用户界面上构造与所述用户手部的大小 、 形状一致或者等比例缩放的三 维虚拟手。

实施本发明实施例, 具有如下有益效果:

本发明的实施例通过在用户界面上构建出与用 户手部动作一致的三维虚拟 手, 使得用户可以通过用户界面中的三维虚拟手直 接控制用户界面; 由于用户 通过三维虚拟手操作控制用户界面, 因此可以同时提高用户视觉和触觉的真实 度, 提高用户体验度。 附图说明

为了更清楚地说明本发明实施例或现有技术中 的技术方案, 下面将对实施 例或现有技术描述中所需要使用的附图作简单 地介绍, 显而易见地, 下面描述 中的附图仅仅是本发明的一些实施例, 对于本领域普通技术人员来讲, 在不付 出创造性劳动的前提下, 还可以根据这些附图获得其他的附图。

图 1是本发明的用户界面的操作控制方法的第一 施例的流程示意图; 图 2是本发明的用户界面的操作控制方法的第二 施例的流程示意图; 图 3是本发明的用户界面的操作控制方法的第三 施例的流程示意图; 图 4是本发明的用户界面的操作控制装置的第一 施例的结构示意图; 图 5是本发明的用户界面的操作控制装置的第二 施例的结构示意图; 图 6是图 4中的处理模块的实施例的结构示意图。 具体实施方式

下面将结合本发明实施例中的附图, 对本发明实施例中的技术方案进行清 楚、 完整地描述, 显然, 所描述的实施例仅仅是本发明一部分实施例, 而不是 全部的实施例。 基于本发明中的实施例, 本领域普通技术人员在没有作出创造 性劳动前提下所获得的所有其他实施例, 都属于本发明保护的范围。

请参照图 1 ,是本发明的用户界面的操作控制方法的第一 施例的流程示意 图。 所述方法包括:

步骤 S 11 , 采集由用户手部动作的变化而产生的电容变化 信号。

其中, 步骤 S11 中用户手部动作的采集可以由电容式的触摸感 应器实现, 例如: 由具有较大采集面积的电容式触摸板实现, 通常电容式触摸板的面积大 于普通人手部的面积, 并且可以在电容式触摸板上设置供用户手部休 息的休息 区。

具体地, 当用户的手部在电容式触摸板中动作时, 将引起电容式触摸板表 面电容的变化。 由用户手部动作的变化而产生的电容变化信号 , 可以反映用户 的手部动作的变化。

通常情况下, 电容式触摸板的灵敏度越高、 用户手部与电容式触摸板接触 起紧凑时, 采集效果越好。

步骤 S12, 根据采集的电容变化信号, 控制用户界面的三维虚拟手, 使所述 三维虚拟手的动作与用户手部动作一致。

为了更好的提高用户的视觉体验, 用户界面可以设计成为虚拟三维式的。 应该注意的是, 三维虚拟手在虚拟三维式的用户界面中动作幅 度与用户手部动 作幅度一致或是等比例缩放。 其中, 由于步骤 Sl l 中采集的电容变化信号能够反映用户手部动作 的变化 情况, 因此步骤 S12通过分析采集的电容变化信号, 可以得到用户手部动作的 变化, 进而将用户手部动作的变化通过用户界面中的 三维虚拟手表示出来。

具体地, 当用户的手部在垂直于触摸板的方向上发生位 置改变时, 由于用 户手部越靠近触摸板, 相应地触摸板上的电容信号变化越大, 用户手部越发远 离触摸板, 相应地触摸板上的电容信号变化越小, 那么就可以根据电容信号的 变化程度和变化趋势(变大或变小) 来确定用户手部在垂直方向上发生的位移 及方向 (向下或向上) , 然后便可以控制三维虚拟手在虚拟三维式的用 户界面 中做出相同的运动。

当用户的手部在平行于触摸板的某一平面上发 生位置改变时, 触摸板上用 户手部移动时所经过的区域的电容状态均会发 生改变, 通过确认这些电容状态 发生改变的区域上的点在触摸板上的位置坐标 , 便可以得知用户手部在平行于 触摸板的平面上的运动轨迹, 然后就可以控制三维虚拟手在虚拟三维式的用 户 界面中做出具有相同运动轨迹的运动。

步骤 S13 , 根据三维虚拟手对用户界面的操作, 执行相应的操作。

通过步骤 S11 -步骤 S12实现了用户通过三维虚拟手对用户界面的操 作,通 常三维虚拟手对用户界面的操作包括: 旋转用户界面的操作、 拖拽用户界面的 操作、 缩小用户界面的操作和放大用户界面的操作中 的至少一项。

其中, 三维虚拟手旋转用户界面的操作可以是五指绕 着手掌心转动一个角 度, 执行相应的操作可以是根据五指的旋转方向及 旋转弧度, 旋转整个用户界 面; 拖拽用户界面的操作可以是五指按住或捏住或 抓住用户界面朝某个方向移 动, 执行相应的操作可以是根据三维虚拟手的拖拽 方向及拖拽位移, 移动整个 用户界面; 缩小用户界面操作可以是五指收拢, 执行相应的操作可以是根据三 维虚拟手五指收拢的幅度, 缩小整个用户界面; 放大用户界面的操作可以是五 指张开, 执行相应的操作可以是根据三维虚拟手五指张 开的幅度, 放大整个用 户界面。

此外, 用户界面还包括: 至少一个三维式的功能选项。 相应地, 三维虚拟 手对用户界面的操作还包括: 旋转三维式功能选项的操作、 拖拽三维式功能选 项的操作、 缩小三维式功能选项的操作和放大三维式功能 选项的操作、 以及用 于请求执行功能选项所对应的功能的操作。 其中, 三维式的功能选项可以是三 维立体图形, 每个三维立体图形可以对应一个或多个功能选 项。 用于请求执行 功能选项所对应的功能的操作包括: 拖拽、 点击、 按等。

三维虚拟手旋转三维式功能选项的操作可以是 五指绕着该三维式功能选项 转动一个角度, 执行相应的操作可以是根据五指的旋转方向及 旋转弧度, 旋转 整个三维式功能选项; 拖拽三维式功能选项的操作可以是五指按住或 捏住或抓 住三维式功能选项朝某个方向移动, 执行相应的操作可以是根据三维虚拟手的 拖拽方向及拖拽位移, 移动该三维式功能选项; 缩小三维式功能选项操作可以 是五指以该三维式功能选项为中心朝里收拢, 执行相应的操作可以是根据三维 虚拟手五指收拢的幅度, 缩小整个三维式功能选项; 放大三维式功能选项的操 作可以是五指以该三维式功能选项为中心向外 张开, 执行相应的操作可以是根 据三维虚拟手五指张开的幅度, 放大整个三维式功能选项。

本发明的实施例通过在用户界面上构建出与用 户手部动作一致的三维虚拟 手, 使得用户可以通过用户界面中的三维虚拟手直 接控制用户界面; 由于用户 通过三维虚拟手操作控制用户界面, 因此可以同时提高用户视觉和触觉的真实 度, 提高用户体验度。

请参照图 2,是本发明的用户界面的操作控制方法的第二 施例的流程示意 图。 所述方法包括:

步骤 S21 , 采集当用户手部静止时的电容信号。

为了更好的获取用户的手部的大小、 及形状信息, 需要用户将手五指张开 平放在触摸板上。

步骤 S22, 根据电容信号, 在用户界面上构造与所述用户手部的大小、 形状 一致或者等比例缩放的三维虚拟手。

当用户将手五指张开平放在触摸板上时, 触摸板上用户手部所覆盖区域的 电容状态会发生改变, 根据该区域的形状, 便能得到用户手部的整体轮廓信息, 从而构造出与用户手部形状一致的三维虚拟手 。

进一步地, 为了提高三维虚拟手的逼真度, 还可以获取用户手部的关节位 置信息及掌心凹陷处的位置信息。 具体地, 通常当用户将手五指分开平放在触 摸板时掌心凹陷处和手指关节处与触摸板则会 贴得较为疏远, 而手掌其它部位 则会与触摸板贴得较为紧密, 这就会导致触摸板上手指关节处和掌心凹陷处 所 覆盖区域相应地电容要比触摸板上手指、 手掌所覆盖区域的电容要小, 以此来 确认手指关节处和掌心凹陷处所对应的区域在 用户手部所覆盖区域的位置, 便 能得知用户手部的关节位置及掌心凹陷处位置 。 利用以上获取的掌心凹陷处位 置和各手指关节位置, 便可以构建出与用户手部形状、 大小完全一致的三维虚 拟手, 或者构建出根据用户界面的大小适当比例缩放 的三维虚拟手。

步骤 S23 , 采集由用户手部动作的变化而产生的电容变化 信号。

步骤 S24, 根据采集的电容变化信号, 控制用户界面的三维虚拟手, 使所述 三维虚拟手的动作与用户手部动作一致。

步骤 S25 , 根据三维虚拟手对用户界面的操作, 执行相应的操作。

步骤 S23至步骤 S25与本发明用户界面的操作控制方法的第一实 施例中的 步骤 S1 1至步骤 S13相同, 故在些不做赞述。

本发明的实施例通过在用户界面上构建出与用 户手部动作一致的三维虚拟 手, 使得用户可以通过用户界面中的三维虚拟手直 接控制用户界面; 由于用户 通过三维虚拟手操作控制用户界面, 因此可以同时提高用户视觉和触觉的真实 度, 提高用户体验度。

请参照图 3 ,是本发明的用户界面的操作控制方法的第三 施例的流程示意 图。 所述方法包括:

步骤 S31 , 采集由用户手部动作的变化而产生的电容变化 信号。

步骤 S32, 根据采集的电容变化信号, 控制用户界面的三维虚拟手, 使所述 三维虚拟手的动作与用户手部动作一致。

步骤 S31至步骤 S32与本发明用户界面的操作控制方法的第一实 施例中的 步骤 S1 1至步骤 S12相同, 故在此不做赞述。

步骤 S33 ,通过检测用户通过三维虚拟手对用户界面的 作,确定用户对用 户界面下达的控制命令。

通常三维虚拟手对用户界面的操作包括: 旋转用户界面的操作、 拖拽用户 界面的操作、 缩小用户界面的操作和放大用户界面的操作中 的至少一项。

此外, 用户界面还包括: 至少一个三维式的功能选项。 相应地, 三维虚拟 手对用户界面的操作还包括: 旋转三维式功能选项的操作、 拖拽三维式功能选 项的操作、 缩小三维式功能选项的操作和放大三维式功能 选项的操作、 以及用 于请求执行功能选项所对应的功能的操作。

其中, 三维式的功能选项可以是三维立体图形, 每个三维立体图形可以对 应一个或多个功能选项。 用于请求执行功能选项所对应的功能的操作包 括: 点 击、 按等。

通常情况下, 用户通过三维虚拟手对用户界面的各种操作都 会有其特有的 动作特征, 通过提取三维虚拟手的当前操作的动作特征信 息, 并将其与数据库 中预存的动作特征(数据库中每一动作特征都 会对应一控制命令)进行匹配, 从而确定用户对用户界面下达的控制命令。

例如 , 用户手部在触摸板上做旋转操作时, 其特有的动作特征通常会是: 手掌心抬起, 五指指尖在触摸板上 (或贴近触摸板)绕着手掌心转动。 可以根据触 摸板上电容的变化, 获取五指指尖在触摸板上的运动轨迹信息。 通过分析某一 指尖 (或者综合分析多根指尖)在触摸板上的运动 轨迹便可以获取该指尖的旋 转方向及旋转弧度, 进而便能确定用户期望旋转用户界面的方向及 弧度。

用户手部在触摸板上做拖拽操作时, 其特有的动作特征通常会是: 一根或 几根手指指尖按在触摸板上朝某一方向直线移 动。 同样的根据触摸板上电容的 变化, 获取指尖在触摸板上的运动轨迹信息 (通常该运动轨迹趋向于直线) , 通过分析直线运动轨迹的长度及方向, 便能确定用户期望用户界面移动的方向 及距离。

用户手部在触摸板上做缩小操作时, 其特有的动作特征通常会是: 掌心抬 起, 五指指尖在触摸板上 (或贴近触摸板)收拢, 相应地五指指尖在触摸板上的运 动轨迹则是五条直线段, 且五条线段所在的直线均交于一点, 通过获取其中任 一条线段的长度, 便能确定用户期望缩小用户界面的辐度。

用户手部在触摸板上做放大操作时, 其特有的动作特征通常会是: 掌心抬 起, 五指指尖在触摸板上 (或贴近触摸板)向外张开, 相应地五指指尖在触摸板上 的运动轨迹则是五条直线段, 且五条线段所在的直线均交于一点, 通过获取其 中任一条线段的长度, 便能确定用户期望放大用户界面的辐度。

当用户需要对用户界面中的某一三维式功能选 项做出操作时, 通常情况下, 用户会通过手部动作将用户界面中的三维虚拟 手放在该三维式功能选项所在的 位置, 如此便能确定用户期望操作的三维式功能选项 具体是哪一个。

通常用户在请求执行三维式功能选项所对应的 功能的操作包括: 点击、 按 等。 当用户在触摸板上做出点击动作时, 其特有的动作特征是: 食指或中指抬 起再放下, 相应地会导致触摸板上用户手指所点击的区域 的电容会先变小后变 大。 由此根据触摸板上电容的变化, 确定用户期望执行的三维式功能选项所对 应的功能, 再结合三维虚拟手在用户界面中所点击的位置 , 便能确定用户期望 执行的是哪一个功能选项。 当用户在触摸板上做出按动作时, 相应地触摸板上 用户手指所按的区域的电容会大于触摸板上其 它区域的电容, 由此通过根据触 摸板上电容的状态, 确定用户期望执行的三维式功能选项所对应的 功能, 再结 合三维虚拟手在用户界面中所按的位置, 便能确定用户期望执行的是哪一个功 能选项。

用户旋转、 拖拽、 放大、 缩小三维式功能选项的操作与用户旋转、 拖拽、 放大、 缩小用户界面的操作大致相同, 不同之处只在于动作幅度的大小, 可以 根据动作幅度的大小来区分是对整个用户界面 或只是某一三维式功能选项的操 作。 例如, 用户在旋转用户界面时, 通常五指张开的幅度较大, 而用户在旋转 用户界面中的某一三维式功能选项时, 通常五指张开的幅度较小, 同样的通过 分析五指指尖在触摸板上的运动轨迹便能准确 获取用户五指张开的幅度, 如此 可以将该幅度值与预设的幅度值进行比较, 大于预设幅度值时, 则认为用户期 望的是旋转整个用户界面; 小于预设幅度值时, 则认为用户期望的是旋转三维 式功能选项。

步骤 S34, 根据确定的用户对用户界面下达的控制命令, 执行相应的操作。 本发明的实施例通过在用户界面上构建出与用 户手部动作一致的三维虚拟 手, 使得用户可以通过用户界面中的三维虚拟手直 接控制用户界面; 由于用户 通过三维虚拟手操作控制用户界面, 因此可以同时提高用户视觉和触觉的真实 度, 提高用户体验度。

请参照图 4,是本发明的用户界面的操作控制装置的第一 施例的结构示意 图。 所述装置包括:

采集模块 110, 用于采集由用户手部动作的变化而产生的电容 变化信号。 其中, 采集模块的功能可以由电容式的触摸感应器实 现, 例如: 由具有较 大采集面积的电容式触摸板实现, 通常电容式触摸板的面积大于普通人手部的 面积, 并且可以在电容式触摸板上设置供用户手部休 息的休息区。

具体地, 当用户的手部在电容式触摸板中动作时, 将引起电容式触摸板表 面电容的变化。 由用户手部动作的变化而产生的电容变化信号 , 可以反映用户 的手部动作的变化。 通常情况下, 电容式触摸板的灵敏度越高、 用户手部与电容式触摸板接触 起紧凑时, 采集效果越好。

三维虚拟手控制模块 120, 根据采集的电容变化信号, 控制用户界面的三维 虚拟手, 使所述三维虚拟手的动作与用户手部动作一致 。

为了更好的提高用户的视觉体验, 用户界面可以设计成为虚拟三维式的。 应该注意的是, 三维虚拟手在虚拟三维式的用户界面中动作幅 度与用户手部动 作幅度一致或是等比例缩放。

其中, 由采集模块 110 中采集的电容变化信号能够反映用户手部动作 的变 化情况, 因此三维虚拟手控制模块 120通过分析采集的电容变化信号, 可以得 到用户手部动作的变化, 进而将用户手部动作的变化通过用户界面中的 三维虚 拟手表示出来。

具体地, 当用户的手部在垂直于触摸板的方向上发生位 置改变时, 由于用 户手部越靠近触摸板, 相应地触摸板上的电容信号变化越大, 用户手部越发远 离触摸板, 相应地触摸板上的电容信号变化越小, 那么就可以根据电容信号的 变化程度和变化趋势(变大或变小) 来确定用户手部在垂直方向上发生的位移 及方向 (向下或向上) , 然后便可以控制三维虚拟手在虚拟三维式的用 户界面 中做出相同的运动。

当用户的手部在平行于触摸板的某一平面上发 生位置改变时, 触摸板上用 户手部移动时所经过的区域的电容状态均会发 生改变, 通过确认这些电容状态 发生改变的区域上的点在触摸板上的位置坐标 , 便可以得知用户手部在平行于 触摸板的平面上的运动轨迹, 然后就可以控制三维虚拟手在虚拟三维式的用 户 界面中做出具有相同运动轨迹的运动。

处理模块 130, 用于根据三维虚拟手对用户界面的操作, 执行相应的操作。 通常三维虚拟手对用户界面的操作包括: 旋转用户界面的操作、 拖拽用户 界面的操作、 缩小用户界面的操作和放大用户界面的操作中 的至少一项。

其中, 三维虚拟手旋转用户界面的操作可以是五指绕 着手掌心转动一个角 度, 执行相应的操作可以是根据五指的旋转方向及 旋转弧度, 旋转整个用户界 面; 拖拽用户界面的操作可以是五指按住或捏住或 抓住用户界面朝某个方向移 动, 执行相应的操作可以是根据三维虚拟手的拖拽 方向及拖拽位移, 移动整个 用户界面; 缩小用户界面操作可以是五指收拢, 执行相应的操作可以是根据三 维虚拟手五指收拢的幅度, 缩小整个用户界面; 放大用户界面的操作可以是五 指张开, 执行相应的操作可以是根据三维虚拟手五指张 开的幅度, 放大整个用 户界面。

此外, 用户界面还包括: 至少一个三维式的功能选项。 相应地, 三维虚拟 手对用户界面的操作还包括: 旋转三维式功能选项的操作、 拖拽三维式功能选 项的操作、 缩小三维式功能选项的操作和放大三维式功能 选项的操作、 以及用 于请求执行功能选项所对应的功能的操作。 其中, 三维式的功能选项可以是三 维立体图形, 每个三维立体图形可以对应一个或多个功能选 项。 用于请求执行 功能选项所对应的功能的操作包括: 拖拽、 点击、 按等。

三维虚拟手旋转三维式功能选项的操作可以是 五指绕着该三维式功能选项 转动一个角度, 执行相应的操作可以是根据五指的旋转方向及 旋转弧度, 旋转 整个三维式功能选项; 拖拽三维式功能选项的操作可以是五指按住或 捏住或抓 住三维式功能选项朝某个方向移动, 执行相应的操作可以是根据三维虚拟手的 拖拽方向及拖拽位移, 移动该三维式功能选项; 缩小三维式功能选项操作可以 是五指以该三维式功能选项为中心朝里收拢, 执行相应的操作可以是根据三维 虚拟手五指收拢的幅度, 缩小整个三维式功能选项; 放大三维式功能选项的操 作可以是五指以该三维式功能选项为中心向外 张开, 执行相应的操作可以是根 据三维虚拟手五指张开的幅度, 放大整个三维式功能选项。

本发明的实施例通过在用户界面上构建出与用 户手部动作一致的三维虚拟 手, 使得用户可以通过用户界面中的三维虚拟手直 接控制用户界面; 由于用户 通过三维虚拟手操作控制用户界面, 因此可以同时提高用户视觉和触觉的真实 度, 提高用户体验度。

请参照图 5 ,是本发明的用户界面的操作控制装置的第二 施例的结构示意 图。 所述装置 100包括:

采集模块 110, 用于采集当用户手部静止时的电容信号, 以及用于采集由用 户手部动作的变化而产生的电容变化信号。

为了更好的获取用户的手部的大小、 及形状信息, 采集模块 110在采集电 容信号时需要用户将手五指张开平放在触摸板 上。

三维虚拟手构造模块 140, 用于根据电容信号, 在用户界面上构造与所述用 户手部的大小、 形状一致或者等比例 放的三维虚拟手。 当用户将手五指张开平放在触摸板上时, 触摸板上用户手部所覆盖区域的 电容状态会发生改变, 根据该区域的形状, 便能得到用户手部的整体轮廓信息, 从而构造出与用户手部形状一致的三维虚拟手 。

进一步地, 为了提高三维虚拟手的逼真度, 还可以获取用户手部的关节位 置信息及掌心凹陷处的位置信息。 具体地, 通常当用户将手五指分开平放在触 摸板时掌心凹陷处和手指关节处与触摸板则会 贴得较为疏远, 而手掌其它部位 则会与触摸板贴得较为紧密, 这就会导致触摸板上手指关节处和掌心凹陷处 所 覆盖区域相应地电容要比触摸板上手指、 手掌所覆盖区域的电容要小, 以此来 确认手指关节处和掌心凹陷处所对应的区域在 用户手部所覆盖区域的位置, 便 能得知用户手部的关节位置及掌心凹陷处位置 。 利用以上获取的掌心凹陷处位 置和各手指关节位置, 便可以构建出与用户手部形状、 大小完全一致的三维虚 拟手, 或者构建出根据用户界面的大小适当比例缩放 的三维虚拟手。

三维虚拟手控制模块 120, 根据采集的电容变化信号, 控制用户界面的三维 虚拟手, 使所述三维虚拟手的动作与用户手部动作一致 。

处理模块 130, 根据三维虚拟手对用户界面的操作, 执行相应的操作。

三维虚拟手控制模块 120和处理模块 130已在本发明用户界面的操作控制 装置的第一实施例作了详细的介绍, 故在此不作贅述。

本发明的实施例通过在用户界面上构建出与用 户手部动作一致的三维虚拟 手, 使得用户可以通过用户界面中的三维虚拟手直 接控制用户界面; 由于用户 通过三维虚拟手操作控制用户界面, 因此可以同时提高用户视觉和触觉的真实 度, 提高用户体验度。

请参照图 6, 是图 4中处理模块的实施例的结构示意图。 所述处理模块 130 包括:

控制命令检测单元 131 ,用于通过检测用户通过三维虚拟手对用户界 的操 作, 确定用户对用户界面下达的控制命令。

通常情况下, 用户通过三维虚拟手对用户界面的各种操作都 会有其特有的 动作特征, 通过提取三维虚拟手的当前操作的动作特征信 息, 并将其与数据库 中预存的动作特征(数据库中每一动作特征都 会对应一控制命令)进行匹配, 从而确定用户对用户界面下达的控制命令。

例如 , 用户手部在触摸板上做旋转操作时, 其特有的动作特征通常会是: 手掌心抬起, 五指指尖在触摸板上 (或贴近触摸板)绕着手掌心转动。 可以根据 触摸板上电容的变化, 获取五指指尖在触摸板上的运动轨迹信息。 通过分析某 一指尖 (或者综合分析多根指尖)在触摸板上的运动 轨迹便可以获取该指尖的 旋转方向及旋转弧度, 进而便能确定用户期望旋转用户界面的方向及 弧度。

用户手部在触摸板上做拖拽操作时, 其特有的动作特征通常会是: 一根或 几根手指指尖按在触摸板上朝某一方向直线移 动。 同样的根据触摸板上电容的 变化, 获取指尖在触摸板上的运动轨迹信息 (通常该运动轨迹趋向于直线) , 通过分析直线运动轨迹的长度及方向, 便能确定用户期望用户界面移动的方向 及距离。

用户手部在触摸板上做缩小操作时, 其特有的动作特征通常会是: 掌心抬 起, 五指指尖在触摸板上 (或贴近触摸板)收拢, 相应地五指指尖在触摸板上的运 动轨迹则是五条直线段, 且五条线段所在的直线均交于一点, 通过获取其中任 一条线段的长度, 便能确定用户期望缩小用户界面的辐度。

用户手部在触摸板上做放大操作时, 其特有的动作特征通常会是: 掌心抬 起, 五指指尖在触摸板上 (或贴近触摸板)向外张开, 相应地五指指尖在触摸板上 的运动轨迹则是五条直线段, 且五条线段所在的直线均交于一点, 通过获取其 中任一条线段的长度, 便能确定用户期望放大用户界面的辐度。

当用户需要对用户界面中的某一三维式功能选 项做出操作时, 通常情况下, 用户会通过手部动作将用户界面中的三维虚拟 手放在该三维式功能选项所在的 位置, 如此便能确定用户期望操作的三维式功能选项 具体是哪一个。

通常用户在请求执行三维式功能选项所对应的 功能的操作包括: 点击、 按 等。 当用户在触摸板上做出点击动作时, 其特有的动作特征是: 食指或中指抬 起再放下, 相应地会导致触摸板上用户手指所点击的区域 的电容会先变小后变 大。 由此根据触摸板上电容的变化, 确定用户期望执行的三维式功能选项所对 应的功能, 再结合三维虚拟手在用户界面中所点击的位置 , 便能确定用户期望 执行的是哪一个功能选项。 当用户在触摸板上做出按动作时, 相应地触摸板上 用户手指所按的区域的电容会大于触摸板上其 它区域的电容, 由此通过根据触 摸板上电容的状态, 确定用户期望执行的三维式功能选项所对应的 功能, 再结 合三维虚拟手在用户界面中所按的位置, 便能确定用户期望执行的是哪一个功 能选项。 用户旋转、 拖拽、 放大、 缩小三维式功能选项的操作与用户旋转、 拖拽、 放大、 缩小用户界面的操作大致相同, 不同之处只在于动作幅度的大小, 可以 根据动作幅度的大小来区分是对整个用户界面 或只是某一三维式功能选项的操 作。 例如, 用户在旋转用户界面时, 通常五指张开的幅度较大, 而用户在旋转 用户界面中的某一三维式功能选项时, 通常五指张开的幅度较小, 同样的通过 分析五指指尖在触摸板上的运动轨迹便能准确 获取用户五指张开的幅度, 如此 可以将该幅度值与预设的幅度值进行比较, 大于预设幅度值时, 则认为用户期 望的是旋转整个用户界面; 小于预设幅度值时, 则认为用户期望的是旋转三维 式功能选项。

执行单元 132, 用于根据确定的用户对用户界面下达的控制命 令,执行相应 的操作。

本发明在上述实施例中所提及的旋转、 拖拽、 缩小、 放大、 点击等操作都 只是作为举例说明, 在本发明的实施例中, 还可以包括其它界面操作。

本领域普通技术人员可以理解实现上述实施例 方法中的全部或部分流程, 是可以通过计算机程序来指令相关的硬件来完 成, 所述的程序可存储于一计算 机可读取存储介质中, 该程序在执行时, 可包括如上述各方法的实施例的流程。 其中, 所述的存储介质可为磁碟、 光盘、 只读存储记忆体(Read-Only Memory, ROM )或随机存储记忆体(Random Access Memory, RAM )等。

以上所揭露的仅为本发明一种较佳实施例而已 , 当然不能以此来限定本发 明之权利范围, 本领域普通技术人员可以理解实现上述实施例 的全部或部分流 程, 并依本发明权利要求所作的等同变化, 仍属于发明所涵盖的范围。