Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
METHOD AND DEVICE FOR TERMINAL DEVICE TO IDENTIFY USER GESTURES
Document Type and Number:
WIPO Patent Application WO/2015/081485
Kind Code:
A1
Abstract:
Disclosed are a method and device for a terminal device to identify user gestures, increasing the accuracy with which the terminal identifies user gestures. The method comprises: a sensor of a terminal device obtains sensing data; the terminal device matches the sensing data with pre-registered identification modes; if the sensing data matches one or more identification modes within the identification modes, the terminal device obtains a response operation of the matching identification mode; the terminal device executes the response operation.

Inventors:
WU HAO (CN)
CHU QING (CN)
ZHONG SHAN (CN)
Application Number:
PCT/CN2013/088389
Publication Date:
June 11, 2015
Filing Date:
December 03, 2013
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
HUAWEI TECH CO LTD (CN)
International Classes:
G06F3/01
Foreign References:
CN102662462A2012-09-12
CN103226386A2013-07-31
CN103067630A2013-04-24
CN103294201A2013-09-11
CN103399633A2013-11-20
CN103279714A2013-09-04
Attorney, Agent or Firm:
CHINABLE IP (CN)
北京弘权知识产权代理事务所(普通合伙) (CN)
Download PDF:
Claims:
权 利 要 求

1、 一种终端设备识别用户手势的方法, 其特征在于, 包括:

终端设备的传感器获取传感数据;

所述终端设备将所述传感数据与预先注册的识别模式进行匹配;

如果所述传感数据与所述识别模式中的一个或者多个所述识别模式相匹配, 则所述终端设备获取相匹配的识别模式的响应操作;

所述终端设备执行所述响应操作。

2、 根据权利要求 1所述的方法, 其特征在于, 所述识别模式包括: 识别规 则和所述响应操作;

其中, 所述识别规则包括: 单传感器识别规则和 /或多传感器识别规则; 其中, 单传感器识别规则是对应一个传感器获取的一个传感数据建立的规 则;

多传感器识别规则是对应多个传感器获取的多个传感数据建立的综合规则。

3、 根据权利要求 2所述的方法, 其特征在于, 所述终端设备将所述传感数 据与预先注册的识别模式进行匹配, 具体包括:

所述终端设备将所述传感数据与所述识别模式的单传感器识别规则和 /或多 传感器识别规则进行匹配;

贝 U, 所述传感数据与所述识别模式中的一个或者多个所述识别模式相匹配, 具体包括:

所述传感数据符合所述识别模式的单传感器识别规则和 /或多传感器识别规 则。

4、 根据权利要求 1至 3中任一项所述的方法, 其特征在于, 在所述终端设 备的传感器获取传感数据之前, 所述方法还包括:

所述终端设备开启所述传感器;

其中, 所述终端设备开启所述传感器的方法包括:

所述终端设备开启程序;

所述终端设备根据所述程序, 注册与所述程序对应的识别模式;

所述终端设备根据所述识别模式开启所述传感器。

5、 根据权利要求 4所述的方法, 其特征在于, 所述终端设备执行所述响应 操作, 具体包括:

所述终端设备的被开启的所述程序,执行与所述程序对应的识别模式的所述 响应操作;

其中, 所述响应操作是所述被开启的所述程序能够执行的操作。

6、 根据权利要求 4或 5所述的方法, 其特征在于, 所述程序包括: 系统级 的程序和 /或应用级的程序;

其中, 所述系统级的程序是所述终端设备开启时, 同时启动的程序; 所述应用级的程序是所述终端设备根据用户的输入开启的程序;

当所述程序是所述应用级的程序时, 所述方法还包括:

所述终端设备关闭所述应用级的程序;

所述终端设备注销与被关闭的所述应用级的程序对应的所述识别模式; 所述终端设备关闭与被注销的所述识别模式对应的所述传感器。

7、 根据权利要求 4至 6中任一项所述的方法, 其特征在于, 所述终端设备 根据所述程序, 注册与所述程序对应的识别模式, 具体包括:

所述终端设备根据所述程序, 在程序框架中注册与所述程序对应的识别模 式。

8、 一种终端, 其特征在于, 包括:

传感数据获取模块, 用于通过传感器获取传感数据;

匹配模块, 用于将所述传感数据与预先注册的识别模式进行匹配; 响应操作获取模块,用于如果所述传感数据与所述识别模式中的一个或者多 个所述识别模式相匹配, 则所述终端设备获取相匹配的识别模式的响应操作; 响应操作执行模块, 用于执行所述响应操作。

9、 根据权利要求 8所述的终端, 其特征在于, 所述识别模式包括: 识别规 则和所述响应操作;

其中, 所述识别规则包括: 单传感器识别规则和 /或多传感器识别规则; 其中, 单传感器识别规则是对应一个传感器获取的一个传感数据建立的规 则;

多传感器识别规则是对应多个传感器获取的多个传感数据建立的综合规则。

10、 根据权利要求 9所述的终端, 其特征在于, 所述匹配模块, 包括: 第一匹配模块,用于将所述传感数据与所述识别模式的单传感器识别规则进 行匹配;

第二匹配模块,用于将所述传感数据与所述识别模式的多传感器识别规则进 行匹配。

11、 根据权利要求 8-10中任一项所述的终端, 其特征在于, 还包括: 传感器开启模块, 用于开启所述传感器;

所述传感器开启模块, 具体包括:

程序开启单元, 用于开启程序;

识别模式注册单元, 用于根据所述程序, 注册与所述程序对应的识别模式; 传感器开启单元, 用于根据所述识别模式开启所述传感器。

12、 根据权利要求 11所述的终端, 其特征在于, 所述程序包括: 系统级的 程序和 /或应用级的程序;

其中, 所述系统级的程序是所述终端设备开启时, 同时启动的程序; 所述应用级的程序是所述终端设备根据用户的输入开启的程序;

当所述程序是所述应用级的程序时, 所述终端还包括:

程序关闭模块, 用于关闭所述应用级的程序;

识别模式注销模块,用于注销与被关闭的所述应用级的程序对应的所述识别 模式;

传感器关闭模块, 用于关闭与被注销的所述识别模式对应的所述传感器。 13、 一种终端, 其特征在于, 包括: 处理器、 存储器、 总线和传感器; 所述 处理器、存储器及传感器通过所述总线相互连接;所述传感器用于获取传感数据; 所述存储器用于存储计算机执行指令; 当所述终端运行时, 所述处理器执行所述 存储器存储的所述计算机执行指令,将所述传感数据与预先注册的识别模式进行 匹配; 如果所述传感数据与所述识别模式中的一个或者多个所述识别模式相匹 配, 则获取相匹配的识别模式的响应操作; 执行所述响应操作。

14、 根据权利要求 13所述的终端, 其特征在于, 所述识别模式包括: 识别 规则和所述响应操作;

其中, 所述识别规则包括: 单传感器识别规则和 /或多传感器识别规则; 其中, 单传感器识别规则是对应一个传感器获取的一个传感数据建立的规 则;

多传感器识别规则是对应多个传感器获取的多个传感数据建立的综合规则。

15、 根据权利要求 14所述的终端, 其特征在于, 所述处理器将所述传感数 据与预先注册的识别模式进行匹配, 具体包括:

所述处理器将所述传感数据与所述识别模式的单传感器识别规则和 /或多传 感器识别规则进行匹配;

贝 U, 所述传感数据与所述识别模式中的一个或者多个所述识别模式相匹配, 具体包括: 所述传感数据符合所述识别模式的单传感器识别规则和 /或多传感器识别规 则。

16、 根据权利要求 13-15中任一项所述的终端, 其特征在于, 所述处理器还 用于: 开启所述传感器;

其中, 所述处理器开启所述传感器的方法包括:

所述处理器开启程序;

所述处理器根据所述程序, 注册与所述程序对应的识别模式;

所述处理器根据所述识别模式开启所述传感器。

17、 根据权利要求 16所述的终端, 其特征在于, 所述处理器执行所述响应 操作, 具体包括:

被开启的所述程序, 执行与所述程序对应的识别模式的所述响应操作; 其中, 所述响应操作是所述被开启的所述程序能够执行的操作。

18、 根据权利要求 16或 17所述的终端, 其特征在于, 所述程序包括: 系统 级的程序和 /或应用级的程序;

其中, 所述系统级的程序是所述终端设备开启时, 同时启动的程序; 所述应用级的程序是所述终端设备根据用户的输入开启的程序;

当所述程序是所述应用级的程序时, 所述处理器还用于:

关闭所述应用级的程序;

注销与被关闭的所述应用级的程序对应的所述识别模式;

关闭与被注销的所述识别模式对应的所述传感器。

19、 根据权利要求 16-18中任一项所述的终端, 其特征在于, 所述处理器根 据所述程序, 注册与所述程序对应的识别模式, 具体包括:

所述处理器根据所述程序, 在程序框架中注册与所述程序对应的识别模式。

Description:
一种终端设备识别用户手势的方法和设备

技术领域 本发明涉及通信技术领域, 特别涉及一种终端设备识别用户手势的方法和 设 备。 背景技术 目前, 用户通过触摸屏进行信息交互已经成为了终端 交互方式的主流, 当今 市面主流的智能手机与平板电脑都具备触摸屏 。 经过多年的培养, 用户已逐渐学 会并习惯于通过手势进行与终端设备之间的人 机交互。用户通过单点、多点触摸, 结合各类直观、 生动的手势, 可以轻松完成手机上的各类任务。

现有技术中, 对于用户手势的识别主要集中在以下几种情形 :

( 1 ) 通过触摸屏对触摸点位置与位移的识别完成手 势识别。

现有触屏手势都是需要使用若干根手指对屏幕 进行点击和移动完成。 主要的 触屏包括: 用手指点击屏幕的特定位置并拿起 (Tap );, 用手指长时间按住屏幕 特定位置 (Long press); 手指点击屏幕并朝特定方向滑动后拿起 (Swipe); 两个 手指在屏幕上按下并以两指朝外或者朝内移动 后拿起(Pinch); 两指按在屏幕上, 旋转两指并拿起 ( Rotate)。

然而, 触屏识别无法突破手势必须接触屏幕的限制, 当屏幕或者用户的手较 脏的时候, 手势识别的准确度与可用性就会降低。 而且, 使用触屏来进行手势识 别技术的局限性必然对手势设计做出限制, 影响了手势的丰富性、 可用性与易用 性。 用户在终端上需要进行的操作种类越来越多, 触屏识别的限制使得许多更直 观的手势无法被识别出来。

( 2) 为了避免触屏识别的限制, 微软公司使用 CMOS红外传感器, 该传感 器可以使得无论周围环境的光照条件如何, 都可以感知外部环境。 该传感器通过 黑白光谱的方式来感知环境: 纯黑代表无穷远, 纯白代表无穷近。 黑白间的灰色 地带对应物体到传感器的物理距离。 它收集视野范围内的每一点, 并形成一幅代 表周围环境的景深图像。传感器以每秒 30帧的速度生成景深图像流, 实时 3D地 再现周围环境。 在此基础上, 可以识别人类手势并创造出与人类自然手势不 冲突 的操作手势集。 然而, 该种识别手势技术基于客厅场景, 操作者与传感器的距离通常在 10 英寸以上, 可见, 不适用于手持终端的操作场景。 此外, 该手势识别所使用的传 感器比现有手持终端使用的传感器更为复杂, 功耗较高, 因此, 不适宜在手持终 端中采用。

可见, 现有技术中, 终端对于用户手势识别的准确性仍然较为低下 。 发明内容 本发明的实施例中提供了一种终端设备识别用 户手势的方法和设备, 以提高终 端对于用户手势识别的准确性。

为了解决上述技术问题, 本发明实施例公开了如下技术方案:

第一方面, 提供一种终端设备识别用户手势的方法, 包括:

终端设备的传感器获取传感数据;

所述终端设备将所述传感数据与预先注册的识 别模式进行匹配;

如果所述传感数据与所述识别模式中的一个或 者多个所述识别模式相匹配,则所 述终端设备获取相匹配的识别模式的响应操作 ;

所述终端设备执行所述响应操作。

结合上述第一方面, 在第一种可能的实现方式中, 所述识别模式包括: 识别规则 和所述响应操作;

其中, 所述识别规则包括: 单传感器识别规则和 /或多传感器识别规则; 其中, 单传感器识别规则是对应一个传感器获取的一 个传感数据建立的规则; 多传感器识别规则是对应多个传感器获取的多 个传感数据建立的综合规则。 结合上述第一方面, 和第一种可能的实现方式, 在第二种可能的实现方式中, 所 述终端设备将所述传感数据与预先注册的识别 模式进行匹配, 具体包括:

所述终端设备将所述传感数据与所述识别模式 的单传感器识别规则和 /或多传感 器识别规则进行匹配;

贝 ij,所述传感数据与所述识别模式中的一个或 多个所述识别模式相匹配, 具体 包括:

所述传感数据符合所述识别模式的单传感器识 别规则和 /或多传感器识别规则。 结合上述第一方面, 和第一、第二种可能的实现方式, 在第三种可能的实现方式 中, 在所述终端设备的传感器获取传感数据之前, 所述方法还包括:

所述终端设备开启所述传感器; 其中, 所述终端设备开启所述传感器的方法包括:

所述终端设备开启程序;

所述终端设备根据所述程序, 注册与所述程序对应的识别模式;

所述终端设备根据所述识别模式开启所述传感 器。

结合上述第一方面, 和第三种可能的实现方式, 在第四种可能的实现方式中, 所 述终端设备执行所述响应操作, 具体包括:

所述终端设备的被开启的所述程序,执行与所 述程序对应的识别模式的所述响应 操作;

其中, 所述响应操作是所述被开启的所述程序能够执 行的操作。

结合上述第一方面, 和第三、第四种可能的实现方式, 在第五种可能的实现方式 中, 所述程序包括: 系统级的程序和 /或应用级的程序;

其中, 所述系统级的程序是所述终端设备开启时, 同时启动的程序; 所述应用级的程序是所述终端设备根据用户的 输入开启的程序;

当所述程序是所述应用级的程序时, 所述方法还包括:

所述终端设备关闭所述应用级的程序;

所述终端设备注销与被关闭的所述应用级的程 序对应的所述识别模式; 所述终端设备关闭与被注销的所述识别模式对 应的所述传感器。

结合上述第一方面,和第三至第五种可能的实 现方式,在第六种可能的实现方式 中, 所述终端设备根据所述程序, 注册与所述程序对应的识别模式, 具体包括: 所述终端设备根据所述程序, 在程序框架中注册与所述程序对应的识别模式 。 第二方面, 提供一种终端, 包括:

传感数据获取模块, 用于通过传感器获取传感数据;

匹配模块, 用于将所述传感数据与预先注册的识别模式进 行匹配;

响应操作获取模块,用于如果所述传感数据与 所述识别模式中的一个或者多个所 述识别模式相匹配, 则所述终端设备获取相匹配的识别模式的响应 操作;

响应操作执行模块, 用于执行所述响应操作。

结合上述第二方面, 在第一种可能的实现方式中,

结合上述第二方面, 在第一种可能的实现方式中, 所述识别模式包括: 识别规则 和所述响应操作;

其中, 所述识别规则包括: 单传感器识别规则和 /或多传感器识别规则; 其中, 单传感器识别规则是对应一个传感器获取的一 个传感数据建立的规则; 多传感器识别规则是对应多个传感器获取的多 个传感数据建立的综合规则。 结合上述第二方面, 和第一种可能的实现方式, 在第二种可能的实现方式中, 所 述匹配模块, 包括:

第一匹配模块,用于将所述传感数据与所述识 别模式的单传感器识别规则进行匹 配;

第二匹配模块,用于将所述传感数据与所述识 别模式的多传感器识别规则进行匹 配。

结合上述第二方面, 和第一、第二种可能的实现方式, 在第三种可能的实现方式 中, 还包括:

传感器开启模块, 用于开启所述传感器;

所述传感器开启模块, 具体包括:

程序开启单元, 用于开启程序;

识别模式注册单元, 用于根据所述程序, 注册与所述程序对应的识别模式; 传感器开启单元, 用于根据所述识别模式开启所述传感器。

结合上述第二方面, 和第三种可能的实现方式, 在第四种可能的实现方式中, 所 述程序包括: 系统级的程序和 /或应用级的程序;

其中, 所述系统级的程序是所述终端设备开启时, 同时启动的程序;

所述应用级的程序是所述终端设备根据用户的 输入开启的程序;

当所述程序是所述应用级的程序时, 所述终端还包括:

程序关闭模块, 用于关闭所述应用级的程序;

识别模式注销模块, 用于注销与被关闭的所述应用级的程序对应的 所述识别模 式;

传感器关闭模块, 用于关闭与被注销的所述识别模式对应的所述 传感器。

第三方面, 提供一种终端, 包括: 处理器、存储器、 总线和传感器; 所述处理器、 存储器及传感器通过所述总线相互连接; 所述传感器用于获取传感数据; 所述存储器 用于存储计算机执行指令; 当所述终端运行时,所述处理器执行所述存储 器存储的所 述计算机执行指令,将所述传感数据与预先注 册的识别模式进行匹配; 如果所述传感 数据与所述识别模式中的一个或者多个所述识 别模式相匹配,则获取相匹配的识别模 式的响应操作; 执行所述响应操作。

结合上述第三方面, 在第一种可能的实现方式中, 所述识别模式包括: 识别规则 和所述响应操作; 其中, 所述识别规则包括: 单传感器识别规则和 /或多传感器识别规则; 其中, 单传感器识别规则是对应一个传感器获取的一 个传感数据建立的规则; 多传感器识别规则是对应多个传感器获取的多 个传感数据建立的综合规则。 结合上述第三方面, 和第一种可能的实现方式, 在第二种可能的实现方式中, 所 述处理器将所述传感数据与预先注册的识别模 式进行匹配, 具体包括:

所述处理器将所述传感数据与所述识别模式的 单传感器识别规则和 /或多传感器 识别规则进行匹配;

贝 U,所述传感数据与所述识别模式中的一个或 多个所述识别模式相匹配, 具体 包括:

所述传感数据符合所述识别模式的单传感器识 别规则和 /或多传感器识别规则。 结合上述第三方面, 和第一、第二种可能的实现方式, 在第三种可能的实现方式 中, 所述处理器还用于: 开启所述传感器;

其中, 所述处理器开启所述传感器的方法包括:

所述处理器开启程序;

所述处理器根据所述程序, 注册与所述程序对应的识别模式;

所述处理器根据所述识别模式开启所述传感器 。

结合上述第三方面, 和第三种可能的实现方式, 在第四种可能的实现方式中, 所 述处理器执行所述响应操作, 具体包括:

被开启的所述程序, 执行与所述程序对应的识别模式的所述响应操 作; 其中, 所述响应操作是所述被开启的所述程序能够执 行的操作。

结合上述第三方面, 和第三、第四种可能的实现方式, 在第五种可能的实现方式 中, 所述程序包括: 系统级的程序和 /或应用级的程序;

其中, 所述系统级的程序是所述终端设备开启时, 同时启动的程序; 所述应用级的程序是所述终端设备根据用户的 输入开启的程序;

当所述程序是所述应用级的程序时, 所述处理器还用于:

关闭所述应用级的程序;

注销与被关闭的所述应用级的程序对应的所述 识别模式;

关闭与被注销的所述识别模式对应的所述传感 器。

结合上述第三方面,和第三至第五种可能的实 现方式,在第六种可能的实现方式 中, 所述处理器根据所述程序, 注册与所述程序对应的识别模式, 具体包括:

所述处理器根据所述程序, 在程序框架中注册与所述程序对应的识别模式 。 本发明实施例中, 在终端设备内部设置传感器, 并在终端内部预先注册相应的识 别模式, 当用户在终端设备前做出操作终端的隔空手势 时, 终端设备可以将传感器接 收到的手势传感数据, 与预先注册相应的识别模式进行匹配, 如果所述传感数据与所 述识别模式中的一个或者多个所述识别模式相 匹配, 则终端可以识别当前用户的手 势, 并根据所述手势进行相应的响应操作。 可见, 由于通过传感器接收用户的手势, 用户无需用手指接触屏幕, 使得用户的手势操作不受必须接触屏幕的限制 , 同时, 大 大提高终端对用户手势识别的准确性。 附图说明 为了更清楚地说明本发明实施例或现有技术中 的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍 , 显而易见地, 下面描述中的附图仅仅 是本发明的一些实施例,对于本领域普通技术 人员来讲,在不付出创造性劳动性的前 提下, 还可以根据这些附图获得其他的附图。

图 1所示为本发明实施例的一个识别用户手势的 法的流程图;

图 2所示为本发明实施例中的隔空手势示意图;

图 3所示为本发明实施例的另一个识别用户手势 方法的流程图;

图 4所示为本发明实施例中终端设备开启传感器 方法流程图;

图 5所示为本发明实施例的一个终端结构示意图

图 6所示为本发明实施例的另一个终端结构示意 ;

图 7所示为本发明实施例的又一个终端结构示意 ;

图 8所示为本发明实施例中终端的软硬件结构示 图;

图 9所示为基于图 8终端进行手势识别的流程图;

图 10所示为本发明实施例的相机识别用户手势的 程图;

图 11所示为本发明实施例的基于计算机系统识别 户手势的终端示意图。 具体实施方式 为了使本技术领域的人员更好地理解本发明实 施例中的技术方案,并使本发明实 施例的上述目的、特征和优点能够更加明显易 懂, 下面结合附图对本发明实施例中技 术方案作进一步详细的说明。

下面结合附图详细说明本发明的技术方案。首 先, 介绍本发明提供的控制用户设 备驻留小区的方法, 参见图 1, 为本发明提供的一个终端设备识别用户手势的 方法实施例, 该方法 包括以下执行步骤:

步骤 101、 终端设备的传感器获取传感数据。

本发明实施例中, 终端设备设置有能够感应用户手势的各种感应 器。用户在使用 终端时, 无需用手指接触屏幕, 只需在终端前预置距离范围内做出相应的隔空 手势, 即可由设置在终端内部的传感器接收这些手势 , 并将所述手势转换为对应的传感数 据。

具体实现过程中, 隔空手势可以如图 2所示, 包括: 挥, 拍, 上抬, 下压几种, 在不同的用户应用场景中,终端的操作系统和 应用程序可以为这些手势赋予不同的含 义, 实现在不影响现有触屏手势的识别和使用的基 础上扩展更多的人机交互手势集。

所述传感器可以内置在终端的硬件中; 或者, 设置在终端外部, 通过设置在终端 上的接口与终端进行连接。具体地,所述传感 器可以包括:距离传感器、光线传感器、 摄像头、 陀螺仪、 三维加速度计等。 通过使用多种类型的传感器, 综合识别用户的手 势与动作,使得用户的手势的识别不再受单一 传感器或触屏等单一原件的束缚,从而, 用户手势操作更加方便与直观。

步骤 102、 所述终端设备将所述传感数据与预先注册的识 别模式进行匹配。 本发明实施例中,终端设备内部预先注册识别 模式。通过预先注册不同识别模式, 记录下终端设备可以识别的用户不同手势。

当终端设备接收到传感器接获取到的用户手势 对应的传感数据时,需要将该传感 器数据与预先注册的识别模式进行匹配,以确 定当前接收到的用户手势是否为终端可 以识别的手势。

步骤 103、如果所述传感数据与所述识别模式中的一 个或者多个所述识别模式相 匹配, 则所述终端设备获取相匹配的识别模式的响应 操作。

该步骤中,通过将该传感数据与预先注册的识 别模式进行匹配,可以确定当前接 收到的用户手势是否为终端可以识别的手势。 具体地, 如果所述传感数据与所述识别 模式中的一个或者多个所述识别模式相匹配, 则终端可以识别当前用户的手势,进而, 根据识别出的手势, 获取相应的响应操作; 而如果该传感器数据与预先注册的识别模 式均不匹配, 则终端不能识别当前用户的手势, 进而, 不需对当前用户的手势进行响 应操作。

步骤 104、 所述终端设备执行所述响应操作。

该步骤中, 当所述终端获取到相匹配的响应操作之后, 即可根据响应操作的具体 内容, 执行相应操作。

所述相应操作即: 根据用户手势, 控制终端实现相应的调节功能, 例如: 根据用 户手势, 实现摄像头的变焦。

本发明实施例中,在终端设备内部设置传感器 , 并在终端内部预先注册相应的识 别模式, 当用户在终端设备前做出操作终端的隔空手势 时, 终端设备可以将传感器接 收到的手势传感数据, 与预先注册相应的识别模式进行匹配, 如果所述传感数据与所 述识别模式中的一个或者多个所述识别模式相 匹配, 则终端可以识别当前用户的手 势, 并根据所述手势进行相应的响应操作。 可见, 由于通过传感器接收用户的手势, 用户无需用手指接触屏幕, 使得用户的手势操作不受必须接触屏幕的限制 , 同时, 大 大提高终端对用户手势识别的准确性。

为了便于对本发明技术方案的进一步理解,下 面对本发明技术方案的相关实现方 式进行详细说明。

本发明实施例中,所述识别模式具体可以包括 :识别规则和所述响应操作。其中, 所述识别规则具体包括: 单传感器识别规则和 /或多传感器识别规则。 此处, 单传感 器识别规则是对应一个传感器获取的一个传感 数据建立的规则;多传感器识别规则是 对应多个传感器获取的多个传感数据建立的综 合规则。

本发明实施例中, 所述终端设备将所述传感数据与预先注册的识 别模式进行匹 配, 具体包括: 所述终端设备将所述传感数据与所述识别模式 的单传感器识别规则和 /或多传感器识别规则进行匹配;

贝 ij,所述传感数据与所述识别模式中的一个或 多个所述识别模式相匹配, 具体 包括: 所述传感数据符合所述识别模式的单传感器识 别规则和 /或多传感器识别规则。

具体应用时, 一个识别模式可能对应多个传感器的开启, 如表 1所示。

表 1 识别模式与开启传感器的对应关系

使用到的传感器 识别模式

前摄像头 后摄像头 加速度计 距离传感器 陀螺仪

传感器

MR001 是 是 是

MR002 是 是 是

MR003 是 是 是 MR004 是 是 是 表 2示出的为识别模式 MR001下对应每个传感器的识别规则。

表 2 识别模式 MR001下对应每个传感器的识别规则

每个识别模式(例如: MR001 ) 内可以有多个子模式, 这些子模式往往是采用同 样的传感器组合进行识别后所产生的不同结果 。

以识别模式 MR001为例, 如果光线传感器符合规则 1, 距离传感器符合规则 1, 则继续判断前摄像头符合何种规则; 如果前摄像头也符合规则 1, 则子模式 1匹配成 功; 否则, 模式匹配失败。 如果光线传感器符合规则 2, 距离传感器符合规则 2, 则 继续判断前摄像头符合何种规则;如果前摄像 头也符合规则 2,则子模式 2匹配成功; 否则, 模式匹配失败。

进而, 按照表 3, 执行对应子模式的响应操作。

为了避免传感器的错误开启, 在本发明提供的一个实施例中, 如图 3所示, 在所 述终端设备的传感器获取传感数据之前, 所述方法还包括:

步骤 105、 所述终端设备开启所述传感器。

通过该步骤, 实现对传感器开启的控制。

具体地, 如图 4所示, 所述终端设备开启所述传感器的方法可以包括 : 步骤 401、 所述终端设备开启程序;

步骤 402、 所述终端设备根据所述程序, 注册与所述程序对应的识别模式; 步骤 403、 所述终端设备根据所述识别模式开启所述传感 器。

该实现方式下,与所述程序对应的识别模式的 所述响应操作则由所述终端的被开 启的所述程序执行; 其中, 所述响应操作是所述被开启的所述程序能够执 行的操作。

需要说明的是, 本发明实施例中, 所述程序具体包括: 系统级的程序以及应用级 的程序; 其中, 所述系统级的程序是所述终端设备开启时, 同时启动的程序; 所述应 用级的程序是所述终端设备根据用户的输入开 启的程序。

当所述程序是所述应用级的程序时,如果所述 终端设备不需要对用户手势进行识 另 ij, 则所述终端设备可以关闭所述应用级的程序, 并且, 注销与被关闭的所述应用级 的程序对应的所述识别模式,最终,所述终端 设备关闭与被注销的所述识别模式对应 的所述传感器。

另外, 本发明实施例中, 所述终端设备根据所述程序, 在程序框架中注册与所述 程序对应的识别模式。

该实现方式下, 可以在终端设备内部设置应用程序框架。通常 , 应用程序框架设 置于终端操作系统上层。终端设备内部系统级 的程序以及应用级的程序可以与所述应 用程序框架发生交互, 通过所述应用程序框架来调用两种程序的各种 功能。

相应地, 本发明还提供了一种终端。

如图 5所示, 为本发明提供的一个实施例中终端的结构示意 图。该终端具体可以 包括:

传感数据获取模块 501, 用于通过传感器获取传感数据;

匹配模块 502, 用于将所述传感数据与预先注册的识别模式进 行匹配; 响应操作获取模块 503, 用于如果所述传感数据与所述识别模式中的一 个或者多 个所述识别模式相匹配, 则所述终端设备获取相匹配的识别模式的响应 操作;

响应操作执行模块 504, 用于执行所述响应操作。

该终端设备中, 设置有能够感应用户手势的各种感应器。用户 在使用终端时, 无 需用手指接触屏幕, 只需在终端前预置距离范围内做出相应的隔空 手势, 即可由设置 在终端内部的传感器接收这些手势, 并将所述手势转换为对应的传感数据。所述传 感 器可以内置在终端的硬件中; 或者, 设置在终端外部, 通过设置在终端上的接口与终 端进行连接。 具体地, 所述传感器可以包括: 距离传感器、 光线传感器、 摄像头、 陀 螺仪、 三维加速度计等。 终端设备内部预先注册识别模式。通过预先注 册不同识别模式, 记录下终端设备 可以识别的用户不同手势。当传感数据获取模 块获取传感数据之后,通过匹配模块将 该传感器数据与预先注册的识别模式进行匹配 ,以确定当前接收到的用户手势是否为 终端可以识别的手势。如果所述传感数据与所 述识别模式中的一个或者多个所述识别 模式相匹配, 则终端可以识别当前用户的手势, 进而, 根据识别出的手势, 通过响应 操作获取模块获取相应的响应操作。最终, 通过响应操作执行模块, 根据响应操作的 具体内容, 执行相应操作。

本发明实施例中,在终端设备内部设置传感器 , 并在终端内部预先注册相应的识 别模式, 当用户在终端设备前做出操作终端的隔空手势 时, 终端设备可以将传感器接 收到的手势传感数据, 与预先注册相应的识别模式进行匹配, 如果所述传感数据与所 述识别模式中的一个或者多个所述识别模式相 匹配, 则终端可以识别当前用户的手 势, 并根据所述手势进行相应的响应操作。 可见, 由于通过传感器接收用户的手势, 用户无需用手指接触屏幕, 使得用户的手势操作不受必须接触屏幕的限制 , 同时, 大 大提高终端对用户手势识别的准确性。

对于上述终端, 所述识别模式具体可以包括: 识别规则和所述响应操作。 其中, 所述识别规则具体包括: 单传感器识别规则和 /或多传感器识别规则。 此处, 单传感 器识别规则是对应一个传感器获取的一个传感 数据建立的规则;多传感器识别规则是 对应多个传感器获取的多个传感数据建立的综 合规则。

在本发明一个具体实施例中, 一个识别模式可能对应一个或多个传感器的开 启。 由此, 所述匹配模块, 具体可以包括:

第一匹配模块,用于将所述传感数据与所述识 别模式的单传感器识别规则进行匹 配;

第二匹配模块,用于将所述传感数据与所述识 别模式的多传感器识别规则进行匹 配。

为了避免传感器的错误开启, 在另一个终端实施例中, 如图 6所示, 该终端还可 以包括:

传感器开启模块 505, 用于开启所述传感器.

通过设置传感器开启模块, 实现对传感器开启的控制。只有在该传感器开 启模块 开启之后, 终端内设置的传感器才开始采集用户的手势。

具体实现过程中, 所述开启模块, 可以包括:

程序开启单元, 用于开启程序; 识别模式注册单元, 用于根据所述程序, 注册与所述程序对应的识别模式; 传感器开启单元, 用于根据所述识别模式开启所述传感器。

此处,与所述程序对应的识别模式的所述响应 操作则由所述终端的被开启的所述 程序执行; 其中, 所述响应操作是所述被开启的所述程序能够执 行的操作。

需要说明的是, 本发明实施例中, 所述程序具体包括: 系统级的程序及应用级的 程序; 其中, 所述系统级的程序是所述终端设备开启时, 同时启动的程序; 所述应用 级的程序是所述终端设备根据用户的输入开启 的程序。 所述终端设备根据所述程序, 在内部设置的程序框架中注册与所述程序对应 的识别模式。

当所述程序是所述应用级的程序时, 如图 7所示, 还可以在所述终端中设置: 程序关闭模块 506, 用于关闭所述应用级的程序;

识别模式注销模块 507, 用于注销与被关闭的所述应用级的程序对应的 所述识别 模式;

传感器关闭模块 508, 用于关闭与被注销的所述识别模式对应的所述 传感器。 为了便于对本发明的理解,下面通过具体应用 场景对上述技术方案进行进一步解 释说明。

图 8所示为终端的软硬件结构示意图。其中,硬 传感器可以包括:距离传感器、 光线传感器、 摄像头、 陀螺仪、 三维加速度计等; 传感器驱动程序为 OS ( Operation System, 操作系统) 底层中包含的传感器驱动程序, 用于解读传感器传回的数据, 并转换成上层应用程序可以识别的数据格式; 应用程序框架, 预置有手势模式数据, 当收集到传感器驱动程序生成的传感器数据之 后, 根据系统设置与系统程序或应用 程序注册情况, 识别当前传感器数据是否符合特定的识别模式 , 当传感器数据符合 相应识别模式的时候, 应用程序框架将给注册了该模式的应用程序或 者系统程序发 送手势事件; 系统程序为常驻终端内存的系统级应用程序, 系统程序在开机时自动 启动, 并在开启的时候即向应用程序框架注册相应的 手势事件; 应用程序为非常驻 的一般应用程序, 一般由用户手动启动, 在用户手动启动该应用程序时, 将在应用 程序框架中, 注册相应的手势事件。

基于图 8所示的终端,该终端进行手势识别的流程如 9所示。该流程中,包括: 步骤 901、 各个硬件传感器收集到用户手势对应的传感器 数据后, 发送给传感器 驱动程序;

步骤 902、传感器驱动程序根据系统设定的精度要求 筛选剔除部分无用的传感数 据; 步骤 903、 传感器驱动程序将识别传感器数据中的有效部 分, 将该部分有效的传 感器数据整理成特定格式, 发送到应用程序框架。

步骤 904、 应用程序框架根据系统程序与应用程序的注册 情况, 进行相应模式识 别匹配;

步骤 905、应用程序框架在模式识别匹配后向相应的 系统程序或应用程序发送识 别出的手势事件;

步骤 906、 相应的系统程序或应用程序根据接收到的手势 事件执行响应操作。 通常, 系统程序与应用程序需要在应用程序框架注册 才能接收到相应的手势事 件。 下面以应用程序注册为例, 说明应用程序在应用程序框架注册的流程。

在应用程序首次启动的时候,应用程序将在应 用程序框架中注册相关的手势模式 数据应用程序框架需要检查传感器是否已经打 开, 如果传感器没有打开, 则打开传 感器; 当检测到所需要的传感器已经打开, 且手势模式数据注册成功之后, 应用程 序框架向完成注册的应用程序发送相应的反馈 消息。

当应用程序切换至后台时,可以取消其在应用 程序框架中的注册, 则应用程序框 架检查是否有已打开的传感器不被使用, 如果有, 则向该传感器驱动程序发出指令 以关闭该传感器。 当应用重新切换回前台时, 该应用程序需要重新向应用程序框架 发送注册信息, 具体过程同上, 此处不再进行赘述。

当应用程序最终需要退出时, 也需要取消其在应用程序框架中的注册, 则应用程 序框架检查是否有已打开的传感器不被使用, 如果有, 则向该传感器驱动程序发出 指令以关闭该传感器。

对于应用程序框架,其上完成注册的程序可以 以程序注册列表形式进行存储。该 列表如下表 4所示。

表 4 程序注册列表

其中, MR001... ...分别表示对于程序的不同手势模式。当应用 程序框架识别出相应的 手势模式时, 即按照该列表找到注册了该模式的所有程序, 因此, 可以向相应的各个 程序发送该手势事件。

对于不同手势模式, 可能需要使用不同的传感器。

下面以用户通过手势缩放控制终端上相机变焦 为例, 如图 10所示, 说明识别该 用户手势的整个过程。

步骤 1001、 用户打开相机程序;

步骤 1002、 相机程序在应用程序框架中注册手势缩放模式 数据;

步骤 1003、 应用程序框架向相关传感器驱动程序发出启动 指令;

步骤 1004、 相关传感器驱动程序开启相应的传感器;

步骤 1005、 相关传感器驱动程序向应用程序框架发送传感 器启动成功的反馈消 息;

步骤 1006、 应用程序框架向相机程序发送注册成功的反馈 消息;

步骤 1007、 用户在相机前使用缩小手势;

步骤 1008、 相应传感器向传感器驱动程序发送用户手势操 作信号;

步骤 1009、 传感器驱动程序进行各传感器发送信号的整理 , 传递至应用程序框 架;

步骤 1010、 应用程序框架将传感器数据与预置的手势模式 数据进行匹配, 成功 识别该用户的手势;

步骤 1011、 应用程序框架将识别结果反馈至相机程序;

步骤 1012、 相机程序通过显示界面的改变, 对用户的手势进行反馈。

如图 11所示, 本发明还提供了一种基于计算机系统识别用户 手势的终端, 具体 实现中, 本发明实施例的终端可以包括: 处理器 1101、 存储器 1102、 总线 1103和传 感器 1104; 所述处理器 1101、 存储器 1102及传感器 1104通过所述总线 1103相互连 接;所述传感器 1103用于获取传感数据;所述存储器 1102用于存储计算机执行指令; 当所述终端运行时,所述处理器 1101执行所述存储器 1102存储的所述计算机执行指 令, 使得所述终端实现以下操作: 将所述传感数据与预先注册的识别模式进行匹 配; 如果所述传感数据与所述识别模式中的一个或 者多个所述识别模式相匹配,则获取相 匹配的识别模式的响应操作; 执行所述响应操作。 对于该终端, 所述识别模式包括: 识别规则和所述响应操作; 其中, 所述识别规 则包括: 单传感器识别规则和 /或多传感器识别规则; 其中, 单传感器识别规则是对 应一个传感器获取的一个传感数据建立的规则 ;多传感器识别规则是对应多个传感器 获取的多个传感数据建立的综合规则。

具体实现过程中, 所述处理器将所述传感数据与预先注册的识别 模式进行匹配, 具体包括: 所述处理器将所述传感数据与所述识别模式的 单传感器识别规则和 /或多 传感器识别规则进行匹配;

贝 U,所述传感数据与所述识别模式中的一个或 多个所述识别模式相匹配, 具体 包括:

所述传感数据符合所述识别模式的单传感器识 别规则和 /或多传感器识别规则。 此外, 所述处理器还用于: 开启所述传感器。

其中, 所述处理器开启所述传感器的方法包括:

所述处理器开启程序;

所述处理器根据所述程序, 注册与所述程序对应的识别模式;

所述处理器根据所述识别模式开启所述传感器 。 所述处理器执行所述响应操作, 具体包括: 被开启的所述程序, 执行与所述程序 对应的识别模式的所述响应操作; 其中,所述响应操作是所述被开启的所述程序 能够 执行的操作。

需要说明的是, 所述程序包括: 系统级的程序和 /或应用级的程序。 其中, 所述 系统级的程序是所述终端设备开启时, 同时启动的程序; 所述应用级的程序是所述终 端设备根据用户的输入开启的程序。

当所述程序是所述应用级的程序时, 所述处理器还用于:

关闭所述应用级的程序;

注销与被关闭的所述应用级的程序对应的所述 识别模式;

关闭与被注销的所述识别模式对应的所述传感 器。 并且, 所述处理器根据所述程序, 注册与所述程序对应的识别模式, 具体包括: 所述处理器根据所述程序, 在程序框架中注册与所述程序对应的识别模式 。

本发明实施例中, 处理器可以是中央处理器(central processing unit, CPU)、 专用 集成电路 (application-specific integrated circuit, ASIC) 等。 计算机存储介质可存储有程序,该程序执行时 可包括本发明实施例提供的数据传 输的方法的各实施例中的部分或全部步骤。所 述的存储介质可为磁碟、光盘、 只读存 储记忆体 (Read-Only Memory, ROM)或随机存储记忆体(Random Access Memory, RAM) 等。

本领域普通技术人员可以意识到,结合本文中 所公开的实施例描述的各示例的单 元及算法步骤, 能够以电子硬件、 或者计算机软件和电子硬件的结合来实现。这 些功 能究竟以硬件还是软件方式来执行,取决于技 术方案的特定应用和设计约束条件。专 业技术人员可以对每个特定的应用来使用不同 方法来实现所描述的功能,但是这种实 现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到,为描 述的方便和简洁,上述描述的系统、 装置和单元的具体工作过程,可以参考前述方 法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中, 应该理解到, 所揭露的系统、 装置和方法, 可 以通过其它的方式实现。 例如, 以上所描述的装置实施例仅仅是示意性的, 例如, 所 述单元的划分, 仅仅为一种逻辑功能划分, 实际实现时可以有另外的划分方式, 例如 多个单元或组件可以结合或者可以集成到另一 个系统, 或一些特征可以忽略, 或不执 行。另一点,所显示或讨论的相互之间的耦合 或直接耦合或通信连接可以是通过一些 接口, 装置或单元的间接耦合或通信连接, 可以是电性, 机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可 以不是物理上分开的,作为单元显 示的部件可以是或者也可以不是物理单元, 即可以位于一个地方, 或者也可以分布到 多个网络单元上。可以根据实际的需要选择其 中的部分或者全部单元来实现本实施例 方案的目的。

另外,在本发明各个实施例中的各功能单元可 以集成在一个处理单元中, 也可以 是各个单元单独物理存在, 也可以两个或两个以上单元集成在一个单元中 。

所述功能如果以软件功能单元的形式实现并作 为独立的产品销售或使用时,可以 存储在一个计算机可读取存储介质中。基于这 样的理解,本发明的技术方案本质上或 者说对现有技术做出贡献的部分或者该技术方 案的部分可以以软件产品的形式体现 出来, 该计算机软件产品存储在一个存储介质中,包 括若干指令用以使得一台计算机 设备 (可以是个人计算机, 服务器, 或者网络设备等) 或处理器 (processor)执行本 发明各个实施例所述方法的全部或部分步骤。 而前述的存储介质包括: U盘、移动硬 盘、只读存储器(ROM, Read-Only Memory ) 随机存取存储器(RAM, Random Access Memory), 磁碟或者光盘等各种可以存储程序代码的介质 。

以上所述, 仅为本发明的具体实施方式, 但本发明的保护范围并不局限于此, 任 何熟悉本技术领域的技术人员在本发明揭露的 技术范围内, 可轻易想到变化或替换, 都应涵盖在本发明的保护范围之内。因此,本 发明的保护范围应所述以权利要求的保 护范围为准。