技术领域

本发明涉及一种腕上手势操控系统和方法， 特别是一种用于手机与电 脑等电子产品和各种机电设备操控的腕表型手 势识别系统。 背景技术

目前， 各种电子产品和机电设备的操控方式存在以下 问题： （1 )手机 的控制设备有按键、 触摸屏， 电脑则用鼠标、 键盘、 手写板等控制， 综合 来看目前只应用了点击、 拖动等筒单动作。 但是人对外界所有的机械、 电 脑、 手机等实物工具的操作控制， 都由手来完成， 手作为人体主要的输出 媒介， 大部分的动作则还没有被开发使用； （2 ) 当前大部分的机电设备， 如数控机床、 挖掘机械等工业机械、 各种汽车等交通工具、 冰箱电视等家 用电器、 游戏娱乐设备、 教学科研设备、 医疗器械甚至是未来应用的物联 网设备， 都是由手部动作控制， 但操纵时， 人都必须亲自用手来操纵， 很 难实现远程操控和虚拟操控， 或者有些实现了远程控制，但不能便携使用。 如果能实现便携的远程操控和虚拟操控， 必定会带来新的技术进步和更大 的发展前景； （ 3 )虽然目前有些电子科技公司， 使用了体感控制， 以及一 些手势控制方式， 但由于设计本身的用来感测动作的传感器和摄 像装置， 固定在电脑或者桌面上， 而人体经常会移动， 这就造成了无法携带的使用 困难， 也失去了应用前景； （4 ) 当前的一些手势识别装置， 都是基于触摸 屏幕， 比如平板电脑和手机， 它们能够采集的信息量很少， 只占手部所有 运动的一小部分。 或者， 有些设备通过身体佩戴的方式识别手势， 虽然提 高了便携性， 但会造成干扰识别的物体过多， 图像不稳定， 算法复杂等技 术难题。 如果要保证手势识别的信息完整性和准确性， 系统就无法筒化， 设备体积较大， 自然无法便携式使用。 发明内容 本发明的目的在于实现手势识别技术的小型化 、 便携化与算法的精筒 优化， 提供一种通过基于腕上的摄像设备来筒化手势 动作识别的新系统。

本发明在第一方面提供一种腕上手势操控系统 ，该系统包括腕表部分， 腕表部分包括控制主模块和位于手腕部的手势 采集模块； 所述手势采集模 块采集手指的图像； 所述控制主模块根据所述手指的图像， 计算指尖位置 坐标， 进而确定当前手势识别信息

优选地， 所述腕上手势操控系统包括上位机部分， 所述上位机部分包 括第一无线通讯模块和上位机； 控制主模块包括第二无线通讯模块； 腕表 部分通过第二无线通讯模块和第一无线通讯模 块将手势识别信息发送到的 上位机， 实现对上位机的控制。

优选地， 所述腕表部分包括三轴加速度模块， 用来获取手部的运动轨 迹； 控制主模块通过利用三个坐标方向加速度的二 次积分， 计算出手腕的 位置坐标。

优选地， 所述腕表部分包括倾角模块， 用于确定手腕的倾斜角； 控制 主模块根据手腕的倾斜角， 计算手心的朝向和 /或手指的方向。

优选地，所述腕表部分包括腕带反馈模块； 上位机通过腕带反馈模块， 把对手部动作的反馈信息， 传递给手部。

优选地， 所述腕表部分还包括戒指部分， 所述戒指部分包括戒指反馈 模块； 上位机通过戒指反馈模块， 把对手部动作的反馈信息， 传递给手部。

优选地， 腕带反馈模块和 /或戒指反馈模块是震动振子和 /或收缩压力 环。

优选地， 所述腕表部分包括背光 LED灯模块， 给手势采集模块提供照 明。

优选地， 手势采集模块采用分体式结构。

优选地， 控制主模块判断手腕在图像中的位置， 然后判断手指根部的 位置， 循着手指方向向下延伸， 自上而下依序识别， 识别每一个手指关节， 最后确定每个手指指尖的位置坐标。

优选地， 将手势采集模块设于腕表部分的下方边缘处， 从与手指握合 方向成一定倾斜角的方向拍摄， 当手指弯曲时， 控制主模块根据拍摄图像 中手指呈现出的弯曲程度， 采用球面坐标系计算手指到手腕原点的距离坐 标。

根据第二方面， 本发明提供一种利用腕上手势操控系统操控上 位机的 腕上手势操控方法， 其特征在于： 所述腕上手势操控系统包括腕表部分； 其中， 腕表部分包括位于手腕部的手势采集模块； 所述方法包括手势采集 模块采集手指的图像； 根据所述手指的图像计算指尖位置坐标， 进而确定 当前手势识别信息。

优选地， 所述腕上手势操控系统包括上位机部分， 所述上位机部分包 括上位机； 腕表部分通过无线通讯将手势识别信息发送到 上位机， 实现对 上位机的控制。

优选地， 所述方法包括获取手部的运动轨迹； 利用三个坐标方向加速 度的二次积分， 计算出手腕的位置坐标。

优选地， 所述方法包括确定手腕的倾斜角； 根据手腕的倾斜角， 计算 手心的朝向和 /或手指的方向。

优选地，所述方法包括把上位机对手部动作的 反馈信息，传递给手部。 优选地， 所述方法包括判断手腕在图像中的位置， 然后判断手指根部 的位置， 循着手指方向向下延伸， 自上而下依序识别， 识别每一个手指关 节， 最后确定每个手指指尖的位置坐标。

优选地， 所述方法包括利用设于腕表部分的下方边缘处 的手势采集模 块， 从与手指握合方向成一定倾斜角的方向采集， 当手指弯曲时， 根据采 集图像中手指呈现出的弯曲程度， 采用球面坐标系计算手指到手腕原点的 距离坐标。

本系统也可用于各种机电设备如家用电器、 交通工具、 工业机械、 游 戏娱乐设备、 教学科研设备、 医疗器械以及语音控制设备等的远程操控和 虚拟操控。 附图说明

下面结合附图和实施例对本发明的技术方案作 进一步描述， 附图中： 图 1为本发明实施例的腕上手势操控系统的结构� �图； 图 2为图 1所示腕上手势操控系统的右手侧视图；

图 3为图 1所示腕上手势操控系统的右手仰视图；

图 4为图 1所示腕上手势操控系统的摄像模块平移之前� �位置参照图； 图 5为图 1所示腕上手势操控系统的右手俯视图；

图 6为腕上手势操控系统的软件开机检测流程图� �

图 7为腕上手势操控系统的手势识别流程图；

图 8为腕上手势操控系统的手势识别算法示例图� � 具体实施方式

手作为人体主要的输出媒介。 工具的使用， 产品的制作， 都是手部复 杂的动作完成的。 如果能够把手部的运动信息全部采集下来， 然后就能更 加高效便捷的完成工作， 甚至让机器模拟， 实现无人化生产。 主要难点是 手部的动作复杂多变， 但是如果以手腕为坐标原点， 建立坐标系 （比如球 面坐标系） ， 手指的动作就是在相对于手腕的球面坐标系内 运动。 只要利 用位于手腕下方的手势采集模块采集手指图像 信息， 处理模块完成手指指 尖的坐标定位， 整个手指的动作就知道了。 这样就能得到以手腕为坐标原 点， 五个手指指尖的相对位置坐标。

利用三轴加速度模块， 把手腕在三个坐标方向的加速度对时间做二次 积分， 再参考系统启动时手的原始位置， 可以得到手腕坐标原点的运动轨 迹； 利用倾角模块可以测量手腕的翻转方向。

综上就可以精确计算出手腕的位置坐标与五个 手指指尖的位置坐标。 图 1为本发明实施例的腕上手势操控系统的结构� �图。 该腕上手势操 控系统可以包括左手、 右手两个系统， 也可以是只使用单手的系统。 下文 将结合单手的系统进行说明， 双手的系统不言自明。

另外， 图 2、 图 3和图 5分别示意了腕上手势操控系统各部件在手腕 上的部位， 图 2为图 1所示腕上手势操控系统的右手侧视图； 图 3为图 1 所示腕上手势操控系统的右手仰视图； 图 5为图 1所示腕上手势操控系统 的右手俯视图。 下文将结合图 2、 图 3和图 5展开说明。

如图 1所示， 腕上手势操控系统包括腕表部分 1 , 与上位机部分 2协 同工作， 以对上位机进行操控， 还可以包括可选择佩戴的戒指部分 3。 腕表部分 1包括佩戴在手腕上的控制主模块 4和位于手腕部的手势摄 像模块 5。 图 2为图 1所示腕上手势操控系统的右手侧视图， 从图 2可见 控制主模块 4和手势摄像模块 5在手部的分布示意。 手势摄像模块 5用于 采集手的实时图像数据， 然后把图像数据发送给控制主模块 4。 根据具体 使用的环境， 可以采用其它声波或者电磁波形式的手势采集 模块， 比如可 以采用超声波或者红外线采集装置。 为了便于携带， 手势摄像模块 5可采 用分体式结构， 拆卸下来， 安装在电源模块 7 (见图 2 )的后方， 或者使用 导轨式， 把手势摄像模块 5沿着腕表带上的导轨， 收缩到腕表部分 1的上 方。

手势摄像模块 5采集手腕和手指的图像， 控制主模块 4利用该图像确 定手指指尖的坐标信息， 进而确定识别手势动作。

在一个例子中， 腕表部分 1还包括三轴加速度模块 14和 /或倾角模块 15。三轴加速度模块 14用来获取整个手部的运动轨迹，通过利用手� ��原始 位置与三个坐标方向加速度的二次积分，可以 精确计算出手腕的位置坐标。 倾角模块 15根据手腕的倾斜角可以计算出手心的朝向， 手指的方向。控制 主模块 4利用三轴加速度模块 14与倾角模块 1 5采集手腕运动轨迹和倾角， 进行手腕坐标定位； 利用位于手腕部的手势摄像模块 5 , 采集手指指尖坐 标信息， 进而确定当前手指相对手腕的动作； 利用所述手腕坐标和所述手 指坐标， 最终实现手势动作的识别。

控制主模块 4可以包括控制板卡 1 2。 控制板卡 12主要完成图像信号 处理功能， 对手势摄像模块 5采集的数据信号进行处理， 计算出五个手指 的当前三维坐标数据， 并控制系统中的其他模块工作。

腕表部分 1可以包括背光 LED灯模块 6 (参见图 3 )。 背光 LED灯模块 6能在背景昏暗时， 给手势摄像模块提供照明。 背光 LED灯模块 6用于补 光与镜头光圈控制等方式进行光线辅助， 保证采集的图像对比度在合适的 测量范围内， 能够获得手指坐标信息。

上位机部分 2可以包括上位机 9和第一无线通讯模块 1 0。 上位机 9包 括可以安装第一无线通讯模块 1 0并且提取其接收到的手指坐标信息的电 子设备， 比如可实现虚拟操控或远程控制的手机、 电脑、 家用电器、 交通 工具、 工业机械、 游戏娱乐设备、 教学科研设备、 医疗器械以及语音控制 设备等。 第一无线通讯模块 1 0安装在上位机 9上， 它包括无线接收部分， 用来接收常用手势信息和手指坐标信息； 以及无线发送部分， 用来发送上 位机对手部的反馈信息。 上位机 9也可与腕表部分 1为一体； 或无上位机 9时， 腕表部分 1可操控其自身。

控制主模块 4可以包括第二无线通讯模块 1 3。 第二无线通讯模块 1 3 在腕表部分 1上， 用来和手机、 电脑等上位机 9通信， 把手指的坐标数据 发送给设有第一无线通讯模块 1 0的手机、 电脑或其他接收设备， 以及接收 来自上位机 9的反馈信息。通过第二无线通讯模块 1 3将手势识别信息发送 到设有第一无线通讯模块 1 0的上位机 9 , 实现对上位机 9的控制。

在一个例子中， 控制主模块 4包括腕带反馈模块 8 (图 2和图 3 ) , 并 且 /或者戒指部分 3包括戒指反馈模块 1 1。 戒指反馈模块 1 1可以通过有线 或者无线方式， 从上位机部分或者控制主模块获得反馈信息。 上位机 9通 过腕带反馈模块 8和戒指反馈模块 1 1 , 即安装在手腕腕带和手指戒指上的 震动振子和 /或收缩压力环， 把对手势运动的反馈信息， 传递给手部， 模拟 触觉感知。 用户根据所述触觉感知， 调整手势动作， 实现闭环控制。 具有 触觉反馈功能的腕带和戒指， 可以帮助老人、 盲人、 其他行动不便的残疾 人、 以及使用语音控制设备的用户， 不用阅读， 就能获得电子设备的反馈 信息。

腕表部分 1可以包括电源模块 7 , 为整个设备提供电力支持。

控制主模块 4还可以包括控制按鈕 1 6 , 用于对开关机、 待机模式等的 控制。

腕上手势操控系统的工作过程可以分为开机检 测部分和手势识别部 分。 下文将分别展开说明。

图 6为腕上手势操控系统的开机检测流程图。如� � 6所示，在步骤 S602 开机后， 首先进行系统程序的自我检测。

在步骤 S 604 , 检测图像背景的对比度。

然后，在步骤 S6 Q6 ,根据检测结果进行模式选择？ 是普通模式（ S608 )、 打开背光 LED灯 （S 609 ) 或是进行光圈调节 （S61 0 ) ； 直到图像可分辨。 在步骤 S 61 2 , 判断图像是否可分辨？ 倘是， 进入手势识别步骤 S614 ; 倘否， 继续进行模式选择步骤 S606 ;

然后， 在步骤 S614 , 确定手指原始位（即原始位置） ； 在步骤 S61 6 确定用户手型与常用手势并在步骤 S61 8记忆手势。

由于儿童与成年人手型差别较大， 有些人手型较粗壮肥胖， 需要确定 不同用户的手型。 而且每个人都有自己的常用手势， 一次使用过后， 系统 可以记忆下来方便用户以后直接调用。 再次使用的用户， 可以直接跳过开 机检测部分。

至于手势识别部分， 需要选择为手指识别所适用的坐标系， 并且在此 坐标系中确定手指的坐标， 然后基于手指坐标确定手势。

如果利用手指的图像信息， 建立以手腕为原点的球面坐标系， 是最科 学精确的， 但是也增加了函数的计算复杂性。 由于手部运动区域与摄像镜 头成像区域都是类球面分布， 为了便于计算， 在二维画面上近似成直角坐 标系计算， 得到手指水平坐标 X和垂直坐标 y , 仅对手指距离手腕原点的 距离坐标 r , 采用球面坐标系。

以下举例说明如何计算出每个手指指尖的水平 坐标 X , 垂直坐标 y和 距离坐标 。 本领域的技术人员意识到， 可以采用其它类型的计算方法。

可以通过多种常用方法得到上述手指水平坐标 X和垂直坐标 y , 比如： 1、基于肤色检测的方法， 由多幅已经标注的手指区域确定手指的颜色 分布， 然后利用分辨出的手指肤色， 对图像进行检测， 最后确定手指坐标。

2、基于跟踪的方法， 首先标注第一帧中手指的真实位置， 在局部区域 提取特征， 后面的各帧依次在前一帧真实位置附近搜索与 前一帧特征最相 似的区域， 判定为手指区域， 进而得到手指坐标。

又一种确定手指坐标的方法是基于巡线原理的 手指延伸算法。 由于手 势摄像模块位于手腕下方， 拍摄的手势图像中位于图像上部的手掌根部 1 01的运动范围很小， 参见附图 8 , 而且手指也是由手指根部关节到指尖， 自上而下呈运动范围逐渐扩大的趋势而运动的 。 因此可以先判断手腕在图 像中的位置， 然后再判断手指根部 102的位置， 巡着手指方向向下延伸， 识别每一个手指关节， 最后确定每个手指指尖 103的位置坐标。

在手指延伸算法中， 具体地说， 首先根据图像上端部分的分布区域和 灰度值， 找到相匹配的位置确定为手腕， 记录为手掌根部 101的基准坐标 x、 y, 再向下进行手指根部 102的识别， 识别出手指根部 102并记下当前 坐标值， 再继续向下巡线判断， 按照掌根、 指根、 关节的顺序， 逐步向手 指指尖 103延伸， 直到识别到手指指尖 103, 返回最终的坐标值， 即为手 指指尖 103的坐标。

手指到手腕原点的距离坐标 r的计算比较复杂， 因为摄像模块采集的 手势图像是二维的图像， 如果要获得三维的手指坐标信息， 得到手指到原 点的距离坐标 r, 就需要多摄像头定位， 或者其他手指距离测量的方式， 会造成系统过于复杂， 数据庞大不便处理。 而通过观察发现， 手指在弯曲 时， 手指关节处会出现阴影， 通过分辨上述阴影， 可以用来判断距离。 而 且如果把手势摄像模块 5的位置由原来的腕表中间部位， 如附图 4所示， 向腕表下方边缘处平移， 参见附图 3, 从与手指握合方向成一定倾斜角的 方向拍摄， 在手指弯曲时， 二维图像中的手指也会呈现一定弯曲， 根据弯 曲的程度， 可以判定出手指的位置。 这样就能用筒单的方法， 分辨手指到 手腕原点的距离坐标 r。

图 7是腕上手势操控系统的手势识别流程图。 如图 7所示， 在步骤 S702, 进行图像采集分析； 在步骤 S702, 通过上面的方法得到了手指的坐 标， 进而识别出手势。

在步骤 S706, 与常用手势对比， 如果是常用手势， 在步骤 S716把坐 标值发送给上位机； 如果不是常用手势， 则需要在步骤 S708进行坐标的再 次确认， 在步骤 S710判断坐标是否正确， 在坐标正确的情况下， 在步骤 S712将坐标值通过无线发射给上位机。

上位机在步骤 S714接收坐标值或者手势信息。上位机一般是� �机、 电 脑等电子产品。 上位机根据不同的手势进行不同的操作， 实现了利用手势 进行操控的目的。

最后， 在步骤 S718, 上位机向佩戴的腕带、 戒指发送振子震动或者收 缩压力环收缩的反馈信息。

为了实现便携式， 算法进行了多处筒化。 实际操作中可以根据需要进 行相应的调整， 如果需要更高的精度， 可以增加系统的复杂度， 硬件上采 用更高计算能力的模块， 软件算法上增加手指坐标的精度。

另一种可行的方案是控制装置获得手指坐标的 图像或者有关信息， 将 这些图像或有关信息发送给上位机， 由上位机完成手指坐标或者手势的识 别工作。

本发明的一种携带方法如图 2 , 像手表一样带在手腕上， 把手势摄像 模块 5与背光 LED灯模块 6露出来， 不能被衣袖遮挡。 戒指反馈模块 1 1 可以根据需要选择佩戴， 如果不需要触觉反馈， 可以不用佩戴。 在复杂昏 暗的灯光下， 佩戴戒指反馈模块 1 1 , 可以帮助控制主模块 4进行准确的手 势识别。

第一次使用时根据电脑演示的手势，使用者的 手部也重复相同的动作， 直到腕上手势操控系统， 记忆下常用手势。 当使用者再次使用时， 就可以 直接操控安装了第一无线通讯模块 1 0的上位机 9 , 例如电脑和手机， 也可 以发射手指坐标信息给其他安装了第一无线通 讯模块 1 0的电子设备，比如 家用电器、 交通工具、 工业机械、 游戏娱乐设备、 教学科研设备、 医疗器 械以及语音控制设备等。 上位机 9利用采集的坐标信息在屏幕上显示虚拟 手势， 用户参考虚拟手势， 控制按键或者做其他动作手势， 实现远程控制 和虚拟控制。

专业人员应该还可以进一步意识到， 结合本文中所公开的实施例描述 的各示例的单元及算法步骤， 能够以电子硬件、 计算机软件或者二者的结 合来实现， 为了清楚地说明硬件和软件的可互换性， 在上述说明中已经按 照功能一般性地描述了各示例的组成及步骤。 这些功能究竟以硬件还是软 件方式来执行， 取决于技术方案的特定应用和设计约束条件。 专业技术人 员可以对每个特定的应用来使用不同方法来实 现所描述的功能， 但是这种 实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法 的步骤可以用硬件、 处 理器执行的软件模块， 或者二者的结合来实施。 软件模块可以置于随机存 储器 （RAM ) 、 内存、 只读存储器 （ROM ) 、 电可编程 R0M、 电可擦除可编 程 R0M、 寄存器、 硬盘、 可移动磁盘、 CD-R0M、 或技术领域内所公知的任 意其它形式的存储介质中。

显而易见， 在不偏离本发明的真实精神和范围的前提下， 在此描述的 本发明可以有许多变化。 因此， 所有对于本领域技术人员来说可以预见的 改变， 都应包括在本权利要求书所涵盖的范围之内。 本发明所要求保护的 范围由所述的权利要求书进行限定。