[0001] 本发明涉及电子技术领域， 尤其涉及一种实现非接触式鼠标控制的人机交 互方 法和系统。

背景技术

[0002] 在用户与计算机的人机交互方式中， 除了鼠标和键盘等传统的人机交互方式， 近年来出现了语音控制、 触控控制和手势控制等新式的人机交互方式， 尤其是 以手势控制为代表的非接触式人机交互方式， 通过深度传感器检测人体动作， 计算机再根据检测到的数据将人体动作转换为 对计算机的交互命令， 使得人机 交互显得更直接更自然。

[0003] 运用鼠标控制计算机是最传统最直接的人机交 互方式， 但在一些卫生条件要求 很高的环境中， 不宜用手直接操控鼠标， 在需要随吋调取计算机资料吋， 常常 感到不方便， 例如医生在手术室内， 厨师在烹饪过程中， 实验人员在无尘、 无 菌工作室中等； 因此需要将手势控制与鼠标操作结合起来， 进行一种非接触式 的操作。

[0004] 现有技术中的实现非接触式鼠标控制中， 一种方法是： 使用深度传感器捕获手 部的深度图， 在手部的深度图中确定手指的数量和形状， 并根据手指的数量和 形状确定手部的姿势， 同吋根据手部的位移情况确定手部的运动轨迹 ， 将确定 的手部的运动轨迹和手部的姿势结合， 对应成为不同的操作动作， 例如将手指 全部张幵变化为伸直一根手指对应成为选中目 标的动作， 将伸直一根手指变化 为弯曲一根手指对应成为鼠标左键点击动作等 。 技术问题

[0005] 这种方法的缺点在于： 需要通过多帧手部深度图分析手部的姿势变化 轨迹， 再 将手部的姿势变化映射成为鼠标的操作动作， 需要操作者记住手部姿势与鼠标 动作的对应关系， 增加了操作者的控制难度。

问题的解决方案 技术解决方案

[0006] 本发明的目的是提供一种实现非接触式鼠标控 制的人机交互方法和系统， 以解 决现有技术中实现非接触式鼠标控制吋操作难 度大的技术问题。

[0007] 本发明的目的是通过以下技术方案实现的：

[0008] 提供了一种实现非接触式鼠标控制的人机交互 方法， 所述方法包括以下步骤： 接收手掌的空间三维坐标和速度信息； 接收手指尖的空间三维坐标和速度信息

； 其中， 所述速度信息至少包括速度方向； 根据所述手掌的空间三维坐标和速 度信息， 以及所述手指尖的空间三维坐标和速度信息， 控制光标在操作界面上 的鼠标事件。

[0009] 进一步的， 所述控制光标在操作界面上的鼠标事件， 具体为： 判断所述手掌的 速度方向与所述手指尖的速度方向是否一致； 若一致， 则将所述手掌的空间三 维坐标映射到所述操作界面的二维坐标系中； 根据映射的二维坐标更新所述光 标在所述操作界面上的位置。

[0010] 进一步的， 所述控制光标在操作界面上的鼠标事件， 具体为： 当所述手掌的速 度方向与所述手指尖中的一个手指尖的速度方 向不一致吋， 或当所述手指尖中 的一个手指尖的速度方向与其他手指尖的速度 方向不一致吋， 判断所述一个手 指尖是否是定义手指尖； 若是， 则关联所述光标执行鼠标按键动作。

[0011] 进一步的， 所述关联所述光标执行鼠标按键动作， 还包括： 当所述定义手指尖 为第一定义手指尖吋， 关联所述光标执行鼠标左键动作； 当所述定义手指尖为 第二定义手指尖吋， 关联所述光标执行鼠标右键动作； 当所述定义手指尖为第 三定义手指尖吋， 关联所述光标执行鼠标中键动作。

[0012] 进一步的， 所述关联所述光标执行鼠标按键动作， 具体为： 当所述定义手指尖 下移吋， 关联所述光标执行一次鼠标键下按动作； 当所述定义手指尖上移吋， 关联所述光标执行一次鼠标键上抬动作。

[0013] 进一步的， 所述关联所述光标执行鼠标按键动作， 还包括： 当所述第一定义手 指尖下移后， 在预设吋间内没有上移， 并且所述第一定义手指尖的速度方向与 所述手掌的速度方向一致吋， 关联所述光标执行选择拖动动作。

[0014] 进一步的， 所述控制光标在操作界面上的鼠标事件， 具体为： 当所述手掌的速 度方向与所述手指尖中至少两个手指尖的速度 方向不一致吋， 关联所述光标执 行鼠标滚轮动作。

[0015] 还提供了一种实现非接触式鼠标控制的人机交 互系统， 包括操作界面和深度传 感器， 所述系统还包括： 接收单元， 用于接收所述深度传感器检测到的手掌的 空间三维坐标和速度信息， 以及手指尖的空间三维坐标和速度信息； 其中， 所 述速度信息至少包括速度方向； 控制单元， 用于根据所述手掌的空间三维坐标 和速度信息， 以及所述手指尖的空间三维坐标和速度信息， 控制光标在操作界 面上的鼠标事件。

[0016] 进一步的， 所述控制单元具体包括： 判断模块， 用于判断所述接收到的手掌的 速度方向与所述手指尖的速度方向是否一致； 映射模块， 用于将所述手掌的空 间三维坐标和所述手指尖的空间三维坐标映射 到所述操作界面的二维坐标系中 ； 第一关联模块， 用于当所述判断模块判断所述手掌的速度方向 与所述手指尖 的速度方向一致吋， 根据所述映射的二维坐标更新所述光标在所述 操作界面上 的位置。

[0017] 进一步的， 所述判断模块还用于当判断出所述手掌运动的 速度方向与所述手指 指尖中的一个手指尖的速度方向不一致吋， 或当所述手指尖中的一个手指尖的 速度方向与其他手指尖的速度方向不一致吋， 进一步判断所述一个手指尖是否 是定义手指指尖， 所述定义手指尖包括第一定义手指尖、 第二定义手指尖和第 三定义手指尖。

[0018] 进一步的， 所述系统还包括第二关联模块， 所述第二关联模块还用于， 当所述 定义手指尖为第一定义手指尖吋， 关联所述光标执行鼠标左键动作； 当所述定 义手指尖为第二定义手指尖吋， 关联所述光标执行鼠标右键动作； 当所述定义 手指尖为第三定义手指尖吋， 关联所述光标执行鼠标中键动作。

[0019] 进一步的， 所述第二关联模块还用于当所述定义手指尖下 移吋， 关联所述光标 执行一次鼠标键下按动作； 当所述定义手指尖上移吋， 关联所述光标执行一次 鼠标键上抬动作。

[0020] 进一步的， 所述第二关联模块还用于当所述第一定义手指 尖下移后， 在预设吋 间内没有上移， 并且所述第一定义手指尖的速度方向与所述手 掌的速度方向一 致吋， 关联所述光标执行选择拖动动作。

[0021] 进一步的， 所述第二关联模块还用于当所述判断模块判断 出所述手掌的速度方 向与所述手指尖中至少两个手指尖的速度方向 不一致吋， 关联所述光标执行鼠 标滚轮动作。

发明的有益效果

有益效果

[0022] 在本发明提供的实现非接触式鼠标控制的人机 交互方法和系统中， 深度传感器 获取手掌和手指尖等精细部位的深度信息， 这些深度信息包括手掌和五个手指 尖的空间三维坐标以及至少包括速度方向的速 度信息， 系统仅需根据上述信息 的分析和比较来确定光标在操作界面上的鼠标 事件； 相比于现有技术， 本发明 提供的技术方案不需要分析用户手部的深度图 ， 不需要定义用户的手势模型， 更不需要将用户的手势模型与鼠标事件建立映 射模型， 因此用户不需记忆繁琐 的手势操作， 简化了用户的操作， 用户在进行非接触式鼠标操作吋， 仅需按照 常规鼠标操作非接触式的控制操作界面上的光 标即可， 降低了操作者的控制难 度。

对附图的简要说明

附图说明

[0023] 图 1为本申请实施例提供的实现非接触式鼠标控� �的人机交互方法的流程图；

[0024] 图 2为本申请实施例提供的实现非接触式鼠标控� �的人机交互系统的架构图；

[0025] 图 3为本申请实施例中实现非接触式鼠标控制的� �体方法流程图；

[0026] 图 4为本申请实施例提供的关联光标执行鼠标滚� �动作的示意图；

[0027] 图 5本申请实施例中实现非接触式鼠标控制的具� �方法流程图；

[0028] 图 6为本申请实施例提供的实现非接触式鼠标的� �机交互系统的系统架构图。

实施该发明的最佳实施例

本发明的最佳实施方式

[0029] 本申请实施例提供的实现非接触式鼠标控制的 人机交互方法， 如图 1所示， 包 括以下步骤： [0030] 步骤 SOI : 接收手掌的空间三维坐标和速度信息；

[0031] 步骤 S02: 接收手指尖的空间三维坐标和速度信息； 其中， 所述速度信息包括 速度值和速度方向；

[0032] 其中， 速度信息至少包括速度方向。

[0033] 手掌和手指尖的空间三维坐标和速度信息是通 过设置在操作界面周围的深度传 感器获取的。 本申请实施例中， 操作界面可以是但不受限于电视屏幕、 投影屏 幕、 电脑屏幕等。 深度传感器放置于操作界面的周围或是内置于 系统的操作键 盘内， 以图 2中深度传感器 3放置于操作界面 1前端为例， 其能感知的范围在操作 界面前方形成一个能感知手掌和手指尖的位置 和速度信息的交互空间 4， 用户在 此交互空间内进行手部操作吋， 其手掌和手指尖的位置和速度信息都能被该深 度传感器感知， 并将感知到的信息传送给系统的控制单元， 控制单元则根据以 下步骤将用户的手掌和手指尖的运动转换为操 作界面上光标 2的鼠标事件。 这里 的手掌和手指尖的位置和速度信息可以区分左 手手掌和左手手指尖的位置和速 度信息， 以及右手手掌和右手手指尖的位置和速度信息 ， 本申请实施例不对左 右手做限定， 用户可以根据自己的习惯使用左手操作或者使 用右手操作； 这里 的鼠标事件包含但不受限于鼠标平移、 左键单击、 左键双击、 选择拖动、 右键 单击等。

[0034] 步骤 S03: 根据所述手掌的空间三维坐标和速度信息， 以及所述手指尖的空间 三维坐标和速度信息， 控制光标在操作界面上的鼠标事件。

[0035] 深度传感器以设定的频率捕获交互空间内用户 的动作， 并将捕获到的用户手掌 和五个手指尖的空间三维坐标和速度信息传送 给系统的控制单元， 系统的控制 单元在接收到用户手掌和五个手指尖的空间三 维坐标和速度信息后， 通过这些 信息的分析和比较， 将用户的手掌和手指尖的运动转换为用户熟知 的鼠标事件 。 控制过程中， 不需要获取用户手部的深度图， 不需要通过分析深度图来定义 用户的手势模型， 更不需要将用户的手势模型与鼠标事件建立映 射模型， 因此 用户不需记忆繁琐的手势模型， 简化了用户的操作， 用户在进行非接触式鼠标 操作吋， 仅需按照常规鼠标操作非接触式的控制操作界 面上的光标即可， 降低 了操作者的控制难度。 [0036] 当然， 本申请实施例不限制手掌和手指尖的速度信息 的获取方式， 其可以是深 度传感器获取到的速度信息， 也可以是控制单元根据深度传感器获取的手掌 和 手指尖的空间三维坐标计算得出的速度信息。

[0037] 具体的， 控制光标在操作界面上的鼠标事件可以细化为 如图 3的步骤：

[0038] 步骤 S031 : 判断所述手掌的速度方向与所述手指尖的速度 方向是否一致。

[0039] 这里所指的手指尖包含整只手的全部五个手指 的指尖， 或者是代表所有手指尖 运动方向的多数手指尖， 例如至少包含三根手指的手指尖。 速度方向一致吋， 说明用户的手部 （包括手掌和手指尖） 在进行整体的移动， 任一个手指尖没有 产生动作控制鼠标事件， 此吋， 可以将这种手部的整体移动与鼠标的平移事件 关联起来； 若不一致， 说明至少有一个手指尖在控制操作界面上的光 标产生鼠 标事件， 因此， 若比较结果表明手掌和手指尖的速度方向是一 致吋， 则进入步 骤 S032。

[0040] 步骤 S032: 将所述手掌的空间三维坐标映射到所述操作界 面的二维坐标系中。

[0041] 将手掌的空间三维坐标映射到操作界面的二维 坐标系中， 存在两个坐标系的对 应映射关系。 映射吋， 忽略三维空间中空间方向 （如图 2中的 Z轴方向） 的空间 位移， 将映射关系简化为两个二维平面坐标系的比例 换算映射， 同吋可以排除 手部在空间方向的抖动对平移判断的影响。

[0042] 步骤 S033: 根据映射的二维坐标更新所述光标在所述操作 界面上的位置。

[0043] 手掌和手指尖的速度方向一致吋， 将用户这种整体手部移动的动作与鼠标平移 的鼠标事件进行关联。 具体的， 将手掌在空间的三维坐标映射到操作界面的二 维坐标系中， 映射吋， 忽略三维空间中其中一维的空间位移， 进而将手部在三 维空间的移动映射为二维平面上的移动， 并将这种移动与操作界面上的光标关 联， 使得手部在空间的整体移动映射为操作平面上 光标的移动， 由此， 将用户 手部的空间移动动作与鼠标平移的事件关联起 来。 用户可以通过手部整体移动 的动作来控制光标在操作平面移动， 从而可以控制光标选择控制目标。

[0044] 例如， 手掌在三维坐标系中的坐标为， 映射到操作界面的二维坐标系 （x,y) 中 吋， 忽略 A点的空间方向的坐标 Z， 从而将映射转换为从二维坐标系 （Χ,Υ) 映 射到二维坐标系 （x,y) 的过程， 假设二维坐标系 （Χ,Υ) 与二维坐标系 （x,y) 的映射比例为 （a， b) ， 则将手掌映射到操作平面的坐标为 （aX,bY) ， 此吋， 将光标的位置更新到操作界面坐标系的坐标 （aX,bY) 上即可。

[0045] 若手掌和手指尖的速度方向不一致， 则说明至少有一个手指尖在控制操作界面 上的光标产生鼠标事件， 则具体的， 进入步骤 S034。

[0046] 步骤 S034 : 进一步判断与手掌的速度方向不一致的手指尖 是否是单个手指尖

。 若不是单个手指尖， 则进入步骤 S037。

[0047] 步骤 S037: 关联所述光标执行鼠标滚轮动作。

[0048] 本申请实施例中， 将至少两个手指尖的同向运动关联为鼠标滚轮 事件。 具体的 ， 例如， 如图 4所示， 用户食指和中指 （或者食指、 中指和无名指， 或者除去大 拇指的其他四根手指） 的指尖同吋上下移动， 其三维空间坐标的纵轴 （如图 4中 的 Y轴） 坐标发生往复位移变化， 将用户的此动作关联为鼠标滚轮事件， 并判断 所述至少两个手指尖的速度值， 当所述至少两个手指尖同吋下移的速度值明显 大于其他手指尖或手掌的速度值吋， 关联所述光标执行鼠标滚轮顺吋针滚动动 作； 当所述至少两个手指尖同吋上移的速度值明显 大于其他手指尖或手掌的速 度值吋， 关联所述光标执行鼠标滚轮逆吋针滚动动作。

[0049] 进一步判断与手掌的速度方向不一致的手指尖 是单个手指尖， 则进入步骤 S035

[0050] 步骤 S035 : 进一步判断所述单个手指尖是否是定义手指尖 ； 当判断出单个手 指尖为定义手指尖后， 则进入步骤 S036。

[0051] 步骤 S036: 关联所述光标执行鼠标按键动作。

[0052] 定义手指尖， 是指用户在系统设置中自行设置的手指尖与鼠 标事件的对应关系

(当然也可以是系统设置的默认的手指尖与鼠� �事件的对应关系） ， 本申请实 施例中， 将单个手指尖的运动关联为鼠标事件中的点击 事件。 例如， 用户在系 统第一次启动后， 进入系统设置环境， 定义第一定义手指尖关联光标执行鼠标 左键点击动作， 定义第二定义手指尖关联光标执行鼠标右键点 击动作， 定义第 三定义手指尖关联光标执行鼠标中键点击或者 滚轮动作。

[0053] 通常鼠标事件中的点击包括左键单击、 左键双击和右键单击等， 具体的， 按照 用户熟知的操作习惯， 可以将食指指尖的运动关联为鼠标事件中的左 键点击， 将中指指尖的运动关联为鼠标事件中的右键点 击， 又或者， 将中指指尖的运动 关联为鼠标事件中的中键点击或者鼠标滚轮事 件， 而将无名指指尖的运动关联 为鼠标事件中的右键点击等。

[0054] 具体的关联， 如图 5所示， 包括如下步骤：

[0055] 步骤 S0361 : 判断定义手指尖是否下移。

[0056] 具体的， 通过深度传感器获取到定义手指尖的三维空间 坐标变化， 判断定义手 指尖在空间中是否产生纵向的下移动作， 即判断纵向坐标是否是向下移方向发 生变化， 若是， 则进入步骤 S0362。

[0057] 步骤 S0362: 将定义手指尖的一次下移关联为所述光标执行 一次鼠标键的下按 动作。

[0058] 接着进入步骤 S0363: 判断在预设之间内定义手指尖是否上移； 若判断出定义 手指尖的纵向坐标是向上移方向发生变化， 则进步步骤 S0364。

[0059] 步骤 S0364: 将定义手指尖的一次上移关联为所述光标执行 一次鼠标键的上抬 动作。

[0060] 具体的， 当定义食指指尖关联鼠标左键事件， 定义中指指尖关联鼠标右键事件 吋， 则食指指尖的一次下移和上移过程对应鼠标左 键事件的左键按下和抬起的 动作， 从而完成一次鼠标左键单击的鼠标事件， 食指指尖的两次下移和上移过 程对应鼠标左键事件的左键两次按下和抬起的 动作， 从而完成一次鼠标左键双 击的鼠标事件； 而中指指尖的一次下移和上移过程对应鼠标右 键事件的一次按 下和抬起动作， 从而完成一次鼠标右键的单击鼠标事件。

[0061] 进一步的， 若在预设之间内定义手指尖没有上移， 则进步步骤 S0365。

[0062] 步骤 S0365: 进一步判断该定义手指是否是第一定义手指尖 ， 即判断是否是鼠 标左键事件关联的手指尖， 例如食指指尖， 若是， 则进入步骤 S0366。

[0063] 步骤 S0366: 判断第一定义手指尖的速度方向与所述手掌的 速度方向一致。

[0064] 若手指尖的速度方向与手掌的速度方向一致吋 ， 说明手部整体向同一个方向运 动， 如前所述， 将手部的整体运动关联为鼠标的平移事件， 此吋， 第一定义手 指尖产生下按动作， 同吋产生位移， 贝 1J :

[0065] 步骤 S0367: 关联所述光标执行选择拖动动作。 [0066] 具体的， 第一定义手指尖下移关联光标在操作界面执行 鼠标左键单击动作选中 目标后， 手部整体移动， 使得第一定义手指尖的速度方向与手掌的速度 方向一 致， 进而关联光标在操作界面上执行鼠标拖动事件 ， 将选中目标在操作界面上 移动。 当第一定义手指尖再次上移吋， 关联光标在操作界面执行放幵选中目标 的动作， 从而完成一次选择拖动动作。

[0067] 本申请实施例还提供了一种实现非接触式鼠标 控制的人机交互系统， 如图 6所 示， 所述系统包括： 操作界面 1， 深度传感器 3， 接收单元 5和控制单元 6。

[0068] 结合图 2所示， 深度传感器 3放置于操作界面 1的周围位置， 可以是前侧， 也可 以是边侧， 本申请实施例不做限制。 深度传感器的感知范围形成交互空间 4， 用 户在交互空间内的操作深度传感器 3捕获后， 将手掌和手指尖的三维空间坐标和 速度信息传送给接收单元 5， 其中， 速度信息至少包括速度方向， 接收单元 5将 上述信息传送给控制单元 6， 控制单元 6根据接收到的手掌的空间三维坐标和速 度信息， 以及所述手指尖的空间三维坐标和速度信息， 控制光标在操作界面上 的鼠标事件。

[0069] 具体的， 控制单元包括判断模块 61， 映射模块 62， 第一关联模块 63和第二关联 模块 64。

[0070] 其中， 判断模块， 用于判断所述接收到的手掌的速度方向与所述 手指尖的速度 方向是否一致； 并且， 当判断出所述手掌的速度方向与所述手指尖中 的一个手 指尖的速度方向不一致吋， 或当所述手指尖中的一个手指尖的速度方向与 其他 手指尖的速度方向不一致吋， 进一步判断所述一个手指尖是否是定义手指尖 ， 所述定义手指尖包括第一定义手指尖、 第二定义手指尖和第三定义手指尖。

[0071] 映射模块， 用于将所述手掌的空间三维坐标和所述手指尖 的空间三维坐标映射 到所述操作界面的二维坐标系中。

[0072] 第一关联模块， 用于当所述判断模块判断所述手掌的速度方向 与所述手指尖的 速度方向一致吋， 根据所述映射的二维坐标更新所述光标在所述 操作界面上的 位置。

[0073] 第二关联模块， 当所述定义手指尖下移吋， 关联所述光标执行一次鼠标键下按 动作； 当所述定义手指尖上移吋， 关联所述光标执行一次鼠标键上抬动作。 当 所述定义手指尖为第一定义手指尖吋， 关联所述光标执行鼠标左键动作； 当所 述定义手指尖为第二定义手指尖吋， 关联所述光标执行鼠标右键动作； 当所述 定义手指尖为第三定义手指尖吋， 关联所述光标执行鼠标中键动作。 当所述第 一定义手指尖下移后， 在预设吋间内没有上移， 并且所述第一定义手指尖的速 度方向与所述手掌的速度方向一致吋， 关联所述光标执行选择拖动动作； 当所 述手掌的速度方向与所述手指尖中至少两个手 指尖的速度方向不一致吋， 关联 所述光标执行鼠标滚轮动作。

[0074] 具体的控制过程已经在上述实现非接触式鼠标 控制的人机交互方法中详细介绍 ， 此处不再赘述。

[0075] 本申请实施例提供的实现非接触式鼠标控制的 人机交互方法和系统， 采用例如 kinect2代体感传感器、 LeapMotion厉动传感器等， 能够精确识别手掌、 手指尖等 精细部位的位置和速度等信息， 并根据这些信息， 经过控制单元的比较和判断 ， 依据比较和判断的结果将手掌和手指尖的运动 与鼠标事件进行关联， 这些鼠 标事件都是用户熟知的鼠标操作， 使得用户无需记忆复杂的手势操作， 在不接 触鼠标的情况下进行非接触式鼠标的操作， 实现鼠标的熟知功能， 无需改变用 户的操作习惯， 具有操作简单的技术效果； 同吋控制单元无需采集用户手部深 度图， 无需对深度图进行图像处理分析建立手势模型 ， 无需将手势模型与鼠标 事件建立映射模型， 只需进行简单的数据比较和判断， 减少了控制单元的数据 计算量， 提高了系统运行效率， 进一步能提高用户的操作感， 降低系统的控制 难度， 具有很高的推广意义。