[0001] 本发明涉及虚拟现实技术领域， 尤其涉及一种基于手势的虚拟现实人机交互方 法和系统。

背景技术

[0002] 人机交互技术 (Human-Computer Interaction Techniques) 是指通过计算机输入

、 输出设备， 以有效的方式实现人与计算机对话的技术。 在用户与计算机的人 机交互方式中， 除了鼠标和键盘等传统的人机交互方式， 近年来出现了语音控 制、 触控控制和手势控制等新式的人机交互方式， 尤其是以手势控制为代表的 非接触式人机交互方式， 通过深度传感器检测人体动作， 计算机再根据检测到 的数据将人体动作转换为对计算机的交互命令 ， 使得人机交互显得更直接更自 然。

[0003] 新一代的头戴式显示器， 例如虚拟现实头盔， 提供了一种沉浸式虚拟现实的人 机交互方式， 它利用计算机在头戴式显示器中生成一个三维 空间的虚拟世界， 提供用户关于视觉、 听觉、 触觉等感官的模拟， 让用户如同身历其境一般， 使 用户沉浸到虚拟环境中， 及时、 没有限制地观察三维空间内的事物， 为一种更 贴合用户体验的人机交互方式。

技术问题

[0004] 在传统的虚拟现实交互中， 用户需要通过键盘、 鼠标等方式来控制虚拟世界中 的显示， 这带给用户很多不便， 特别是虚拟现实头盔， 用户带上头盔后会完全 看不到真实世界中的键盘、 鼠标等人机交互载体， 这降低了用户的体验效果。 问题的解决方案

技术解决方案

[0005] 本发明的目的是提供一种基于手势的虚拟现实 人机交互方法和系统， 为用户提 供一种基于手势的人机交互方式， 可以提高用户体验。

[0006] 本发明的目的是通过以下技术方案实现的： [0007] 提出一种基于手势的虚拟现实人机交互方法， 所述方法包括以下步骤： 将物体 的三维模型显示于虚拟现实空间中； 接收深度传感器获取的手部深度信息； 基 于手部深度信息， 判断手部的手势是否为招手动作； 若是， 则控制三维模型在 虚拟现实空间中移动或转动。

[0008] 进一步的， 若手势为招手动作， 控制三维模型在虚拟现实空间中移动或转动时 , 所述方法还包括： 基于手部深度信息， 判断招手的幅度； 控制三维模型在虚 拟现实空间中的移动距离或转动弧度与招手的 幅度成正比例关系。

[0009] 进一步的， 若手势为招手动作， 控制三维模型在虚拟现实空间中移动或转动时 , 所述方法还包括： 设定固定移动距离和固定转动弧度； 每招手一次， 控制三 维模型在虚拟现实空间中移动固定移动距离或 转动固定转动弧度。

[0010] 进一步的， 在判断手部的手势是否为招手动作之前， 所述方法还包括： 划分深 度传感器的感知空间为中部感知区域和边侧感 知区域； 则控制三维模型在虚拟 现实空间中的移动或转动， 具体为： ： 基于手部深度信息， 判断手部位于中部 感知区域还是边侧感知区域。 在手部位于中部感知区域吋， 控制三维模型在虚 拟现实空间中移动； 在手部位于边侧感知区域时， 控制三维模型在虚拟现实空 间中转动。

[0011] 进一步的， 在手部位于中部感知区域吋， 控制三维模型在虚拟现实空间中移动

, 具体为： 基于手部深度信息判断手心的朝向； 若手心朝向用户， 则控制三维 模型向靠近用户方向移动； 若手心背向用户， 则控制三维模型向远离用户方向 移动； 所述边侧感知区域包括左侧感知区域和右侧感 知区域， 所述在手部位于 边侧感知区域吋， 控制三维模型在虚拟现实空间中转动， 具体为： 判断手部位 于左侧感知区域还是右侧感知区域； 基于手部深度信息判断手心的朝向； 若手 部位于左侧感知区域， 且手心朝向用户吋， 控制三维模型逆吋针转动； 若手部 位于左侧感知区域， 且手心背向用户吋， 控制三维模型顺时针转动； 若手部位 于右侧感知区域， 且手心朝向用户时， 控制三维模型顺吋针转动； 若手部位于 右侧感知区域， 且手心背向用户时， 控制三维模型逆时针转动。

[0012] 提出一种基于手势的虚拟现实人机交互系统， 包括深度传感器、 头戴式显示器

、 手势判断单元和控制单元； 所述深度传感器置于所述头戴式显示器上； 所述 深度传感器， 获取其感知空间内的手部深度信息； 所述头戴式显示器， 用于构 建虚拟现实空间， 显示物体的三维模型； 所述手势判断单元， 接收深度传感器 获取的手部深度信息， 基于手部深度信息， 判断手部的手势是否为招手动作； 若是， 则所述控制单元控制三维模型在虚拟现实空间 中移动或转动。

[0013] 进一步的， 所述系统还包括手势幅度判断单元； 所述手势幅度判断单元， 基于 手部深度信息， 判断招手的幅度； 则所述控制单元， 控制三维模型在虚拟现实 空间中的移动距离或转动弧度与招手的幅度成 正比例关系。

[0014] 进一步的额， 所述系统还包括设定单元； 所述设定单元， 用于设定固定移动距 离和固定转动弧度； 则所述控制单元， 在每招手一次时， 控制三维模型在虚拟 现实空间中移动固定移动距离或转动固定转动 弧度。

[0015] 进一步的， 所述系统还包括区域划分单元； 所述区域划分单元， 在判断单元判 断手部的手势是否为招手动作之前， 划分深度传感器的感知空间为中部感知区 域和边侧感知区域； 则判断单元还用于基于手部深度信息， 判断手部位于中部 感知区域还是边侧感知区域； 在手部位于中部感知区域吋， 所述控制单元控制 三维模型在虚拟现实空间中移动； 在手部位于边侧感知区域时， 所述控制单元 控制三维模型在虚拟现实空间中转动。

[0016] 进一步的， 所述区域划分单元还用于划分边侧感知区域为 左侧感知区域和右侧 感知区域； 所述系统还包括手心朝向判断单元， 用于基于手部深度信息判断手 心的朝向； 在手部位于中部感知区域吋， 若手心朝向用户， 则所述控制单元控 制三维模型向靠近用户方向移动； 若手心背向用户， 则所述控制单元控制三维 模型向远离用户方向移动； 若手部位于左侧感知区域， 且手心朝向用户时， 所 述控制单元控制三维模型逆时针转动； 若手部位于左侧感知区域， 且手心背向 用户吋， 所述控制单元控制三维模型顺吋针转动； 若手部位于右侧感知区域， 且手心朝向用户时， 所述控制单元控制三维模型顺吋针转动； 若手部位于右侧 感知区域， 且手心背向用户时， 所述控制单元控制三维模型逆时针转动。

发明的有益效果

有益效果

[0017] 本申请实施例提出的基于手势的虚拟现实人机 交互方法和系统中， 基于深度传 感器获取的手部深度信息， 分析用户的手部动作是否为招手动作， 若是招手动 作， 则控制虚拟现实空间中物体的三维模型在虚拟 现实空间中移动或者转动； 手部处于深度传感器感知空间的中部感知区域 时， 控制虚拟现实空间中显示的 三维模型的位移， 而手部处于深度传感器感知空间的边侧感知区 域吋， 控制虚 拟现实空间中显示的三维模型的转动； 并结合手心的朝向， 控制三维模型的移 动方向和转动方向； 同时， 基于招手的幅度或者招手的次数控制三维模型 移动 的距离或者转动的弧度； 使得用户在佩戴头戴式显示器后即使看不到真 实世界 中的人机交互载体， 也无需使用鼠标键盘等设备进行人机交互， 只需使用手势 来控制虚拟现实空间中三维模型的移动和转动 ， 用户操作方便， 提高用户体验 对附图的简要说明

附图说明

[0018] 图 1为本申请实施例提出的基于手势的虚拟现实� �机交互方法流程图；

[0019] 图 2为本申请实施例提出的基于手势的虚拟现实� �机交互示意图；

[0020] 图 3为本申请实施例提出的基于手势的虚拟现实� �机交互方法流程图；

[0021] 图 4为本申请实施例提出的基于手势的虚拟现实� �机交互系统框图。

实施该发明的最佳实施例

本发明的最佳实施方式

[0022] 下面将结合附图， 对本发明实施例提供的实现非接触式鼠标控制 的人机交互方 法和系统的技术方案进行详细描述。

[0023] 本申请实施例提供的基于手势的虚拟现实人机 交互方法， 如图 1所示， 包括以 下步骤：

[0024] 步骤 S11 : 将物体的三维模型显示于虚拟现实空间中。

[0025] 物体的三维模型构建后， 由人机交互系统导入并显示于虚拟现实空间中 ； 虚拟 现实空间是由计算机生成的一个三维空间的虚 拟世界。

[0026] 如图 2所示的头戴式显示器， 例如虚拟现实头盔， 在头戴式显示器上安装深度 传感器， 构成一个与头盔视角相同的感知空间。 用户的手部在感知空间内的动 作由深度传感器获取数据。 [0027] 物体的三维模型， 如图 2中的汽车三维模型， 根据实际需要控制的物体构建， 可以根据深度传感器感知信号实吋构建， 也可以预先构建， 放入三维模型库中 调用使用。

[0028] 步骤 S12: 接收深度传感器获取的手部深度信息。

[0029] 深度传感器获取的手部深度信息， 包括手部的骨骼特征信息和运动信息； 骨骼 特征信息包括但不限于手指、 手掌、 各关节骨骼的长度、 宽度信息， 以及手腕 骨骼宽度信息等； 运动信息包括各个骨骼的位置、 速度等信息。

[0030] 获取到手部的深度信息后， 根据手部骨骼特征信息， 可以生成一套具有骨骼特 征的三维手部模型， 接着按照一定频率从深度传感器获取手部的深 度信息， 并 从深度信息中获取手部各个骨骼的运动信息， 以此来控制手部三维模型的运动 以及显示， 这样可以使得感知空间中的手部的特征和运动 与虚拟现实空间中的 手部三维模型的特征和运动一一对应起来； 结合手部的运动手势， 可以产生控 制指令来控制虚拟现实空间中手部三维模型以 及其他物体三维模型的运动和显 示。

[0031] 构建的手部三维模型以及其运动， 可以显示在虚拟现实空间中， 也可以不显示

[0032] 步骤 S13 : 基于手部深度信息， 判断手部的手势是否为招手动作。

[0033] 根据手部的深度信息， 能够分析出手部包括手掌、 各个手指的位置信息、 速度 信息、 以及骨骼信息等， 根据这些信息能够分析出手部的手势。

[0034] 招手的手势以用户日常招手习惯或者大众常用 的招手动作来定义， 例如， 手掌 固定， 而手指运动； 或者， 手部以手腕为轴运动的动作等等。

[0035] 若是招手动作， 则执行步骤 S14。

[0036] 步骤 S14: 控制三维模型在虚拟现实空间中移动或转动。

[0037] 这里的移动， 包括三维模型向用户视线方向靠近以及远离用 户视线的方向； 这 里的转动， 包括三维模型以自身中心为基准的顺时针转动 和逆时针转动； 这里 的顺时针与逆时针， 都是以从三维模型上端俯视吋的顺吋针与逆时 针方向为准

[0038] 通过招手来改变三维模型的移动的转动的方式 简单， 用户在进行人机交互吋， 即使看不到现实世界的人机交互载体， 也可以使用手势来控制虚拟现实空间的 三维模型的移动和转动， 使用户造作更方便， 提高了用户的体验。

[0039] 靠近或者远离用户视线， 是通过移动物体三维模型使其靠近或者远离用 户移动 来实现， 事实上， 通过移动用户的位置， 以及缩小或者增大用户与三维模型之 间的距离， 均可实现， 均在本申请实施例保护的范围内。

[0040] 图 2所示实施例中， 以用户右手为例， 本申请实施例中， 不限定左右手， 左手 操作亦可。 移动或者转动的程度可以根据用户招手的反复 次数或者幅度来进行 调整。

[0041] 具体的， 如图 1所示， 执行步骤 S 15: 基于手部深度信息， 判断招手的幅度； 以 及步骤 S16: 控制三维模型在虚拟现实空间中的移动距离或 者转动弧度与招手的 幅度成正比例关系。

[0042] 也即， 若用户招手幅度大， 则调整三维模型在虚拟现实空间中移动较大的 距离 , 或者转动较大的弧度； 若用户招手幅度小， 则调整三维模型在虚拟现实空间 中移动较小距离或者转动较小弧度。 具体大于小的界定根据预先的设定进行。

[0043] 或者， 步骤 S 17: 设定固定移动距离和固定转动弧度； 以及步骤 S18 : 每招手一 次， 控制三维模型在虚拟现实空间中移动固定移动 距离或转动固定转动弧度。

[0044] 也即， 预先设定移动的固定距离和转动的固定弧度， 通过判断招手的次数来控 制三维模型， 每招手一次， 按照设定的距离或者弧度来调整三维模型的移 动或 者转动， 招手次数少， 则移动或者转动的少， 招手次数多， 则移动或者转动的 多， 符合用户的操作习惯。

[0045] 本申请实施例中， 对于限定一次招手的一个具体实施例为： 用户手指向掌心方 向反复运动的次数大于限定次数， 或者用户手部以手腕为轴运动的次数大于限 定次数。

[0046] 限定次数是预先设定的界定值， 例如三次， 则手掌固定吋， 手指运动三次为一 次招手动作， 或者手部以手腕为轴运动三次为一次招手动作 。

[0047] 而对三维模型的控制为移动还是转动， 可以通过手部做手势时所处的不同位置 以及手心的朝向来区分。 在判断手部的手势是否为招手动作之前， 如图 3所示， 步骤 S31 : 划分深度传感器的感知空间为中部感知空间和 边侧感知空间； 如图 2 所示的 I区对应中部感知区域， II区对应边侧感知区域； 区域的划分与用户眼部 视线视角范围相关联， 感知空间的中部感知区域对应用户视线的正视 区域， 而 感知空间的边侧感知区域对应用户视线的边侧 区域。 当用户手部在感知空间的 中部感知区域运动吋， 反应到虚拟现实空间中， 手部三维模型显示在用户视线 的正视区域； 当用户手部在感知空间的边侧区域运动时， 反应到虚拟现实空间 中， 手部三维模型显示在用户视线的边侧区域。

[0048] 进一步的， 边侧感知区域又被划分为左侧感知区域和右侧 感知区域； 左侧和右 侧以用户眼部视线的左右方向相对应， 也与用户左右手方向相对应， 左侧感知 区域对应用户眼部视线左侧区域， 也即左手操作的区域， 右侧感知区域对应用 于眼部视线右侧区域， 也即右手操作的区域。

[0049] 在划分感知空间后， 步骤 S32: ：基于手部深度信息， 判断手部位于中部感知区 域还是边侧感知区域； 处于的区域不同， 对物体三维模型执行不同的操作。

[0050] 步骤 S33: 基于手部深度信息判断手心的朝向。

[0051] 判读了手部所处的区域后， 根据手心的朝向来区分三维模型移动的方向或 者转 动的方向。 手心方向的判断， 在以物体的三维模型为基准时， 判断是朝向物体 的三维模型， 还是背向物体的三维模型； 在以用户视线为基准时， 判断是背向 用户视线， 还是朝向用户视线。 手心方向是从手部的深度信息中手掌信息中获 得的。

[0052] 在手部处于中部感知区域吋， 若手心朝向用户， 则步骤 S34: 控制三维模型向 靠近用户方向移动； 若手心背向用户， 则步骤 S35: 控制三维模型向远离用户方 向移动。

[0053] 在手部位于边侧感知区域吋， 步骤 S36: 判断手部位于左侧感知区域还是右侧 感知区域； 若手部位于左侧感知区域， 且手心朝向用户吋， 步骤 S37: 控制三维 模型逆时针转动； 若手部位于左侧感知区域， 且手心背向用户吋， 步骤 S3S: 控 制三维模型顺时针转动； 若手部位于右侧感知区域， 且手心朝向用户时， 步骤 S 38： 控制三维模型顺时针转动； 若手部位于右侧感知区域， 且手心背向用户时 , 步骤 S37: 控制三维模型逆吋针转动。

[0054] 上述本申请实施例提出的基于手势的虚拟现实 人机交互方法中， 基于深度传感 器获取的手部深度信息， 分析出用户手部的手势动作， 在手势为招手时， 控制 三维模型的移动或者转动； 基于招手的幅度或者次数控制三维模型移动或 者转 动的程度； 在手部处于深度传感器感知空间的中部感知区 域时， 可以结合手心 的朝向， 控制虚拟现实空间中显示的三维模型的位移以 及其方向， 而手部处于 深度传感器感知空间的边侧感知区域吋， 可以结合手心的朝向， 控制虚拟现实 空间中显示的三维模型的转动以及其转动方向 ； 用户在佩戴头戴式显示器后即 使看不到真实世界中的人机交互载体， 也无需使用鼠标键盘等设备进行人机交 互， 只需使用招手手势来控制虚拟现实空间中三维 模型的移动和转动， 用户操 作方便， 提高用户体验。

[0055] 基于上述基于手势的虚拟现实人机交互方法， 本申请实施例还提出一种基于手 势的虚拟现实人机交互系统， 如图 4所示， 该系统包括深度传感器 51、 头戴式显 示器 52、 手势判断单元 53和控制单元 54。

[0056] 头戴式显示器 52, 用于构建虚拟现实空间， 显示物体的三维模型； 深度传感器 51置于头戴式显示器 52上， 用于获取其感知空间内的手部深度信息； 此时， 深 度传感器构成一个与头戴式显示器视角相同的 感知空间。

[0057] 手势判断单元 53， 接收深度传感器 52获取的手部深度信息， 基于手部深度信息 , 判断手部的手势是否为招手动作； 控制单元 54， 在手势为招手动作时， 控制 三维模型在虚拟现实空间中移动或转动。

[0058] 使用该系统的用户， 在佩戴头戴式显示器后即使看不到真实世界中 的人机交互 载体， 也无需使用鼠标键盘等设备进行人机交互， 只需使用手势来控制虚拟现 实空间中三维模型的显示， 操作方便， 提高用户体验。

[0059] 该系统还包括手势幅度判断单元 56， 该手势幅度判断单元， 用于基于手部深度 信息， 判断招手的幅度， 则控制单元 54控制三维模型在虚拟现实空间中的移动 距离或转动幅度与招手的幅度成正比例关系； 具体的， 移动控制单元 541用于控 制三维模型移动的距离大小， 而转动控制单元 542用于控制三维模型转动的弧度 大小。

[0060] 该系统还包括设定单元 57， 该设定单元， 用于设定固定移动距离和固定转动弧 度； 则控制单元 54在每招手一次吋， 控制三维模型在虚拟现实空间中移动固定 移动距离或转动固定转动弧度； 具体的， 移动控制单元 541在每招手一次吋， 控 制三维模型移动一次固定移动距离， 而转动控制单元 542在每招手一次时， 控制 三维模型转动一次固定转动弧度。

[0061] 该系统还包括区域划分单元 55， 控制单元分为移动控制单元 541和转动控制单 元 542; 区域划分单元 55在判断单元 53判断手部的位置之前， 划分深度传感器 51 的感知空间为中部感知区域和边侧感知区域； 则判断单元 53基于手部深度信息 ， 判断手部位于中部感知区域还是边侧感知区域 ； 移动控制单元 541在手部位于 中部感知区域时， 控制三维模型在虚拟现实空间中移动； 转动控制单元 542在手 部位于边侧感知区域时， 控制三维模型在虚拟现实空间中转动。

[0062] 区域划分单元 55还用于划分边侧感知区域为左侧感知区域和� ��侧感知区域； 该 系统还包括手心朝向判断单元 58， 用于基于手部深度信息判断手心的朝向； 在 手部位于中部感知区域时， 若手心朝向用户， 则控制单元 54控制三维模型向靠 近用户方向移动； 若手心背向用户， 则控制单元 54控制三维模型向远离用户方 向移动； 若手部位于左侧感知区域， 且手心朝向用户时， 控制单元 54控制三维 模型逆时针转动； 若手部位于左侧感知区域， 且手心背向用户吋， 控制单元 54 控制三维模型顺时针转动； 若手部位于右侧感知区域， 且手心朝向用户时， 控 制单元 54控制三维模型顺时针转动； 若手部位于右侧感知区域， 且手心背向用 户吋， 控制单元 54控制三维模型逆吋针转动。

[0063] 具体的基于手势的虚拟现实人机交互系统的工 作方法和技术效果， 在上述基于 手势的虚拟现实人机交互方法中已经详述， 此处不予赘述。

[0064] 尽管已描述了本发明的优选实施例， 伹本领域内的技术人员一旦得知了基本创 造性概念， 则可对这些实施例作出另外的变更和修改。 所以， 所附权利要求意 欲解释为包括优选实施例以及落入本发明范围 的所有变更和修改。

[0065] 显然， 本领域的技术人员可以对本发明进行各种改动 和变型而不脱离本发明的 精神和范围。 这样， 倘若本发明的这些修改和变型属于本发明权利 要求及其等 同技术的范围之内， 则本发明也意图包含这些改动和变型在内。