本发明涉及一种用于虚拟及增强现实界面领域 。 具体地，本发明涉 及一种虚拟现实输入和触觉反馈系统。 背景技术

通过虚拟现实 （VR） /增强现实 （AR）耳机，使用者可以通过视觉和 听觉感官来体验虚拟世界，但使用者如何通过 触觉与虚拟世界互动？一般 的虚拟现实 VR 手持控制器的缺点包括没有应力反馈， 亦不能提供精确触 觉反馈 （无形状，硬度， 重量温度） ， 亦没有自相关的功能。

随着虚拟现实 （VR） /增强现实 （AR） /混合现实 （MR）头戴式设备的 发展， 用戶可以通过视觉和听觉感官体验虚拟世界， 但用戶如何通过触觉 与虚拟世界互动则取决于虚拟现实界面所收集 的移动数据及提供的反馈功 能。 一般的虚拟现实界面或系统只能提供简单的应 力反馈功能， 而且不 能准确地模疑如掌握物件所产生的反作用力或 应力 。 此外 ， 这些系统亦 不能提供模疑表面紋理或质感的反馈， 以容许使用者感受到虚拟世界中的 物理特征。 本发明内容

根据本发明的虚拟现实输入和触觉反馈系统， 该系统集成了人工智能 机器学习 ， 快速计算和真实力反馈， 以取代 VR/AR/MR 环境中的传统控制 器 。 我们计划通过捕捉用戶的手部动作开发智能手 套 （智能手套） 在机 器人手臂输入几何变换和虚拟世界中的接口 ， 并使用戶能够物理地触摸具 有精确触觉 （形状，硬度， 重量和温度） 感觉的虚拟对象。智能手套实现 了与虚拟世界的沉浸式互动，并探索了新的可 能性和应用 。此外，智能手 套可以直接在任何图形处理器（gpu）上执行和 使用图形处理器（gpu）的资源 並可快速计算和实时处理指向 VRL世界中的三维运动。

根据本发明的虚拟现实输入和触觉反馈系统， 能提供至少以下优点：

^· 在 VR/AR/MR世界中实现真实的感觉和增强现实环境� ��具有精确的触 觉 （形状，硬度， 重量和温度） 感觉。

^· 当用戶握住 “虚拟物体” 时， 用戶将感受到力反馈， 力保持扭矩，反作 用力和物件上的形状和紋理。

·通过使用气流能量躯动系统和特殊的化学物� ��反应来执行物体力反馈， 力保持扭矩，反作用力 ，物件上的形状和紋理。

^· 通过手指和手臂运动跟踪系统来测量虚拟 世界中用戶的手臂 ， 手腕和反 向运动。

^· 每个手套都嵌入了陀螺仅，加速度计和磁 力计 ， 以测量用戶手和运动的 方向 ，并将测量的方向输出到机器人手臂系统， 以躯动和控制机器人手 臂。

^· 使用完全无线技术，提供真正身临其境的 体验，不会受到电线的妨碍。

^· 智能虚拟手套（智能手套）系统嵌入图形 处理器（GPU）， I0S和 Android 应用程序。

本发明旨在提供一种虚拟现实输入和触觉反馈 系统，其用于感测用戶 手部运动的虚拟现实数据输入系统，并能向所 述用戶手部提供反馈感 ， 包 括：

处理装置， 其具有数据接口 ；

可穿戴在该用戶手部的可穿戴物，所述可穿戴 物包括手指部分和手掌 部分； 传感器系统， 其包括：

至少一个加速度计设置在每个手指部分；

至少一个挠性传感器设置在每个指状部；以及

至少一个其它传感器设置在手指部分或手掌部 分中的任何一个中 ； 电子控制装置，其与至少一个所述加速度计和 至少一个所述棍性传感 器电连接， 并配置成接收来至少一个所述自加速度计和至 少一个所述挠性 传感器所发出的电信号 ，并将所述电信号转换为输入数据，通过所述 数据 接口传输至所述处理装置；

反馈系统， 其包括：

至少一个流体致动装置；

至少一个可膨胀构件，所述多个可膨胀构件设 置在所述手指部分及 所述手掌部分上；

至少一个活动阀门 ，其与所述至少一个流体致动装置连接； 以及 触觉反馈装置，其可变的表面被配置成仿真虚 拟表面的柔软性或纹 理，

所述至少一个可膨胀构件与所述流体致动装置 流体连接， 用于对可 膨胀构件进行加压，所述至少一个活动阀门 ，其使可膨胀构件维持气 密或减压，所述反馈系统被配置成向所述用戶 手部的至少一部分施加 或减少压力；

所述流体致动装置，所述活动阀门及所述触觉 反馈装置分别与所述电 子控制装置连接，所述处理装置根据从所述输 入数据计算为所述用戶的手 部各部分提供反馈的力度及幅度，并将输出数 据传输至所述电子控制装 置， 所述电子控制装置通过向所述反馈系统发出控 制信号 ， 以控制所述 流体致动装置及所述活动阀门使得所述可膨胀 构件加压膨胀， 维持气密或 减压收缩，及所述触觉反馈装置表面的变化， 从而为所述用戶的手部提供 仿真压力及表面质地的触觉感知。

在一个实施例中 ，所述触觉反馈装置由多个可独立控制的触觉 反馈组 件排列组成。

在一个实施例中 ，所述触觉反馈组件排列组成矩阵结构 ，并且每个所 述触觉反馈组件因应电流的通过时其柔软度降 低或变硬， 并且所述所述触 觉反馈组件均由所述电子控制装置控制。

在一个实施例中 ，所述的触觉反馈组件由包含淀粉溶剂及硅凝 胶的复 合物组成。

在一个实施例中 ，控制所述的触觉反馈组件由所述电子控制装 置以脉 冲宽度调制的方式驱动， 以产生不同的柔软度或硬度。

在一个实施例中 ，所述触觉反馈装置通过其独立控制的所述的 触觉反 馈组件， 以模疑物质表面的物理形态 ，所述触觉反馈装置贴于用戶的手指 上时，所述触觉反馈装置使用戶感知所述模疑 物质表面的表面特性。

在一个实施例中 ，所述的表面特性包括： 平滑，粗链， 柔软及坚硬。 在一个实施例中 ， 其中 ，所述的可膨胀构件是由至第一层及第二层的 薄膜组成，所述第一层及第二层的薄膜由不同 有机聚合物塑胶及树脂膜物 料而构成。

在一个实施例中 ， 其中 ，所述第一层为可膨胀的软薄膜， 由树脂膜物 料组成.

在一个实施例中 ， 其中 ， 第二层为不可膨胀的硬薄膜 ， 由有机聚合物 的塑胶物料组成。

在一个实施例中 ，所述的可膨胀构件通过处理器控制所述第一 层的软 薄膜的膨胀， 令膨胀的部分产生了成托力及挤压力 ，使得用戶端的手掌感 觉有力的反馈。 在一个实施例中 ，所述的触觉反馈装置为模仿形状纹理电变薄 膜，所 述电变薄膜由聚合物、直链淀粉颗粒及支链淀 粉颗粒混合而成的啫喱状态 流体。

在一个实施例中 ，所述电变薄膜经电流通过的时间长度及电压 强度， 使得所述啫喱状态流体硬化，并且团积在一起 形成硬块。

在一个实施例中 ， 其中 ，所述电变薄膜由两层的树脂薄膜组成 ， 而每 个所述树脂薄膜中嵌入电极接触板， 以及区分离域件。

在一个实施例中 ，所述树脂薄膜包括多种有机聚脂，如聚对苯 二曱酸 乙二醇酯（PET） 、 聚碳酸酯（PC） 、 聚酰亚胺 、 聚酰胺 、 聚酰胺-酰亚胺 （PAI） ＞位于两层所述树脂薄膜之间安置有所述区分 离域件 ， 以形成多个 点阵排列的纹理像素元件，每个所述纹理像素 具有所述啫喱状态流体，设 置成所述模仿形状纹理电变薄膜，通过行列点 阵驱动器以控制每个所述纹 理像素元件电压开关，使所述啫喱状态流体产 生化学反应 ， 从而使至少一 个所述纹理像素元件中的所述啫喱状流体硬化 ， 以模仿形状纹理。

在一个实施例中 ，所述流体致动装置为电动气泵， 而所述可膨胀构件 为充气囊。

在一个实施例中 ，所述活动阀门为磁流体控制阀 ，所述活动阀门于通 电时关闭其阀门 ， 以防止流体通过。

在一个实施例中 ，所述活动阀门由所述电子控制装置以脉冲宽 度调制 的方式控制及驱动。

在一个实施例中 ，所述活动阀门可处于开启 ，部分开启及关闭状态 ， 使可膨胀构件可处于不同压力状态 ， 以对所述用戶手部产生或维持不同的 反馈力度。

在一个实施例中 ，所述触觉反馈装置设置于所述可穿戴物的内 部，在 使用时其位于所述用戶手部与所述可膨胀构件 之间。 在一个实施例中 ，所述的系统还包括监视所述反馈系统的局部 流体 压力的传感器 。

在一个实施例中 ，所述可穿戴物为软性手套。

根据本发明的另一个方面 ，提供一种用于感测用戶手部运动并且将 该运动数据输入到虚拟现实的方法，包括以下 步骤：

提供根据以上任意一项权利要求所述的系统；

接收所述用戶手部进入所述可穿戴物内 ；

所述传感器系统收集的基于用戶手部动作将相 关讯号输送到所述电子 控制装置；

所述电子控制装置将所述电信号转为动作数据 ，并传输到所述处理装 置；

所述处理装置将所述数据参数进行分析 ，并计算相关的反馈力的数 据， 发送到所述电子控制装置；

所述电子控制装置通过所述反馈力的数据控制 所述反馈系统， 以通过 所述反馈系统向用戶手部提供相应的反馈力 ， 以模疑在虚拟现实中手握模 疑物件的反作用力 ； 以及

所述处理装置将虚拟现实中的物质表面的数据 或参数传到所述电子控 制装置，所述电子控制装置控制所述触觉反馈 装置，使所述触觉反馈装置 向所述用戶的手部提供感知， 以模疑所述虚拟现实中的物质表面的物理形 态。 附图说明：

以下参照附图通过示例的方式描述本发明的实 施例 ， 附图中 ： 图 1是说明根据所公开的实施方案中的一个有触� �和力反馈的智能 手套的架构实施方案。 图 2是说明根据所公开的实施方案中的一个用于� �拟及扩增实境对 象的触觉、纹理、形状、温度及力反馈的智能 手套的系统的简化示意图提 供；

图 3 a是根据所公开的实施方案中的左手手掌背面� �套的更详细说明 的示意图 ；

图 3b是根据公开的实施方案中的左手手掌正面手� ��的更详细说明的 示意图 ；

图 4a是根据公开的实施方案中的触感系统中的模� ��形状纹理电变薄 膜（形状电板）的横切面的结构示意图 ；

图 4b是根据公开的实施方案中的触感系统中的模� ��形状纹理电变薄 膜的简易控制原理图 ；

图 5a是根据公开的实施方案中的其中的一款微型� ��磁气流活塞系统 （微磁流体控制立方体）的结构示意图 ；

图 5b是根据公开的实施方案中的其中的一款微型� ��磁气流活塞系统 的正横切面的结构示意图 ；

图 5c是根据公开的实施方案中的其中的一款微型� ��磁气流活塞系统 的底部的结构示意图 ；

图 5 d是根据公开的实施方案中的其中的一款微型� �磁气流活塞系统 的顶部的结构示意图 ； 以及

图 6是根据公开的实施方案中的手套的更详细说� �的结构分布示意图 。 具体实施方式

以下将结合本发明实施例中的附图 ，对本发明实施例中的技术方案进 行清楚、 完整的描述， 显然 ，所描述的实施例仅是本发明一部分实施例 ， 而不是全部的实施例。基于本发明中的实施例 ，本领域普通技术人员在没 有做出创造性劳动前提下所获得的所有其他实 施例 ，都属于本发明保护的 范围 。

本文公开的一些实施例总体上涉及被配置为触 觉表示与 VR， AR及 MR 空间中的人接触的虚拟对象的触觉反馈装置。 智能手套应用气流能量驱动 技术，特殊的化学物质反应控制技术和先进的 运动捕捉算法，在虚拟现实 （VR） /增强现实 （AR） /混合现实 （MR） 的世界中以精确的触觉感受 （形 状，硬度） 执行真实物体感觉，保持扭矩，施力和物体表 面温度及纹理） 和触摸 （触觉） 感觉。我们与大多数触觉传感系统 （应用服务电机驱动系 统） 不同 ， 以执行触觉感觉和触觉感受。 当您想要在虚拟 /增强世界中抓 取物体时， 智能手套指尖上的袖口会膨胀并在指尖上施加 压力 ， 因此用戶 可以无缝地感受虚拟物体并产生 “触摸” 感觉； 或者可以说智能手套刺激 你的手来传达气流能量的情感用途。

此外，智能手套不仅可以使您的手指适应虚拟 物体的形状，还可以动 态地改变气流来模拟虚拟物体的硬度， 因此用戶不仅可以感知虚拟物体的 物理存在，还可以感知其形状和重量 ，例如虚拟金属剑和虚拟橡胶玩偶之 间的区别 。小袋的指尖确实可以灵活和充气， 以产生触感。此外，智能手 套执行感应虚拟物体的物体表面温度，例如将 手放在冷水和靠近燃烧的壁 炉的情况之间的差异。

智能手套可与其自己的软件开发工具包 （SDK） 结合使用 ，使 VR / AR / MR开发人员能够轻松地在虚拟环境中使用不同� ��功能。 开发人员可以使 用 SDK通过 Facebook Oculus， HTC Vive， Sony PlayStat ion VR， Samsung Gear VR， Microsoft HoloLens， Google Daydream， Google Cardboard和 其他 VR / AR / MR设备开发应用程序。

根据图 1 所示中的触感和力反馈的智能手套的架构的简 化方块示意图 。 触觉神经人工智能系统主要分为两部分： 1. 在智能手套上的触觉神经人工智能处理器 (Haptic Arti f icial Neural A I core processor) 209及 301 ; 以及

2. 在用戶端的计算机中的应用软件程式的触觉神 经原人工智能程式 100。

系统架构中包括以下设备：

- 100是计算机设备 (包括电脑、智能电话、平板式电脑装置)；

- 101是头戴式显示器的设备；

- 102是本专利设计的触感和力反馈的智能手套；

- 103是连接到互联网 ； 以及

- 104是触觉神经人工智能程式库的工作站及伺服 器设备。

100 是用来安装触觉神经人工智能系统的程式来对 应智能手套的连接 触感数据， 计算及连接头戴式显示器 101 ，及智能手套的信号连接到 102。 而且程式可上载和下载从互联网上与 104的程式库连接更新 100 内程式的 触觉神经系统。

103 是本专利设计的触感和力反馈的智能手套，触 感和力反馈的智能 手套内嵌入一颗触觉神经人工智能处理器来实 践用戶端的在虚拟世界中接 触的物件的触感 、纹理、形状、温度及重量等触感数据。

根据图 2 及 3a所示中的触感和力反馈的智能手套的简化示� ��图 ，触 觉神经人工智能处理器主要是使用 、控制方法及应用原理：

1. 收集手套背面以下的传感器：

最少四组加速度传感器 315、 316、 320、 324 手指指尖的移动运动数 据；

最少两组惯性测量传感器 304 的手掌背面中心位置、 309 的大拇指指 尖的移动运动数据；

最少五组弯曲感测传感器 328、 329、 330、 331 及 332 的手指关节的 运动反应数据；

2. 把收集回来的移动运动的数据、计算及优化转 成整个手部的三维 座标 (C-axi s， Y-axi s及 Z-axis)， 并且进行预测手部的移动路怪和活动， 把计算及优化后的数据经无线装置 /有线装置传回给计算机中的触觉神经 人工智能系统中的程式来进一步计算触觉及力 反馈的触感数据。

3. 把计算机传回的触感数据、分析、 组合出来去控制以下好触觉、 纹理、形状、温度、软硬度、力的反馈及手掌 的制压力 ：

控制 303及 305的充气装置；

控制及开关 210及 307的活塞装置；

控制模仿到形状纹理电变薄膜的二维行列电路 装置 302来控制模仿形 状纹理电变薄膜的点阵来仿真虚拟物件上的纹 理等资讯给手掌部；

控制微型电磁气流活塞装置的活门的开关 201 、 202、 203、 204、 208、 209、 310、 31 1 、 312、 313、 314、 317、 318、 319、 321 、 322、 323、 325、 326、 327等活塞装置而使不同或有相关虚拟物件的形 状的可膨胀装置及对 应手掌对虚拟物件的位置而充气或放气；

控制及量度整个气流装置 214/307的压力 。

215 是智能手套的无线及有线的通信设备， 无线装置的设备是使用蓝 芽 5. 0的无线电技术及有线装置的设备是使用 USB3. 0 superspeed 的技术 来与计算机来传输触感数据及虚拟 /扩增实境的虚拟实境的物件及用戶端 的手部活动的数据。

216是智能手套的可充电池装置。

217 是智能手套的可充电的电池部分， 电池是使用可充电的锂离子电 池、锂离子聚合物电池等可充电池；

根据图 3b 所示中的触感和力反馈的智能手套的手掌可膨 胀薄膜装置 简化示意图是其中一款智能手套的手掌可膨胀 薄膜装置的设计是由以下物 质所组成:

两层不同的有机聚合物塑胶及树脂膜物料而构 成，例如 ：

^· 第一层的可膨胀的软薄膜 是使用树脂膜物料组成；

^· 第二层是不可膨胀的硬薄膜 是使用有机聚合物塑胶物料组成； 透过触觉神经人工智能处理器 、 气流装置、微型 、活门的装置设备的 控制使可膨胀的软薄膜膨胀， 令膨胀的部分产生了成托力及挤压感 ， 而令 到用戶端的手掌感觉有力的反馈及力矩。可膨 胀的部分的数量越多及越细 力的反馈及力矩越大及真实。

根据图 4a及 4b所示中的模仿形状纹理电变薄膜主要的设计� ��由聚合 物、直链淀粉颗粒及支链淀粉颗粒制造而成的 啫喱状态的流体 417及 431。

417及 431 经通过电流的强度和应用时的时间长度， 而令到 417/431 由啫 喱状态的流体变为硬化而且团积在一起形成硬 化状态。

模仿形状纹理电变薄膜的控制方法及应用原理 如下：

模仿形状纹理电变薄膜的设计是由两层树脂膜 所组成：

· 408(418)是第一层树脂薄膜；

^· 413(422)是第二层树脂薄膜 ， 以上两层薄膜中嵌入极细小的电极 接触板 407 ( 428 ) 、 412 ( 423 ) ;

^· 数个区域分离件 (separated Rod) 415(426)、 410 ( 420 ) ;以及

^· 417/431 聚合物、直链淀粉颗粒及支链淀粉颗粒制造而 成的啫喱状 态的流体。 (423 是固硬化后的聚合物、直链淀粉颗粒及支链淀 粉 颗粒制造而成的啫喱状态流体)。

所述的树脂膜包括聚对苯二曱酸乙二醇酯 (PET)、聚碳酸酯 (PC)、聚 酰亚胺、聚酰胺、聚酰胺-酰亚胺 (PAI )多种有机聚脂形成一小小的模仿形 状纹理的小六角型方块来编织触感系统的形状 及透过模仿纹理数据透过电 流的流动而产生的化学反应使喑喔状的聚合物 、直链淀粉颗粒及支链淀粉 颗粒而形成固硬化的状态来产生纹理及软硬度 ， 六角型面积越细 ， 纹理越 细致及真实。

模仿形状纹理电变薄膜的控制方法， 根据图 4b所示中：

模仿形状纹理电变薄膜的主要是使用二维收缩 行列点阵 ( 2D Systol ic Row and Column Array) 来控制纹理、物品的软硬度等的触感资料给手 掌； 透过从触觉神经人工智能处理器 436 发送触感数据中的形状纹理的数 据 434及 435， 434数据往 433 的模仿形状纹理电变薄膜的行点阵控制电 路装置 (是薄膜的第一层薄膜)及 435数据往 432 的模仿形状纹理电变薄膜 的列点阵控制电路。

透过电压通过第一层薄膜中的上层电极板 428(407)导通电流往

424(410)及 423 下层电极板流走； 当电流 424Z(410)而产生化学反应使使 °者喔状的 424—瞬间固硬化的状态来产生纹理及软硬度。

根据图 5所示中的其中一款微型电磁气流活塞的设计� �可透过这设计 来设计不同气流的流动方向 ，从而达致所对应的可膨胀薄膜装置来充气或 放气。微型电磁气流活塞应用原理及装置组成 如下：

微型电磁气流活塞是由 501、 502、 503、 504、 505、 506 及 507 的组 件来构成。 501 及 503 的组件是用有机聚合物塑胶材质 ， 有机聚合物塑胶 包括聚丙烯 (PP)、聚苯乙烯 (PS)、高冲击聚苯乙烯 (HIPS)、 ABS树脂 (ABS)、 聚乙烯对苯二曱酸酯 (PET)、聚酯 (PES)、聚酰胺 (PA)、聚氯乙烯 (PVC)、 聚氨酯 (PU)、聚碳酸酯 (PC)、聚二氯乙烯 (PVDC)、聚乙烯 ( PE)、三聚氰 胺-曱醛树脂 (MF)、尿素曱醛树脂 (UF)、酚醛树脂 (PF)、聚醚亚酰胺 (PEI )、 聚醚醚酮 (PEEK)、聚四氟乙烯 (PTFE)、聚曱基丙烯酸曱酯 (PMMA)、聚乳酸 (PLA)多种有机聚合物塑胶。 502 是用橡胶来做的薄膜，橡胶包括合成橡 胶、天然橡胶及丁苯橡胶。 506是一微细的磁片， 504、 505及 507是用导 电聚合物塑胶来制造原件， 导电聚合物塑胶包括聚乙炔、聚对苯乙烯、聚 吡咯、聚噻吩、聚苯胺、聚苯硫醚多种有机聚 合物塑胶。 507 是可导电的 电磁棒。

微型电磁气流活塞控制方法及应用原理如下：

微型电磁气流活塞的设计是正常开放 (Normal Open)的状态的活塞装 置，而且完全由数码逻辑电路 (逻辑电路’ 1 ^’ 或’ 0 ^’ )来控制机械式的活塞开 关， 而且不局限于图 5中的设计。 举例如气流由 508流出 509处，只要有气 流由 508流往时， 500是可以直接流往 509处， 而处理器都不需要任何控 制自由把气流往所需要的管道， 若把微型电磁气流活塞关闭， 触觉神经人 工智能处理器会发送逻辑电路’ 1 ^’ 电流从 504流入把 507产生磁场把 506及 502 自动拉往 507处而且紧黏在 507处， 而令到 508 及 509的气管被 502 紧紧地倒塞了气道而封闭。 由 507所产生的电能转变磁力的应力约 l OOKPa 至 500KPa 。

图 6 中是整个智能手套的结构分布， 600及 607是智能手套的最外层 (即智能手套的最表面) ， 是使用聚酯纤维 (Polyester)的衣服原材料来制 造手套， 601 是微型电磁气流活塞原件， 602 是放置三轴加速度计 (3_axis accelerometer)或九轴惯性测量单元的传感器 。三轴加速度传感器分别放 置在食指手指头、 中指手指头、无名指手指头及尾指手指头的位 置， 而九 轴惯性测量传感器 (9_axis inertial measurement unit)分别放置在大拇 指手指头及手掌背面中间位置放置来量度手指 的活动方向， 活动速度等的 数据给触觉神经人工智能处理器。 603 是弯曲感测传感器来加强手指的关 节的回跳力和反应速度。 604 是使用者的手指 。 605 是模仿形状纹理电变 薄膜， 是使用戶在虚拟世界及扩增实境中触虚拟物件 的表面纹理、虚拟物 件的软硬度。

虽然本说明书按照实施方式加以描述，但并非 每个实施方式仅包含一 个独立的技术方案 ，说明书的这种叙述方式仅仅是为清楚起见， 本领域技 术人员应当将说明书作为一个整体，各实施例 中的技术方案也可以经适当 组合，形成本领域技术人员可以理解的其他实 施方式。本发明的范围由所 附权利要求而不是上述说明限定， 因此旨在将落在权利要求的等同要件的 含义和范围内的所有变化囊括在本发明内 。

对于本领域技术人员而言 ，本发明不限于上述示范性实施例的细节 ， 而且在不背离本发明的精神或基本特征的情况 下， 能够以其他的具体形式 实现本发明 。 因此，上述的实施例应被看作为示范性的 ， 而且是非限制性 的。