LUO JINGXIN (CN)
DING PENG (CN)
CN103096017A | 2013-05-08 | |||
CN102648626A | 2012-08-22 | |||
CN101854511A | 2010-10-06 | |||
CN101951474A | 2011-01-19 | |||
US20130002799A1 | 2013-01-03 |
北京康信知识产权代理有限责任公司 (CN)
权 利 要 求 书 、 一种视频会议体感控制方法, 包括: 体感控制器在视频会议过程中感应获取用户的手势动作信息帧, 并发送至 视频会议终端; 所述视频会议终端接收到所述体感控制器发来的手势动作信息帧后, 对所 述手势动作信息帧进行处理;根据处理结果进行相应的 GUI界面控制操作或输 入。 、 根据权利要求 1所述的方法, 其中, 所述视频会议终端对所述手势动作信息帧 进行处理包括: 所述视频会议终端对所述手势动作信息帧进行解析, 获取用户手势动作对 应的数据; 根据获取的数据生成用户手势动作信息, 所述用户手势动作信息包括如下 信息中的一个或多个: 平移运动参数、 旋转运动参数、 膨胀参数、 变形参数以 及方位参数; 根据所述用户手势动作信息确定用户的体感动作方式。 、 根据权利要求 2所述的方法, 其中, 所述视频会议终端根据处理结果进行相应 的 GUI界面操作或输入包括: 所述视频会议终端根据用户的体感动作方式查找预设的动作事件映射表, 获取对应的事件类型; 视频会议终端中的软件系统根据获取的所述对应的事件类型进行相应的 GUI界面操作或输入。 、 根据权利要求 1、 2或 3所述的方法, 其中, 在所述体感控制器在视频会议过程 中感应获取用户的手势动作信息帧之前, 所述方法还包括: 所述视频会议终端配置用户的体感动作方式与对应的事件类型之间的动作 事件映射表。 、 根据权利要求 3所述的方法, 其中, 在所述视频会议终端根据用户的体感动作 方式查找预设的动作事件映射表,获取对应的事件类型之前,所述方法还包括: 所述视频会议终端判断所述用户的体感动作方式对应的手势状态是否符合 预设条件, 若是, 则根据用户的体感动作方式查找预设的动作事件映射表, 获 取对应的事件类型。 、 一种视频会议体感控制方法, 包括: 视频会议终端接收体感控制器发来的手势动作信息帧; 对所述手势动作信息帧进行处理; 根据处理结果进行相应的 GUI界面操作或输入。 、 根据权利要求 6所述的方法, 其中, 所述对手势动作信息帧进行处理包括: 对所述手势动作信息帧进行解析, 获取用户手势动作对应的数据; 根据获取的数据生成用户手势动作信息, 所述用户手势动作信息包括如下 信息中的一个或多个: 平移运动参数、 旋转运动参数、 膨胀参数、 变形参数以 及方位参数; 根据所述用户手势动作信息确定用户的体感动作方式。 、 根据权利要求 7所述的方法, 其中, 所述根据处理结果进行相应的 GUI界面操 作或输入包括: 根据用户的体感动作方式查找预设的动作事件映射表, 获取对应的事件类 型; 通过视频会议终端中的软件系统根据获取的所述对应的事件类型进行相应 的 GUI界面操作或输入。 、 根据权利要求 8所述的方法, 其中, 在根据用户的体感动作方式查找预设的动 作事件映射表, 获取对应的事件类型之前, 所述方法还包括: 配置用户的体感动作方式与对应的事件类型之间的动作事件映射表。 0、 根据权利要求 8或 9所述的方法, 其中, 在根据用户的体感动作方式查找预设 的动作事件映射表, 获取对应的事件类型之前, 所述方法还包括: 判断所述用户的体感动作方式对应的手势状态是否符合预设条件, 若是, 则根据用户的体感动作方式查找预设的动作事件映射表,获取对应的事件类型。 1、 一种视频会议体感控制系统, 包括: 体感控制器、 视频会议终端以及至少一显 示设备,所述视频会议终端分别与所述体感控制器及所述显示设备连接 # 所述体感控制器, 设置为在视频会议过程中感应获取用户的手势动作信息 帧, 并发送至所述视频会议终端; 所述视频会议终端, 设置为接收到所述体感控制器发来的手势动作信息帧 后, 对所述手势动作信息帧进行处理, 并根据处理结果进行相应的 GUI界面操 作或输入; 所述显示设备, 设置为根据所述视频会议终端的输出进行视频会议和 GUI 界面的显示。 、 根据权利要求 11所述的系统, 其中, 所述视频会议终端, 还设置为对所述手势动作信息帧进行解析, 获取用户 手势动作对应的数据,根据获取的数据生成用户手势动作信息;根据所述用户手 势动作信息确定用户的体感动作方式。 、 根据权利要求 11所述的系统, 其中, 所述视频会议终端, 还设置为根据用户的体感动作方式查找预设的动作事 件映射表, 获取对应的事件类型; 通过所述视频会议终端中的软件系统根据获 取的所述对应的事件类型进行相应的 GUI界面操作或输入。 、 根据权利要求 13所述的系统, 其中, 所述视频会议终端, 还设置为配置用户的体感动作方式与对应的事件类型 之间的动作事件映射表。 、 根据权利要求 13或 14所述的系统, 其中, 所述视频会议终端, 还设置为判断所述用户的体感动作方式对应的手势状 态是否符合预设条件, 若是, 则根据用户的体感动作方式查找预设的动作事件 映射表, 获取对应的事件类型。 、 一种视频会议终端, 包括: 接收模块, 设置为接收体感控制器发来的手势动作信息帧; 处理模块, 设置为对所述手势动作信息帧进行处理; 事件控制模块, 设置为根据处理结果进行相应的 GUI界面操作或输入。 根据权利要求 16所述的视频会议终端, 其中, 所述处理模块包括: 解析单元, 设置为对所述手势动作信息帧进行解析, 获取用户手势动作对 应的数据生成单元, 设置为根据获取的数据生成用户手势动作信息, 所述用户 手势动作信息包括如下信息中的一个或多个: 平移运动参数、 旋转运动参数、 膨胀参数、 变形参数以及方位参数; 判定单元, 设置为根据所述用户手势动作信息确定用户的体感动作方式。 、 根据权利要求 16所述的视频会议终端, 其中, 所述事件控制模块包括: 查找单元, 设置为根据用户的体感动作方式查找预设的动作事件映射表, 获取对应的事件类型; 发送单元, 设置为通过所述视频会议终端中的软件系统根据获取的所述对 应的事件类型进行相应的 GUI界面操作或输入。 、 根据权利要求 18所述的视频会议终端, 还包括: 配置模块, 设置为配置用户的体感动作方式与对应的事件类型之间的动作 事件映射表。 、 根据权利要求 18或 19所述的视频会议终端, 还包括: 判断模块, 设置为判断所述用户的体感动作方式对应的手势状态是否符合 预设条件, 若是, 则由所述查找单元根据用户的体感动作方式查找预设的动作 事件映射表, 获取对应的事件类型。 |
Leap Motion) 的视频会议系统来代替传统视频会议中利用遥 控器、 白板、 课件文档等 操作业务的会议电视系统, 实现视频会议过程中更方便舒适、 自由的人机交互方式, 以提高视频会议方便性与舒适性。 本实施例方法运行环境涉及体感控制器、 视频会议终端以及显示设备, 其中: 显示设备可以为具有显示功能的设备, 比如电视、 PC、 笔记本、 手机以及平板电 脑等, 本实施例以电视进行举例; 显示设备可以根据会议需要分布在多个点, 实现远 程电视会议; 体感控制器具体可以采用 Leap Motion体感控制器, 体感控制器在视频会议过程 中感应获取用户的手势动作信息帧, 并发送至视频会议终端。 视频会议终端需要能够支持 Leap Motion体感动作操控。 视频会议终端通过有线或无线接口与 Leap Motion 体感控制器通信, 接收 Leap Motion发送来的关于手的动作信息帧。每一个信 息帧检测到的信息包括: 手掌、手指、 手持工具 (细的、 笔直的、 比手指长的东西等)、 所有可指向对象等的列表和信息。 步骤 S102, 所述视频会议终端接收到所述体感控制器发来 的手势动作信息帧后, 对所述手势动作信息帧进行处理,根据处理结 果进行相应的 GUI界面控制操作或输入。 视频会议终端接收到体感控制器发来的手势动 作信息帧后, 会进行体感动作的解 析。 具体过程如下: 首先, 视频会议终端接收 Leap Motion等体感控制器发来的手势动作信息帧后, 对其进行解析, 获取用户手势动作过程中的每一帧数据; 然后, 比较前后帧数据的差异, 生成用户手势动作信息, 其中, 用户手势动作信 息根据不同的应用场景可以包括以下信息: 平移运动参数、旋转运动参数、膨胀参数、 变形参数以及方位参数中的一个或多个, 当然还可以包括其他各种能判断手势动作的 信息中的一个或多个, 或者其他信息与上述各参数的组合等, 在此不再列举。 之后, 视频会议终端根据生成的用户手势动作信息确 定用户的体感动作方式, 比 如: 平移、 旋转、 抓取或者缩放等动作方式。 而对于用户手持的工具, 则可以识别出 其长度、 宽度、 方向、 位置和速度等。 获取的这些手掌、 手指和手持工具等的信息即 可作为后续进一步体感动作控制使用。 之后, 视频会议终端根据用户的体感动作方式查找预 设的动作事件映射表, 获取 对应的事件类型。 本实施例预先设定有一动作事件映射表, 在该动作事件映射表中存 储有设定的用户的体感动作方式及其对应的事 件类型, 比如, 手指的左右上下平移、 旋转、 拖拽、 抓取、 伸张在屏幕上可能需要对应显示成屏幕的左右 翻页、 上下滚动, 抓取文件或图标将其从一个地方拖到另一个地 方, 对文档或图片做放大或缩小显示, 对桌面图标的点击等等。 即需要将用户的体感动作方式转换为电视终端 屏幕上对应的 操作, 从而精准、 真实的实现手势原本想要达到的目的。 视频会议终端在获取到用户体感动作方式对应 的事件类型后, 视频会议终端中的 软件系统根据对应的事件类型进行相应的 GUI界面操作或输入,最终显示在显示设备 上的效果比如为在电视屏幕进行左右翻页、 上下滚动, 抓取文件或图标将其从一个地 方拖到另一个地方, 对文档或图片做放大或缩小显示, 对桌面图标的点击等。 视频会议终端中的软件系统会将体感控制事件 执行结果输出至视频会议中的每一 显示设备, 显示设备根据视频会议终端的输出进行视频会 议和 GUI界面的显示。 以电视为例, 作为用户体感动作的体现, 电视在从视频会议终端接收到体感控制 事件执行结果的输出信息后, 根据手势的动作范围和电视机显示屏幕的大小 , 按比例 生成显示信息,提交到上层 GUI显示模块在屏幕上显示出真实手指、手持工 具的图像。 或者, 由视频会议终端体现出用户的动作意图后, 例如操作屏幕上关机按键的体感动 作完成后, 电视终端正常响应手势而安全关机。 如图 2所示, 其为本实施例中带 Leap Motion的会议电视的示意图。 本实施例通过上述方案, 通过在传统会议电视系统中加入 Leap Motion等体感控 制器硬件, 通过体感控制器在视频会议过程中感应用户的 手势动作信息帧, 并发送至 视频会议终端; 视频会议终端接收到所述体感控制器发来的手 势动作信息帧后, 对手 势动作信息帧进行解析, 获取用户的体感动作方式; 根据用户的体感动作方式查找预 设的动作事件映射表, 获取对应的事件类型, 由视频会议终端中的软件系统根据获取 的对应的事件类型进行相应的 GUI界面操作或输入, 使得视频会议的参与者完全脱离 现有的遥控器、 手写白板等工具, 也不必局促于坐在电脑前讲解课件等现象, 与会者 仅仅只需通过手势隔空操作显示界面, 由此,通过隔空的动作达到操作显示屏的目的 。 相比于目前传统的会议电视系统, 除了给用户带来更方便舒适的人机交互方式和 更自 由的与会感受外, 也提高了视频会议的灵活性、 方便性与舒适性。 如图 3所示, 本发明另一实施例提出一种视频会议体感控制 方法, 在上述第一实 施例的基础上, 在上述步骤 S101 : 体感控制器在视频会议过程中感应获取用户的 手势 动作信息帧之前, 该方法还可以包括: 步骤 S100,视频会议终端配置用户的体感动作方式与 应的事件类型之间的动作 事件映射表。 本实施例与上述第一实施例的区别在于, 本实施例还包括配置用户的体感动作方 式与对应的事件类型之间的动作事件映射表。 具体地, 本实施例针对用户的每一体感动作方式设定有 一对应的事件类型, 并将 设定的用户的体感动作方式及其对应的事件类 型存储至动作事件映射表中, 比如, 手 指的左右上下平移、 旋转、 拖拽、 抓取、 伸张在屏幕上可能需要对应显示成屏幕的左 右翻页、 上下滚动, 抓取文件或图标将其从一个地方拖到另一个地 方, 对文档或图片 做放大或缩小显示, 对桌面图标的点击等等。 即需要将用户的体感动作方式转换为电 视终端屏幕上对应的操作, 从而精准、 真实的实现手势原本想要达到的目的。 后续,视频会议终端在获取到用户体感动作方 式后, 即可查找该动作事件映射表, 获取对应的事件类型, 之后视频会议终端中的软件系统即可根据对应 的事件类型, 进 行相应的 GUI界面操作或输入。 需要说明的是, 上述步骤 S100还可以在上述步骤 S102之前实施。 本实施例通过上述方案, 通过设定用户的体感动作方式与对应的事件类 型之间的 动作事件映射表, 并在传统会议电视系统中加入 Leap Motion等体感控制器硬件, 通 过体感控制器在视频会议过程中感应用户的手 势动作信息帧,并发送至视频会议终端; 视频会议终端接收到所述体感控制器发来的手 势动作信息帧后, 对手势动作信息帧进 行解析, 获取用户的体感动作方式; 根据用户的体感动作方式查找预设的动作事件 映 射表, 获取对应的事件类型, 视频会议终端中的软件系统根据获取的所述对 应的事件 类型进行相应的 GUI界面操作或输入,使得视频会议的参与者完 全脱离现有的遥控器、 手写白板等工具, 也不必局促于坐在电脑前讲解课件等现象, 与会者仅仅只需通过手 势隔空操作显示界面, 相比于目前传统的会议电视系统, 除了给用户带来更方便舒适 的人机交互方式和更自由的与会感受外, 也提高了视频会议的灵活性、 方便性与舒适 性。 进一步地, 本实施例还可以包括对用户的体感动作方式对 应的手势状态进行判断 的方案, 以防止用户的误操作。 例如, 传统的鼠标操作中, 鼠标被悬空后的移动在屏幕上是不表现出来的 , 同理, 在本实施例中, 也需要有这样的处理方式来实现操作者想移动 双手但又不希望该移动 表现在屏幕上的意图。 因此, 可以针对用户的手势状态, 约定一种标准条件(预设条件), 当用户的体感 动作方式对应的手势状态符合预设条件时, 根据用户的体感动作方式查找预设的动作 事件映射表, 获取对应的事件类型, 以便视频会议终端中的软件系统根据获取的所 述 对应的事件类型进行相应的 GUI界面操作或输入; 否则, 用户的体感动作方式对应的 手势状态不符合预设条件时, 不执行上述操作, 使手势动作不在屏幕上显示或生效。 比如, 可以设定以下条件, 当检测到用户的手势类似握拳状态即没有手指 指尖信 息的时候, 手势的移动不在屏幕上显示。 从而避免了用户的误操作, 提高了视频会议 的有效性。 本实施例通过上述方案, 通过在传统会议电视系统中加入 Leap Motion等体感控 制器硬件, 通过体感控制器在视频会议过程中感应用户的 手势动作信息帧, 并发送至 视频会议终端; 视频会议终端接收到所述体感控制器发来的手 势动作信息帧后, 对手 势动作信息帧进行解析, 获取用户的体感动作方式; 根据用户的体感动作方式查找预 设的动作事件映射表, 获取对应的事件类型, 视频会议终端中的软件系统根据获取的 所述对应的事件类型进行相应的 GUI界面操作或输入, 使得视频会议的参与者完全脱 离现有的遥控器、 手写白板等工具, 也不必局促于坐在电脑前讲解课件等现象, 与会 者仅仅只需通过手势隔空操作显示界面, 相比于目前传统的会议电视系统, 除了给用 户带来更方便舒适的人机交互方式和更自由的 与会感受外, 也提高了视频会议的灵活 性、 方便性与舒适性。 此外, 还可对用户的体感动作方式对应的手势状态进 行判断, 以防止用户的误操作, 提高视频会议的有效性。 如图 4所示,本发明一实施例从视频会议终端侧提 一种视频会议体感控制方法, 包括: 步骤 S201 , 视频会议终端接收体感控制器发来的手势动作 信息帧; 本实施例采用包含体感控制器 (为了达到更加灵敏及精确的感应效果, 优选采用 Leap Motion) 的视频会议系统来代替传统视频会议中利用遥 控器、 白板、 课件文档等 操作业务的会议电视系统, 实现视频会议过程中更方便舒适、 自由的人机交互方式, 以提高视频会议方便性与舒适性。 其中: 显示设备可以为具有显示功能的设备, 比如电视、 PC、 笔记本、 手机以及 平板电脑等, 本实施例以电视进行举例; 显示设备可以根据会议需要分布在多个点, 实现远程电视会议; 体感控制器具体可以采用 Leap Motion体感控制器, 体感控制器在视频会议过程 中感应获取用户的手势动作信息帧, 并发送至视频会议终端。 视频会议终端需要能够支持 Leap Motion体感动作操控。 视频会议终端通过有线或无线接口与 Leap Motion 体感控制器通信, 接收 Leap Motion发送来的关于手的动作信息帧。每一个信 息帧检测到的信息包括: 手掌、手指、 手持工具 (细的、 笔直的、 比手指长的东西等)、 所有可指向对象等的列表和信息。 步骤 S202, 对所述手势动作信息帧进行处理; 视频会议终端接收到体感控制器发来的手势动 作信息帧后, 会进行体感动作的解 析。 具体过程如下: 首先, 视频会议终端接收 Leap Motion等体感控制器发来的手势动作信息帧后, 对其进行解析, 获取用户手势动作过程中的每一帧数据; 然后, 比较前后帧数据的差异, 生成用户手势动作信息, 其中, 用户手势动作信 息根据不同的应用场景可以包括以下信息: 平移运动参数、旋转运动参数、膨胀参数、 变形参数以及方位参数中的一个或多个, 当然还可以包括其他各种能判断手势动作的 信息中的一个或多个, 或者其他信息与上述各参数的组合等, 在此不再列举。 之后, 视频会议终端根据生成的用户手势动作信息确 定用户的体感动作方式, 比 如: 平移、 旋转、 抓取或者缩放等动作方式。 而对于用户手持的工具, 则可以识别出 其长度、 宽度、 方向、 位置和速度等。 获取的这些手掌、 手指和手持工具等的信息即 可作为后续进一步体感动作控制使用。 步骤 S203 , 根据处理结果进行相应的 GUI界面操作或输入。 首先, 视频会议终端根据用户的体感动作方式查找预 设的动作事件映射表, 获取 对应的事件类型。 本实施例预先设定有一动作事件映射表, 在该动作事件映射表中存 储有设定的用户的体感动作方式及其对应的事 件类型, 比如, 手指的左右上下平移、 旋转、 拖拽、 抓取、 伸张在屏幕上可能需要对应显示成屏幕的左右 翻页、 上下滚动, 抓取文件或图标将其从一个地方拖到另一个地 方, 对文档或图片做放大或缩小显示, 对桌面图标的点击等等。 即需要将用户的体感动作方式转换为电视终端 屏幕上对应的 操作, 从而精准、 真实的实现手势原本想要达到的目的。 视频会议终端在获取到用户体感动作方式对应 的事件类型后, 视频会议终端中的 软件系统根据对应的事件类型进行相应的 GUI界面操作或输入,最终显示在显示设备 上的效果比如为在电视屏幕进行左右翻页、 上下滚动, 抓取文件或图标将其从一个地 方拖到另一个地方, 对文档或图片做放大或缩小显示, 对桌面图标的点击等。 视频会议终端中的软件系统会将体感控制事件 执行结果输出至视频会议中的每一 显示设备, 显示设备根据视频会议终端的输出进行视频会 议和 GUI界面的显示。 以电视为例, 作为用户体感动作的体现, 电视在从视频会议终端接收到体感控制 事件执行结果的输出信息后, 根据手势的动作范围和电视机显示屏幕的大小 , 按比例 生成显示信息,提交到上层 GUI显示模块在屏幕上显示出真实手指、手持工 具的图像。 或者, 由视频会议终端体现出用户的动作意图后, 例如操作屏幕上关机按键的体感动 作完成后, 电视终端正常响应手势而安全关机。 如图 2所示, 其为本实施例中带 Leap Motion的会议电视的示意图。 本实施例通过上述方案, 通过在传统会议电视系统中加入 Leap Motion等体感控 制器硬件, 通过体感控制器在视频会议过程中感应用户的 手势动作信息帧, 并发送至 视频会议终端; 视频会议终端接收到所述体感控制器发来的手 势动作信息帧后, 对手 势动作信息帧进行解析, 获取用户的体感动作方式; 根据用户的体感动作方式查找预 设的动作事件映射表, 获取对应的事件类型, 由视频会议终端中的软件系统根据获取 的对应的事件类型进行相应的 GUI界面操作或输入, 使得视频会议的参与者完全脱离 现有的遥控器、 手写白板等工具, 也不必局促于坐在电脑前讲解课件等现象, 仅仅只需通过手势隔空操作显示界面, 由此,通过隔空的动作达到操作显示屏的目的 。 相比于目前传统的会议电视系统, 除了给用户带来更方便舒适的人机交互方式和 更自 由的与会感受外, 也提高了视频会议的灵活性、 方便性与舒适性。 如图 5所示, 本发明另一实施例从视频会议终端侧提出一种 视频会议体感控制方 法, 在上述图 4所示的第一实施例的基础上, 在上述步骤 S203 : 根据处理结果进行相 应的 GUI界面操作或输入之前, 该方法还可以包括: 步骤 S200, 配置用户的体感动作方式与对应的事件类型之 间的动作事件映射表。 该步骤可以在上述步骤 S201之前实施, 也可以在步骤 S201与步骤 S202之间实施, 还可以在步骤 S202与步骤 S203之间实施。 本实施例与上述第一实施例的区别在于, 本实施例还包括配置用户的体感动作方 式与对应的事件类型之间的动作事件映射表。 具体地, 本实施例针对用户的每一体感动作方式设定有 一对应的事件类型, 并将 设定的用户的体感动作方式及其对应的事件类 型存储至动作事件映射表中, 比如, 手 指的左右上下平移、 旋转、 拖拽、 抓取、 伸张在屏幕上可能需要对应显示成屏幕的左 右翻页、 上下滚动, 抓取文件或图标将其从一个地方拖到另一个地 方, 对文档或图片 做放大或缩小显示, 对桌面图标的点击等等。 即需要将用户的体感动作方式转换为电 视终端屏幕上对应的操作, 从而精准、 真实的实现手势原本想要达到的目的。 后续,视频会议终端在获取到用户体感动作方 式后, 即可查找该动作事件映射表, 获取对应的事件类型, 之后视频会议终端中的软件系统即可根据对应 的事件类型, 进 行相应的 GUI界面操作或输入。 本实施例通过上述方案, 通过设定用户的体感动作方式与对应的事件类 型之间的 动作事件映射表, 并在传统会议电视系统中加入 Leap Motion等体感控制器硬件, 通 过体感控制器在视频会议过程中感应用户的手 势动作信息帧,并发送至视频会议终端; 视频会议终端接收到所述体感控制器发来的手 势动作信息帧后, 对手势动作信息帧进 行解析, 获取用户的体感动作方式; 根据用户的体感动作方式查找预设的动作事件 映 射表, 获取对应的事件类型, 视频会议终端中的软件系统根据获取的所述对 应的事件 类型进行相应的 GUI界面操作或输入,使得视频会议的参与者完 全脱离现有的遥控器、 手写白板等工具, 也不必局促于坐在电脑前讲解课件等现象, 与会者仅仅只需通过手 势隔空操作显示界面, 相比于目前传统的会议电视系统, 除了给用户带来更方便舒适 的人机交互方式和更自由的与会感受外, 也提高了视频会议的灵活性、 方便性与舒适 性。 如图 6所示, 本发明又一实施例从视频会议终端侧提出一种 视频会议体感控制方 法, 在上述图 4所示的第一实施例的基础上, 在上述步骤 S203 : 根据处理结果进行相 应的 GUI界面操作或输入之前, 该方法还可以包括: 步骤 S204: 判断所述用户的体感动作方式对应的手势状态 是否符合预设条件, 若 是, 则进入步骤 S203 ; 否则, 结束流程。 本实施例与上述第一实施例的区别在于, 本实施例还包括对用户的体感动作方式 对应的手势状态的判断, 以防止用户的误操作。 例如, 传统的鼠标操作中, 鼠标被悬空后的移动在屏幕上是不表现出来的 , 同理, 在本实施例中, 也需要有这样的处理方式来实现操作者想移动 双手但又不希望该移动 表现在屏幕上的意图。 因此, 可以针对用户的手势状态, 约定一种标准条件(预设条件), 当用户的体感 动作方式对应的手势状态符合预设条件时, 根据用户的体感动作方式查找预设的动作 事件映射表, 获取对应的事件类型, 以便视频会议终端中的软件系统根据获取的所 述 对应的事件类型进行相应的 GUI界面操作或输入; 否则, 用户的体感动作方式对应的 手势状态不符合预设条件时, 不执行上述操作, 使手势动作不在屏幕上显示或生效。 比如, 可以设定以下条件, 当检测到用户的手势类似握拳状态即没有手指 指尖信 息的时候, 手势的移动不在屏幕上显示。 从而避免了用户的误操作, 提高了视频会议 的有效性。 需要说明的是, 上述图 5和图 6所示的实施例可以组合实施。 本实施例通过上述方案, 通过在传统会议电视系统中加入 Leap Motion等体感控 制器硬件, 通过体感控制器在视频会议过程中感应用户的 手势动作信息帧, 并发送至 视频会议终端; 视频会议终端接收到所述体感控制器发来的手 势动作信息帧后, 对手 势动作信息帧进行解析, 获取用户的体感动作方式; 根据用户的体感动作方式查找预 设的动作事件映射表, 获取对应的事件类型, 视频会议终端中的软件系统根据获取的 所述对应的事件类型进行相应的 GUI界面操作或输入, 使得视频会议的参与者完全脱 离现有的遥控器、 手写白板等工具, 也不必局促于坐在电脑前讲解课件等现象, 与会 者仅仅只需通过手势隔空操作显示界面, 相比于目前传统的会议电视系统, 除了给用 户带来更方便舒适的人机交互方式和更自由的 与会感受外, 也提高了视频会议的灵活 性、 方便性与舒适性。 此外, 还可对用户的体感动作方式对应的手势状态进 行判断, 以防止用户的误操作, 提高视频会议的有效性。 如图 7所示, 本发明一实施例提出一种视频会议体感控制系 统, 包括: 体感控制 器 301、视频会议终端 302以及至少一显示设备 303,所述视频会议终端 302分别与所 述体感控制器 301及所述显示设备 303通信连接, 其中: 所述体感控制器 301, 设置为在视频会议过程中感应获取用户的手势 动作信息帧, 并发送至所述视频会议终端 302; 所述视频会议终端 302, 设置为接收到所述体感控制器 301发来的手势动作信息 帧后, 对所述手势动作信息帧进行处理, 并根据处理结果进行相应的 GUI界面操作或 输入; 所述显示设备, 设置为根据所述视频会议终端的输出进行视频 会议和 GUI界面的 显示。 具体地, 本实施例采用 Leap Motion等体感控制器 301的视频会议系统来代替传 统视频会议中利用遥控器、 白板、 课件文档等操作业务的会议电视系统, 实现视频会 议过程中更方便舒适、 自由的人机交互方式, 以提高视频会议方便性与舒适性。 其中, 显示设备 303可以为具有显示功能的设备, 比如电视、 PC、 笔记本、 手机 以及平板电脑等, 本实施例以电视进行举例; 显示设备 303可以根据会议需要分布在 多个点, 实现远程电视会议; 体感控制器 301具体可以采用 Leap Motion体感控制器 301,体感控制器 301在视 频会议过程中感应获取用户的手势动作信息帧 , 并发送至视频会议终端 302。 视频会议终端 302需要能够支持 Leap Motion体感动作操控。 视频会议终端 302通过有线或无线接口与 Leap Motion等体感控制器 301通信, 接收 Leap Motion等体感控制器 301发送来的关于手的动作信息帧。 每一个信息帧检 测到的信息包括: 手掌、 手指、 手持工具 (细的、 笔直的、 比手指长的东西等)、 所有 可指向对象等的列表和信息。 视频会议终端 302接收到体感控制器 301发来的手势动作信息帧后, 会进行体感 动作的解析。 具体过程如下: 首先, 视频会议终端 302接收 Leap Motion等体感控制器 301发来的手势动作信 息帧后, 对其进行解析, 获取用户手势动作过程中的每一帧数据; 然后, 比较前后帧数据的差异, 生成用户手势动作信息, 其中, 用户手势动作信 息根据不同的应用场景可以包括以下信息: 平移运动参数、旋转运动参数、膨胀参数、 变形参数以及方位参数中的一个或多个, 当然还可以包括其他各种能判断手势动作的 信息中的一个或多个, 或者其他信息与上述各参数的组合等, 在此不再列举。 之后,视频会议终端 302根据生成的用户手势动作信息确定用户的体 感动作方式, 比如: 平移、 旋转、 抓取或者缩放等动作方式。 而对于用户手持的工具, 则可以识别 出其长度、 宽度、 方向、 位置和速度等。 获取的这些手掌、 手指和手持工具等的信息 即可作为后续进一步体感动作控制使用。 之后, 视频会议终端 302根据用户的体感动作方式查找预设的动作事 件映射表, 获取对应的事件类型。 本实施例预先设定有一动作事件映射表, 在该动作事件映射表 中存储有设定的用户的体感动作方式及其对应 的事件类型, 比如, 手指的左右上下平 移、 旋转、 拖拽、 抓取、 伸张在屏幕上可能需要对应显示成屏幕的左右 翻页、 上下滚 动, 抓取文件或图标将其从一个地方拖到另一个地 方, 对文档或图片做放大或缩小显 示, 对桌面图标的点击等等。 即需要将用户的体感动作方式转换为电视终端 屏幕上对 应的操作, 从而精准、 真实的实现手势原本想要达到的目的。 视频会议终端 302在获取到用户体感动作方式对应的事件类型 后, 视频会议终端 302中的软件系统进行相应的 GUI界面操作或输入, 最终显示在显示设备 303上的效 果比如为在电视屏幕进行左右翻页、 上下滚动, 抓取文件或图标将其从一个地方拖到 另一个地方, 对文档或图片做放大或缩小显示, 对桌面图标的点击等。 视频会议终端 302会将生成的体感控制事件执行结果输出至视 频会议中的每一显 示设备 303。 以电视为例, 作为用户体感动作的体现, 电视在从视频会议终端 302接收到体感 控制事件执行结果的输出信息后, 根据手势的动作范围和电视机显示屏幕的大小 , 按 比例生成显示信息, 提交到上层 GUI显示模块在屏幕上显示出真实手指、 手持工具的 图像。 或者, 由视频会议终端 302体现出用户的动作意图后, 例如操作屏幕上关机按 键的体感动作完成后, 电视终端正常响应手势而安全关机。 如图 2所示, 其为本实施 例中带 Leap Motion的会议电视的示意图。 本实施例通过上述方案, 通过在传统会议电视系统中加入 Leap Motion等体感控 制器硬件, 通过体感控制器在视频会议过程中感应用户的 手势动作信息帧, 并发送至 视频会议终端; 视频会议终端接收到所述体感控制器发来的手 势动作信息帧后, 对手 势动作信息帧进行解析, 获取用户的体感动作方式; 根据用户的体感动作方式 设的动作事件映射表, 获取对应的事件类型, 由视频会议终端中的软件系统根据获取 的对应的事件类型进行相应的 GUI界面操作或输入, 使得视频会议的参与者完全脱离 现有的遥控器、 手写白板等工具, 也不必局促于坐在电脑前讲解课件等现象, 与会者 仅仅只需通过手势隔空操作显示界面, 由此,通过隔空的动作达到操作显示屏的目的 。 相比于目前传统的会议电视系统, 除了给用户带来更方便舒适的人机交互方式和 更自 由的与会感受外, 也提高了视频会议的灵活性、 方便性与舒适性。 进一步地, 所述视频会议终端 302, 还设置为配置用户的体感动作方式与对应的 事件类型之间的动作事件映射表。 具体地, 本实施例针对用户的每一体感动作方式设定有 一对应的事件类型, 并将 设定的用户的体感动作方式及其对应的事件类 型存储至动作事件映射表中, 比如, 手 指的左右上下平移、 旋转、 拖拽、 抓取、 伸张在屏幕上可能需要对应显示成屏幕的左 右翻页、 上下滚动, 抓取文件或图标将其从一个地方拖到另一个地 方, 对文档或图片 做放大或缩小显示, 对桌面图标的点击等等。 即需要将用户的体感动作方式转换为电 视终端屏幕上对应的操作, 从而精准、 真实的实现手势原本想要达到的目的。 后续, 视频会议终端 302在获取到用户体感动作方式后, 即可查找该动作事件映 射表, 获取对应的事件类型, 之后视频会议终端中的软件系统即可根据对应 的事件类 型进行相应的 GUI界面操作或输入。 所述视频会议终端 302, 还设置为判断所述用户的体感动作方式对应的 手势状态 是否符合预设条件, 若是, 则进行相应的 GUI界面操作或输入; 否则, 不执行上述操 作。 例如, 传统的鼠标操作中, 鼠标被悬空后的移动在屏幕上是不表现出来的 , 同理, 在本实施例中, 也需要有这样的处理方式来实现操作者想移动 双手但又不希望该移动 表现在屏幕上的意图。 因此, 可以针对用户的手势状态, 约定一种标准条件(预设条件), 当用户的体感 动作方式对应的手势状态符合预设条件时, 根据用户的体感动作方式查找预设的动作 事件映射表, 获取对应的事件类型, 以便视频会议终端中的软件系统根据获取的所 述 对应的事件类型进行相应的 GUI界面操作或输入; 否则, 用户的体感动作方式对应的 手势状态不符合预设条件时, 不执行上述操作, 使手势动作不在屏幕上显示或生效。 比如, 可以设定以下条件, 当检测到用户的手势类似握拳状态即没有手指 指尖信 息的时候, 手势的移动不在屏幕上显示。 从而避免了用户的误操作, 提高了视频会议 的有效性。 如图 8所示, 本发明一实施例提出一种视频会议终端, 包括: 接收模块 401、 处 理模块 402及事件控制模块 403, 其中: 接收模块 401, 设置为接收体感控制器发来的手势动作信息帧 ; 处理模块 402, 设置为对所述手势动作信息帧进行处理; 事件控制模块 403, 设置为根据处理结果进行相应的 GUI界面操作或输入。 本实施例采用 Leap Motion等体感控制器的视频会议系统来代替传统 视频会议中 利用遥控器、 白板、 课件文档等操作业务的会议电视系统, 实现视频会议过程中更方 便舒适、 自由的人机交互方式, 以提高视频会议方便性与舒适性。 本实施例方案涉及体感控制器、 视频会议终端以及显示设备, 其中: 显示设备可以为具有显示功能的设备, 比如电视、 PC、 笔记本、 手机以及平板电 脑等, 本实施例以电视进行举例; 显示设备可以根据会议需要分布在多个点, 实现远 程电视会议; 体感控制器具体可以采用 Leap Motion体感控制器, 体感控制器在视频会议过程 中感应获取用户的手势动作信息帧, 并发送至视频会议终端。 视频会议终端需要能够支持 Leap Motion体感动作操控。 视频会议终端通过有线或无线接口与 Leap Motion 体感控制器通信, 接收 Leap Motion发送来的关于手的动作信息帧。每一个信 息帧检测到的信息包括: 手掌、手指、 手持工具 (细的、 笔直的、 比手指长的东西等)、 所有可指向对象等的列表和信息。 视频会议终端接收到体感控制器发来的手势动 作信息帧后, 会进行体感动作的解 析。 具体过程如下: 首先, 视频会议终端接收 Leap Motion体感控制器发来的手势动作信息帧后, 对 其进行解析, 获取用户手势动作过程中的每一帧数据; 然后, 比较前后帧数据的差异, 生成用户手势动作信息, 其中, 用户手势动作信 息根据不同的应用场景可以包括以下信息: 平移运动参数、旋转运动参数、膨胀参数、 变形参数以及方位参数中的一个或多个, 当然还可以包括其他各种能判断手势动作的 信息中的一个或多个, 或者其他信息与上述各参数的组合等, 在此不再列举。 之后, 视频会议终端根据生成的用户手势动作信息确 定用户的体感动作方式, 比 如: 平移、 旋转、 抓取或者缩放等动作方式。 而对于用户手持的工具, 则可以识别出 其长度、 宽度、 方向、 位置和速度等。 获取的这些手掌、 手指和手持工具等的信息即 可作为后续进一步体感动作控制使用。 之后, 根据处理结果进行相应的 GUI界面操作或输入。 首先, 视频会议终端根据用户的体感动作方式查找预 设的动作事件映射表, 获取 对应的事件类型。 本实施例预先设定有一动作事件映射表, 在该动作事件映射表中存 储有设定的用户的体感动作方式及其对应的事 件类型, 比如, 手指的左右上下平移、 旋转、 拖拽、 抓取、 伸张在屏幕上可能需要对应显示成屏幕的左右 翻页、 上下滚动, 抓取文件或图标将其从一个地方拖到另一个地 方, 对文档或图片做放大或缩小显示, 对桌面图标的点击等等。 即需要将用户的体感动作方式转换为电视终端 屏幕上对应的 操作, 从而精准、 真实的实现手势原本想要达到的目的。 视频会议终端在获取到用户体感动作方式对应 的事件类型后, 视频会议终端中的 软件系统根据对应的事件类型进行相应的 GUI界面操作或输入,最终显示在显示设备 上的效果比如为在电视屏幕进行左右翻页、 上下滚动, 抓取文件或图标将其从一个地 方拖到另一个地方, 对文档或图片做放大或缩小显示, 对桌面图标的点击等。 视频会议终端会将体感控制事件执行结果输出 至视频会议中的每一显示设备, 显 示设备根据视频会议终端的输出进行视频会议 和 GUI界面的显示。 以电视为例, 作为用户体感动作的体现, 电视在从视频会议终端接收到体感控制 事件执行结果的输出信息后, 根据手势的动作范围和电视机显示屏幕的大小 , 按比例 生成显示信息,提交到上层 GUI显示模块在屏幕上显示出真实手指、手持工 具的图像。 或者, 由视频会议终端体现出用户的动作意图后, 例如操作屏幕上关机按键的体感动 作完成后, 电视终端正常响应手势而安全关机。 如图 2所示, 其为本实施例中带 Leap Motion的会议电视的示意图。 更为具体地,如图 9所示,所述处理模块 402包括:解析单元 4021、生成单元 4022 及判定单元 4023, 其中: 解析单元 4021, 设置为对所述手势动作信息帧进行解析, 获取用户手势动作对应 的数据; 生成单元 4022, 设置为根据获取的数据生成用户手势动作信息 , 所述用户手势动 作信息根据不同的应用场景可以包括以下信息 : 平移运动参数、 旋转运动参数、 膨胀 参数、 变形参数以及方位参数等各种能判断手势动作 的信息中的一个或多个, 在此不 再列举; 判定单元 4023, 设置为根据所述用户手势动作信息确定用户的 体感动作方式。 如图 10所示, 所述事件控制模块 403包括: 查找单元 4031及发送单元 4032, 其 中: 查找单元 4031, 设置为根据用户的体感动作方式查找预设的动 作事件映射表, 获 取对应的事件类型; 发送单元 4032, 设置为通过所述视频会议终端中的软件系统根 据获取的所述对应 的事件类型进行相应的 GUI界面操作或输入。 本实施例通过上述方案, 通过在传统会议电视系统中加入 Leap Motion等体感控 制器硬件, 通过体感控制器在视频会议过程中感应用户的 手势动作信息帧, 并发送至 视频会议终端; 视频会议终端接收到所述体感控制器发来的手 势动作信息帧后, 对手 势动作信息帧进行解析, 获取用户的体感动作方式; 根据用户的体感动作方式查找预 设的动作事件映射表, 获取对应的事件类型, 由视频会议终端中的软件系统根据获取 的对应的事件类型进行相应的 GUI界面操作或输入, 使得视频会议的参与者完全脱离 现有的遥控器、 手写白板等工具, 也不必局促于坐在电脑前讲解课件等现象, 与会者 仅仅只需通过手势隔空操作显示界面, 由此,通过隔空的动作达到操作显示屏的目的 。 相比于目前传统的会议电视系统, 除了给用户带来更方便舒适的人机交互方式和 更自 由的与会感受外, 也提高了视频会议的灵活性、 方便性与舒适性。 如图 11所示, 本发明另一实施例提出一种视频会议终端,在 上述第一实施例的基 础上, 还包括: 配置模块 400, 设置为配置用户的体感动作方式与对应的事件 类型之间的动作事 件映射表。 本实施例与上述第一实施例的区别在于, 本实施例还包括配置用户的体感动作方 式与对应的事件类型之间的动作事件映射表。 具体地, 本实施例针对用户的每一体感动作方式设定有 一对应的事件类型, 并将 设定的用户的体感动作方式及其对应的事件类 型存储至动作事件映射表中, 比如, 手 指的左右上下平移、 旋转、 拖拽、 抓取、 伸张在屏幕上可能需要对应显示成屏幕的左 右翻页、 上下滚动, 抓取文件或图标将其从一个地方拖到另一个地 方, 对文档或图片 做放大或缩小显示, 对桌面图标的点击等等。 即需要将用户的体感动作方式转换为电 视终端屏幕上对应的操作, 从而精准、 真实的实现手势原本想要达到的目的。 后续,视频会议终端在获取到用户体感动作方 式后, 即可查找该动作事件映射表, 获取对应的事件类型, 之后视频会议终端中的软件系统即可根据对应 的事件类型, 进 行相应的 GUI界面操作或输入。 本实施例通过上述方案, 通过设定用户的体感动作方式与对应的事件类 型之间的 动作事件映射表, 并在传统会议电视系统中加入 Leap Motion等体感控制器硬件, 通 过体感控制器在视频会议过程中感应用户的手 势动作信息帧,并发送至视频会议终端; 视频会议终端接收到所述体感控制器发来的手 势动作信息帧后, 对手势动作信息帧进 行解析, 获取用户的体感动作方式; 根据用户的体感动作方式查找预设的动作事件 映 射表, 获取对应的事件类型, 视频会议终端中的软件系统根据获取的所述对 应的事件 类型进行相应的 GUI界面操作或输入,使得视频会议的参与者完 全脱离现有的遥控器、 手写白板等工具, 也不必局促于坐在电脑前讲解课件等现象, 与会者仅仅只需通过手 势隔空操作显示界面, 相比于目前传统的会议电视系统, 除了给用户带来更方便舒适 的人机交互方式和更自由的与会感受外, 也提高了视频会议的灵活性、 方便性与舒适 性。 如图 12所示,本发明又一实施例提出一种视频会议 端,在上述第一实施例的基 础上, 还包括: 判断模块 404, 设置为判断所述用户的体感动作方式对应的手 势状态是否符合预 设条件,若是,则由所述事件控制模块 403中查找单元 4031根据用户的体感动作方式 查找预设的动作事件映射表, 获取对应的事件类型, 否则, 不执行上述操作。 本实施例与上述第一实施例的区别在于, 本实施例还包括对用户的体感动作方式 对应的手势状态的判断, 以防止用户的误操作。 例如, 传统的鼠标操作中, 鼠标被悬空后的移动在屏幕上是不表现出来的 , 同理, 在本实施例中, 也需要有这样的处理方式来实现操作者想移动 双手但又不希望该移动 表现在屏幕上的意图。 因此, 可以针对用户的手势状态, 约定一种标准条件(预设条件), 当用户的体感 动作方式对应的手势状态符合预设条件时, 根据用户的体感动作方式查找预设的动作 事件映射表, 获取对应的事件类型, 以便视频会议终端中的软件系统根据获取的所 述 对应的事件类型进行相应的 GUI界面操作或输入; 否则, 用户的体感动作方式对应的 手势状态不符合预设条件时, 不执行上述操作, 使手势动作不在屏幕上显示或生效。 比如, 可以设定以下条件, 当检测到用户的手势类似握拳状态即没有手指 指尖信 息的时候, 手势的移动不在屏幕上显示。 从而避免了用户的误操作, 提高了视频会议 的有效性。 需要说明的是, 上述图 11与图 12所示的实施例可以组合实施。 本实施例通过上述方案, 通过在传统会议电视系统中加入 Leap Motion等体感控 制器硬件, 通过体感控制器在视频会议过程中感应用户的 手势动作信息帧, 并发送至 视频会议终端; 视频会议终端接收到所述体感控制器发来的手 势动作信息帧后, 对手 势动作信息帧进行解析, 获取用户的体感动作方式; 根据用户的体感动作方式查找预 设的动作事件映射表, 获取对应的事件类型, 视频会议终端中的软件系统根据获取的 所述对应的事件类型进行相应的 GUI界面操作或输入, 使得视频会议的参与者完全脱 离现有的遥控器、 手写白板等工具, 也不必局促于坐在电脑前讲解课件等现象, 与会 者仅仅只需通过手势隔空操作显示界面, 相比于目前传统的会议电视系统, 除了给用 户带来更方便舒适的人机交互方式和更自由的 与会感受外, 也提高了视频会议的灵活 性、 方便性与舒适性。 此外, 还可对用户的体感动作方式对应的手势状态进 行判断, 以防止用户的误操作, 提高视频会议的有效性。 以上所述仅为本发明的优选实施例, 并非因此限制本发明的专利范围, 凡是利用 本发明说明书及附图内容所作的等效结构或流 程变换, 或直接或间接运用在其它相关 的技术领域, 均同理包括在本发明的专利保护范围内。
Next Patent: CABLE JOINT PROTECTION BOX