[0001] 本申请以 2018年 10月 11日提交的申请号为 CN201811183781.7， 名称为“人机交 互方法、 系统、 计算机设备及存储介质”的中国发明专利申请 为基础， 并要求其 优先权。

技术领域

[0002] 本申请涉及信息处理领域， 尤其涉及一种人机交互方法、 系统、 计算机设备及 存储介质。

[0003] 背景技术

[0004] 会场是人们进行社交、 集会交流、 文娱活动的主要场所， 而会场的场景布置、 主题布局、 灯光音响效果是提升参会人员体验感的一个重 要因素。 例如， 科技 产品如平板电脑、 手机、 VR眼镜等的新品发布会， 其场景布置主要体现出现代 感十足的科技元素； 各类展会如世博会、 车博会、 文博会、 茶博会等的布置， 由展会主题来确定大的布局元素， 由各厂家、 参展商个性化定制自家的展台； 在大的宴会、 新闻发布会、 会议等场合， 参会人员采用怎样的互动交流方式如 主持人与参会人员的问答交流、 活动抽奖、 互动游戏等。

[0005] 目前， 对于参会人数众多的场合， 一般都是通过电子告示牌或电子屏幕展示导 流图， 外加工作人员来对参会人员进行指引和疏导， 方式过于陈旧且不够智能 、 灵活， 需要很多工作人员参与； 同时， 会场中的主办方与观众的互动方式过 于原始， 诸如统计签到、 活动抽奖、 问答交流等； 其中， 电子设备只能被动的 展示信息， 无法与参会人员进行互动， 这种人机交互方式智能化水平比较低下

[0006] 发明内容

[0007] 本申请实施例提供一种人机交互方法、 系统、 计算机设备及存储介质， 以解决 在大型会场中， 人机交互方式智能化水平不高的问题。

[0008] 一种人机交互方法， 包括：

[0009] 交互端采集用户请求信息， 其中， 所述用户请求信息包括生物样本信息； [0010] 交互端对所述用户请求信息进行预处理， 并将预处理后得到的目标请求信息发 送到中心服务端， 其中， 所述预处理包括过滤不符合预设特征提取条件 的所述 生物样本信息；

[0011] 所述中心服务端为所述目标请求信息分配生物 识别任务， 并将所述目标请求信 息保存到存储平台， 将所述生物识别任务分发给计算服务端；

[0012] 所述计算服务端根据所述生物识别任务， 从所述存储平台获取与所述生物识别 任务对应的目标请求信息， 并对获取到的所述目标请求信息进行生物特征 提取 ， 将得到的提取结果返回给所述中心服务端；

[0013] 所述中心服务端对所述提取结果进行组合得到 用户行为数据， 并将所述用户行 为数据与所述存储平台中预设的用户行为特征 进行匹配， 根据匹配结果生成处 理结果信息；

[0014] 所述中心服务端将所述处理结果信息返回给所 述交互端；

[0015] 所述交互端根据所述处理结果信息从预设配置 文件中读取并执行指令集， 其中 ， 所述指令集用于完成与用户的人机互动。

[0016] 一种人机交互系统， 包括： 交互端、 中心服务端和计算服务端， 其中， 所述交 互端、 所述中心服务端、 所述计算服务端之间通过网络连接；

[0017] 所述交互端， 用于采集用户请求信息， 其中， 所述用户请求信息包括生物样本 信息； 还用于对所述用户请求信息进行预处理， 并将预处理后得到的目标请求 信息发送到中心服务端， 其中， 所述预处理包括过滤不符合预设特征提取条件 的所述生物样本信息；

[0018] 所述中心服务端， 用于为所述目标请求信息分配生物识别任务， 并将所述目标 请求信息保存到存储平台， 将所述生物识别任务分发给计算服务端；

[0019] 所述计算服务端， 用于根据所述生物识别任务， 从所述存储平台获取与所述生 物识别任务对应的目标请求信息， 并对获取到的所述目标请求信息进行生物特 征提取， 将得到的提取结果返回给所述中心服务端；

[0020] 所述中心服务端， 还用于对所述提取结果进行组合得到用户行为 数据， 并将所 述用户行为数据与所述存储平台中预设的用户 行为特征进行匹配， 根据匹配结 果生成处理结果信息； 将所述处理结果信息返回给所述交互端； [0021] 所述交互端， 还用于根据所述处理结果信息从预设配置文件 中读取并执行指令 集， 其中， 所述指令集用于完成与用户的人机互动。

[0022] 一种计算机设备， 包括存储器、 处理器以及存储在所述存储器中并可在所述处 理器上运行的计算机可读指令， 所述处理器执行所述计算机可读指令时实现上 述人机交互方法的步骤。

[0023] 一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机可读指 令， 所述计算机可读指令被处理器执行时实现上述 人机交互方法的步骤。

[0024] 一个或多个存储有计算机可读指令的非易失性 可读存储介质， 所述计算机可读 指令被一个或多个处理器执行时， 使得所述一个或多个处理器执行上述人机交 互方法的步骤。

[0025] 本申请的一个或多个实施例的细节在下面的附 图和描述中提出， 本申请的其他 特征和优点将从说明书、 附图以及权利要求变得明显。 。

[0026] 附图说明

[0027] 为了更清楚地说明本申请实施例的技术方案， 下面将对本申请实施例的描述中 所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅是本申 请的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动性的前 提下， 还可以根据这些附图获得其他的附图。

[0028] 图 1是本申请一实施例中人机交互方法的一应用� �境示意图；

[0029] 图 2是本申请一实施例中人机交互方法的流程图� �

[0030] 图 3是本申请一实施例中人机交互方法中步骤 S3的流程图；

[0031] 图 4是本申请一实施例中人机交互方法中步骤 S32的流程图；

[0032] 图 5是本申请一实施例中人机交互方法中步骤 S711之后的人机交互方法流程图

[0033] 图 6是本申请一实施例中人机交互系统的示意图� �

[0034] 图 7是本申请一实施例中计算机设备的示意图。

[0035] 具体实施方式

[0036] 下面将结合本申请实施例中的附图， 对本申请实施例中的技术方案进行清楚、 完整地描述， 显然， 所描述的实施例是本申请一部分实施例， 而不是全部的实 施例。 基于本申请中的实施例， 本领域普通技术人员在没有作出创造性劳动前 提下所获得的所有其他实施例， 都属于本申请保护的范围。

[0037] 本申请提供的人机交互方法， 可应用在如图 1的应用环境中， 其中， 交互端可 以是计算机终端设备， 用于实现与用户的互动， 通过界面或投影向用户展示信 息， 通过音频设备向用户发出提示音； 交互端与用户交互的方式包括但不限于 对人脸识别的响应、 对语音识别的响应、 对用户通过触摸屏等输入设备的响应 ; 中心服务端可以是服务器或服务器集群， 作为人机交互系统的中心， 协调交 互端、 计算服务端、 存储平台共同工作； 计算服务端可以是服务器或服务器集 群， 用于对生物样本信息进行特征提取； 存储平台可以是数据库或分布式数据 库， 用于存储用户的生物样本信息以及用户的生物 特征信息； 交互端、 中心服 务端、 计算服务端及存储平台之间通过网络连接， 网络可以是有线网络或者无 线网络。 本申请实施例提供的人机交互方法有赖于交互 端、 中心服务端和计算 服务端的共同协作完成。

[0038] 在一实施例中， 如图 2所示， 提供了一种人机交互方法， 其实现流程包括如下 步骤：

[0039] S1： 交互端采集用户请求信息， 其中， 用户请求信息包括生物样本信息。

[0040] 用户请求信息是用户通过交互端输入的信息， 包括生物样本信息和非生物样本 信息， 其中， 生物样本信息包括用户的人脸信息和用户的语 音信息， 非生物样 本信息包括但不限于用户的身份信息。

[0041] 交互端作为与用户交互的终端， 其配备有摄像头、 录音设备、 触摸屏等用来采 集用户请求信息的输入设备。 交互端通过摄像头采集用户的人脸图像， 支持的 图片格式包括但不限于 BMP、 PNG、 JPG等； 通过录音设备对用户的声音进行采 集， 录音设备不限于麦克风， 还包括采样量化模块和音频编码模块； 通过触摸 屏对用户手写输入的字符型信息进行采集， 或对用户的输入进行相应。 交互端 还可以包括显示屏或投影设备， 用于显示信息。

[0042] 进一步地， 交互端可以处于两种工作模式： 注册模式和互动模式， 即将用户与 交互端交互的过程分为两个阶段， 用户信息注册阶段和人机互动阶段。 其中， 在注册模式下， 交互端用于对用户请求信息的采集， 并对用户请求信息进行预 处理； 中心服务端分发处理任务， 由计算服务端负责特征提取； 在互动模式下 ， 交互端、 中心服务端以及计算服务端之间除了完成注册 模式下的交互过程， 中心服务端还将计算服务端进行特征提取得到 的用户当前特征信息与注册模式 下提取得到的用户特征信息进行比较， 用以对用户行为进行响应， 达到人机互 动的目的。

[0043] 交互端上预先安装有设置其工作模式的模式开 关， 该模式开关可以是硬件开关 或由软件进行控制。 通过模式开关， 交互端可以将当前的工作模式发送到中心 服务端， 使得中心服务端能同步当前的工作模式。

[0044] 在一具体实施例中， 交互端与用户交互的工作过程包括如下 ( 1) 至 (3) 的内 容， 详述如下：

[0045] ( 1) 交互端通过摄像头对人脸信息的采集：

[0046] 用户正脸对准摄像头 3秒钟， 交互端通过提示音提示拍照完成。 用户也可以自 行操作， 如当用户正脸对准摄像头后， 用户可以通过显示屏上的交互 UI界面进 行触摸， 点击拍照即可完成。

[0047] 若交互端上运行的 Java环境， 则可以调用 ImagelO的类方法将摄像头获取的二 进制图片信息保存为 PNG格式的文件。

[0048] (2) 交互端通过录音设备对用户语音信息的采集：

[0049] 用户通过麦克风输入一段声音； 交互端的采样量化模块对声音进行采样和量化 。 采样是每隔一定时间读取一次声音信号的幅度 ， 其对应的参数为采样频率； 量化是将采样得到的声音信号幅度转换为数字 值， 其对应的参数为采样位数。 采样是时间上的数字化， 而量化则是幅度上的数字化。 对于采样频率， 根据奈 奎斯特采样理论， 采样频率要高于输入信号最高频率的两倍， 而正常人听觉频 率为 20~20KHZ， 所以优选地采样频率默认为 40kHZ， 同时， 可选的采样频率率 还有 44.1kHz、 48kHz等， 采样率越高， 音质越好。 对于采样位数， 它决定了模 拟信号数字化以后的动态范围， 其他常用的还有 8位和 16位。 量化位越高， 信号 的动态范围越大， 数字化后的音频信号就越可能接近原始信号， 优选地采样位 数为 12位。

[0050] 音频编码模块对采样和量化后的数据进行编码 ， 为了保证声音才采集阶段不失 真， 优选地， 交互端采用 PCM (Pulse Code Modulation, 脉冲编码调制) 编码， 指模拟音频信号只经过采样、 模数转换直接形成的二进制序列， 未经过任何编 码和压缩处理。 交互端将经过编码的语音信息保存为 WAV格式文件。

[0051] (3) 交互端通过触摸屏对字符型信息的采集：

[0052] 字符型信息主要是用户通过触摸屏输入的各种 信息， 如姓名、 工号、 座位号、 联系电话、 电子邮件等。 显示屏上的交互 UI界面可以采用 Web页面的方式接收用 户的信息输入。 用户将信息输入到交互界面的表单中， 然后提交。 交互端可以 对用户输入的信息进行合法性检查， 直接在交互端端进行过滤， 避免将错误信 息发送到中心服务端。 其中， 合法性是指用户输入的信息是否符合基本的要 求 ， 如对姓名的输入， 字符数不能超过 10个； 联系电话只能输入数字， 而不能输 入字母； 电子邮件地址必须带有一个“@”字符等等。

[0053] 交互端将用户输入的信息以键值对的形式存储 ， 优选地， 以 JSON格式的文件 进行存储。

[0054] (4) 交互端将采集到的用户请求信息通过 socket (套接字) 通道发送给中心服 务端。 在中心服务端有与该 socket通道对应的接收端， 用于接收。

[0055] S2： 交互端对用户请求信息进行预处理， 并将预处理后得到的目标请求信息发 送到中心服务端， 其中， 预处理包括过滤不符合预设特征提取条件的生 物样本 信息。

[0056] 交互端对用户请求信息进行预处理， 预处理主要是对不符合预设特征提取条件 的生物样本信息进行过滤， 避免将其发送到中心服务端， 从而减少计算服务端 的处理负担。

[0057] 预处理包括对人脸图片的色彩值进行判断、 对语音信息的大小进行判断， 以及 整合用户请求信息等。

[0058] 其中， 对人脸图片的色彩值进行判断包括过滤掉色彩 过暗或过亮的图片。 例如

， 在没有闪光灯补偿的黑暗环境中拍摄的照片 , 使得人脸识别的难度增大； 同 样， 在面对强光拍摄的照片， 也将增大人脸识别时的难度。 对语音信息的大小 进行判断是用于过滤掉过大的音频文件。 整合用户请求信息是指为不同的用户 信息分配用户标识， 并将与该用户对应的人脸图片信息、 语音信息组合到一起 [0059] 预设特征提取条件是针对生物样本信息的， 对于人脸图片信息， 包括但不限于 对图片的对比度、 像素值的分布等。 例如， 交互端将整人脸张图片中， 黑色像 素点 （RGB值为 0， 0， 0） 超过 80%的图片， 视为难以识别的图片； 将白色像素 点 （RGB值为 255 , 255 , 255） 超过 80%的图片， 同样视为难以识别的图片； 贝 1J 全黑或全白像素点的占比为 80%视为预设阈值。 对于语音信息， 包括语音文件的 大小。 例如， 预设语音文件大小的阈值为 1MB， 即若交互端编码后的语音信息 文件的大小超过 1MB， 则确定该语音文件为非法输入的语音信息。

[0060] 具体地， 对于人脸图片， 若交互端上运行的 Java环境， 交互端通过 ImagelO的 类方法可以读取图片文件， 并获取每个像素点的 RGB值， 并依此与预设阈值进 行比较， 将全白或全黑像素点值超过阈值的人脸图片过 滤。

[0061] 对于语音文件， 可以按照如下公式进行计算语音文件的大小：

[0062] 文件大小 （单位 MB） = （采样频率 *采样位数*声道数 *时间） / （8*1024*1024

）

[0063] 并且将计算得到的文件大小与预设语音文件大 小的阈值进行比较， 从而过滤掉 超出阈值的语音文件。 以 WAV格式的语音文件为例， 若采样频率为 44.1kHz， 采 样位数为 16位， 声道数为 2， 时间为 3秒， 则按照以上公式， 该 WAV文件的大小 约为 0.5MB， 小于预设阈值 1MB， 则该语音文件符合预设特征提取条件。

[0064] 对于整合用户请求信息， 交互端为用户分配一个唯一的用户标识， 同时将该用 户的人脸图片、 语音文件以及用户输入的字符型信息添加到一 个数组中， 并在 数组前增加一个用户标识作为该段信息起始的 标志， 在数组的最后加上用户标 识和字符串“End”作为该段信息的结束， 从而得到目标请求信息。

[0065] 交互端通过 socket通道将预处理后得到的目标请求信息发送 给中心服务端。

[0066] 具体地， 交互端为采集到的人脸图片信息、 语音信息、 字符型信息分别定义不 同的 socket。 例如， 人脸信息由 socketl发送， 语音信息由 socket2发送； 字符型信 息由 socket3发送。

[0067] S3： 中心服务端为目标请求信息分配生物识别任务 ， 并将目标请求信息保存到 存储平台， 将生物识别任务分发给计算服务端。 [0068] 生物识别任务是指计算服务端对目前请求信息 中的人脸图片和语音文件进行处 理。 其中， 处理过程包括对生物样本信息进行特征提取。

[0069] 存储平台， 用于存储生物样本信息、 生物特征信息以及与人机交互相关的各种 预设信息等。 存储平台由数据库或分布式数据库组成， 包括但不限于各种关系 型和非关系型数据库， 如 MS-SQL、 Oracle、 MySQL、 Sybase、 DB2、 Redis、 M ongodDB、 Hbase等。

[0070] 不同类型的生物识别任务可以被分配到不同的 计算服务端执行， 每个计算服务 端分别用于执行一种类型的生物识别任务。 例如， 在一具体实施例中， 生物识 别任务可以细分为人脸识别任务和语音识别任 务， 计算服务端也可以分为专门 处理人脸识别任务的人脸识别计算服务端和专 门处理语音识别任务的语音识别 计算服务端， 其中， 人脸识别相关的生物识别任务由人脸识别计算 服务端执行 ; 语音识别相关的生物识别任务由语音识别计算 服务端执行。

[0071] 中心服务端将不同的生物识别任务分发给不同 的计算服务端执行， 并且将目标 请求信息保存到存储平台。

[0072] 具体地， 中心服务端将目标请求信息中的人脸图片和语 音文件提取出来， 分别 分配一个在存储平台上的存储路径， 并将存储路径发送给计算服务端； 同时， 将其他目标请求信息保存到存储平台。

[0073] 例如， 一个用户的用户标识为 0001， 其人脸图片在存储平台的存储路径为“/Us er/0001/image/”， 其语音文件在存储平台的存储路径为“/User/000 1/audio/”， 中心 服务端将存储路径分别发送到人脸识别计算服 务端和语音识别计算服务端， 同 时， 中心服务端将人脸图片存储到存储平台的路径 “/User/OOOl/image/”下； 将语 音文件存储到存储到存储平台的路径“/User/000 1/audio/”下； 将其他用户请求信 息， 如用户身份信息存储到存储平台的数据库中。

[0074] S4： 计算服务端根据生物识别任务， 从存储平台获取与生物识别任务对应的目 标请求信息， 并对获取到的目标请求信息进行生物特征提取 ， 将得到的提取结 果返回给中心服务端。

[0075] 计算服务端包括人脸识别计算服务端和语音识 别计算服务端， 人脸识别计算服 务端实现对人脸特征值的提取， 语音识别计算服务端实现对语音信息特征值的 提取。

[0076] 具体地， 人脸识别计算服务端根据中心服务端发送的存 储路径， 如“/User/0001/ image/”， 从存储平台上的该存储路径下获取人脸图片， 并进行人脸特征提取； 语音识别计算服务端根据中心服务端发送的存 储路径， 如“/User/OOOl/audio/”， 从存储平台上的该存储路径下获取语音文件， 并进行声纹特征提取。 其中， 声 纹 (Voiceprint)， 是用电声学仪器显示的携带言语信息的声波频 谱， 是生物识别技 术的一种，

[0077] 经过计算服务端的生物特征提取， 得到的结果包括用户的人脸特征值和用户的 声纹特征值。 计算服务端将用户的人脸特征值和用户的声纹 特征值保存到存储 平台， 并将提取结果返回给中心服务端。 其中， 提取结果包括提取完成或失败 的状态值以及人脸特征值和声纹特征值。 优选地， 将提取结果中的人脸特征值 代替为人脸特征值在存储平台上的存储路径， 将提取结果中的声纹特征值代替 为声纹特征值在存储平台上的存储路径。 例如， 一个用户的用户标识为 0001， 其人脸特征值的存储路径为“/User/0001/img_func/� ��,其声纹特征值的存储路径为“/ Us er/0001 /aud_f unc/’’。

[0078] S5： 中心服务端对提取结果进行组合得到用户行为 数据， 并将用户行为数据与 存储平台中预设的用户行为特征进行匹配， 根据匹配结果生成处理结果信息。

[0079] 用户行为特征是对用户某个行为动作的意思表 示所作出的抽象。 用户行为特征 可以表示为一组数据集合， 包括人脸特征值， 或表情动作的特征值， 或语音特 征值等， 这组数据集合想要表达的意思可以为某种用户 需求， 例如， 用户通过 语音对交互端提出想要了解会议概况的查询需 求； 用户通过表情对交互端进行 互动的确认需求。

[0080] 预设的用户行为特征可以分为用户查询行为、 用户确认行为、 用户否认行为、 用户自主表达行为等。

[0081] 用户行为数据是中心服务端将计算服务端的提 取结果进行组合得到的数据集合

。 中心服务端将用户行为数据与存储平台中预设 的用户行为特征进行匹配， 用 以理解用户的需求， 并生成与之相应的响应处理结果信息。 处理结果信息是中 心服务端用于指示交互端做出响应的信息。 [0082] 具体地， 中心服务端将计算服务端发来的提取结果进行 组合， 得到一个用户行 为数据数组， 并与存储平台中预设的用户行为特征数组进行 匹配。 若匹配结果 一致， 则确定用户当前行为的意思表示， 并生成指示交互端做出相应响应的处 理结果信息。

[0083] S6： 中心服务端将处理结果信息返回给交互端。

[0084] 中心服务端在接收交互端发送的目标请求信息 时， 对每个交互端的标识信息以 及目标请求信息做缓存处理， 以用于将处理结果信息进行返回。

[0085] 具体地， 中心服务端在接收到交互端发送的目标请求信 息时， 将交互端的标识 信息和目标请求信息对应的标识信息保存到临 时变量中。 当需要将处理结果信 息返回给交互端时， 中心服务端从临时变量中获取交互端的标识信 息和目标请 求信息对应的标识信息， 新建 socket通道， 并发送到交互端。 其中， 交互端的标 识信息用于标识唯一一个交互端， 目标请求信息对应的标识信息用于唯一标识 唯 -个用户。

[0086] S7： 交互端根据处理结果信息从本地预设配置文件 中读取并执行指令集， 其中

， 指令集用于完成与用户的人机互动。

[0087] 本地预设配置文件是存储在交互端本地的， 用以让交互端执行人机交互相关动 作的指令集。

[0088] 例如， 指令集 A是用于向用户显示信息， 如会议概要， 参会人员的介绍等， 它 能使交互端的显示屏显示相关信息， 或通过投影显示到其他位置； 指令集 B是用 于提示用户进行下一步操作， 如在互动过程中对用户进行提问， 或等待用户的 输入等。

[0089] 需要说明的是， 交互端之间可以是不同硬件构成或者分别实现 不同功能， 则它 们的预设配置文件各不相同， 能执行的指令集也不尽相同。 例如， 交互端 A可以 固定在会场的入口出用于信息指引， 交互端 B可以在会场中移动与用户进行互动 。 交互端 A执行查询的指令集可能与交互端 B执行查询的指令集不同。

[0090] 具体地， 交互端等待用户输入时的动作， 其对应的指令值为 0x0001 ; 交互端用 投影显示信息时的动作， 其对应的指令值为 0x0002; 交互端通过显示屏发出接 收用户触摸屏输入时的动作， 其对应的指令值为 0x0003 ; 则交互端将这一系列 动作连贯起来用于对用户查询进行响应的指令 集为｛ 0x0001 ,0x0002,0x0003

[0091] 在本实施例中， 由交互端负责采集用户请求信息和提供人机互 动界面， 并对用 户请求信息进行预处理过滤， 将预处理后的目标请求信息发送到中心服务端 ， 为中心服务端分担处理压力； 中心服务端作为人机交互系统的中心， 为交互分 配生物识别任务， 调度计算服务端执行具体的计算任务， 将目标请求信息保存 到存储平台， 协调交互端、 计算服务端、 存储平台之间的数据流向； 计算服务 端负责执行生物识别任务， 提取生物特征信息， 并将提取结果返回给中心服务 端； 中心服务端对服务端发送的提取结果进行组合 ， 并与存储平台上预设的用 户行为特征进行匹配得到处理结果信息， 然后将处理结果信息下发到交互端； 交互端根据处理结果信息执行指令集， 完成与用户的人机互动； 提供了一种以 生物识别技术为基础的人机智能交互方式， 提高了人机交互的智能化水平。

[0092] 进一步地， 在一实施例中， 在步骤 S2之后， 即交互端对用户请求信息进行预处 理， 并将预处理后得到的目标请求信息发送到中心 服务端， 其中， 预处理包括 过滤不符合预设特征提取条件的生物样本信息 之后， 人机交互方法还包括如下 步骤：

[0093] S8： 针对不符合预设特征提取条件的生物样本信息 ， 交互端向用户发出信息采 集异常消息， 并重新采集生物样本信息。

[0094] 信息采集异常消息是提醒用户当前操作有误， 并提示用户进行下一步操作的信 息。 信息采集异常消息可以通过显示屏的 UI界面、 语音提示音等向用户发出提 醒。

[0095] 具体地， 交互端在对生物样本信息进行预处理后， 对于不符合特征提取条件的 生物样本信息， 可以通过显示屏， 或者音频设备， 以图形图像或声音的方式向 用户发出信息采集异常消息， 提示用户进行下一步操作， 以使交互端能再次采 集人脸图片信息或语音信息。

[0096] 在本实施例中， 针对不符合特征提取条件的生物样本信息， 交互端及时向用户 发出信息采集异常消息， 并重新采集生物样本信息， 相对于由计算服务端来处 理， 节约了系统开销和时间成本。

[0097] 进一步地， 在一实施例中， 如图 3所示， 针对步骤 S3 , 即中心服务端为目标请 求信息分配生物识别任务， 并将目标请求信息保存到存储平台， 将生物识别任 务分发给计算服务端， 具体包括如下步骤：

[0098] S31： 中心服务端将接收到的目标请求信息缓存到预 先建立的存储队列中。

[0099] 存储队列用于缓存交互端的目标请求信息， 以使中心服务端能在及时响应交互 端请求的同时保证系统稳定性。

[0100] 具体地， 中心服务端预先建立两个数组作为存储队列， 一个用于缓存人脸图片 ， 一个用户缓存语音文件。

[0101] S32： 若存储队列的长度达到预设阈值， 则中心服务端启动处理线程， 其中， 处理线程用于将目标请求信息保存到存储平台 ， 并为目标请求信息分配生物识 别任务， 将生物识别任务分发给计算服务端。

[0102] 预设阈值根据中心服务端的硬件主机内存而定 。 为了保证中心服务端的正常运 行， 优选地， 将每个缓存队列占用的内存数预设为总内存容 量的 15%。

[0103] 处理线程用于将目标请求信息保存到存储平台 ， 并为目标请求信息分配生物识 别任务， 将生物识别任务分发给计算服务端。

[0104] 具体地， 处理线程先检测每个缓存队列的值， 若某个队列为空， 则不为该队列 启动线程； 若队列不为空， 则为该队列启动线程。 若人脸图片的缓存队列不为 空， 则启动人脸特征提取任务线程， 该线程用于将人脸图片保存到存储平台， 并将人脸特征提取任务分发给计算服务端； 若语音文件的缓存队列不为空， 则 启动语音特征提取任务线程， 该线程用于将语音文件保存到存储平台， 并将声 纹特征提取任务分发给计算服务端。

[0105] 在本实施例中， 中心服务端为数据量大的人脸图片和语音文件 分别建立缓存队 歹 IJ， 用以缓解中心服务端的处理压力， 使得中心服务端能在及时响应交互端请 求的同时保证系统稳定性。

[0106] 进一步地， 在一实施例中， 如图 4所示， 针对步骤 S32, 即若存储队列的长度达 到预设阈值， 则中心服务端启动处理线程， 其中， 处理线程用于将目标请求信 息保存到存储平台， 并为目标请求信息分配生物识别任务， 将生物识别任务分 发给计算服务端， 具体包括如下步骤：

[0107] S321： 若存储队列的长度达到预设阈值， 则中心服务端从预设线程池中取出线 程。

[0108] 线程池是一组线程的集合。 系统在短时间内频繁的创建和销毁线程， 将增大系 统开销， 增加系统负担。 利用线程池可以减少这种系统开销。

[0109] 中心服务端创建一个线程池， 并维持线程池中的线程在处理完所执行的任务 后 不被销毁掉， 继续执行下一个任务。 线程池大小代表线程池中最多的线程数目 。 线程池大小可以本机 CPU核数来确定， 若中心服务端是 32核的 CPU， 则线程池 大小为 32.

[0110] 具体地， 中心服务端可以调用 ThreadPoolExecutor类创建线程池， 然后只要线 程池中的线程没有处于繁忙状态， 中心服务端按照循环依次从线程池中取出线 程即可。 当线程池中线程处于全忙状态时， 代表此时中心服务端的响应能力已 达到上限， 中心服务端将返回消息通知交互端稍后再试。

[0111] S322： 中心服务端调用线程将目标请求信息保存到存 储平台， 并将生物识别任 务分发给计算服务端。

[0112] 中心服务端从线程池中调用的线程所做的工作 与步骤 S32中单线程所做的工作 一样， 将人脸图片保存到存储平台， 并将人脸特征提取任务分发给计算服务端 ; 将语音文件保存到存储平台， 并将声纹特征提取任务分发给计算服务端。

[0113] 在本实施例中， 中心服务端通过设置线程池， 将目标请求信息保存到存储平台 ， 以及分发生物识别任务的工作变成多线程工作 方式， 提高了系统工作效率。

[0114] 进一步地， 在一实施例中， 针对 S7 , 即交互端根据处理结果信息从本地预设配 置文件中读取并执行指令集， 其中， 指令集用于完成与用户的人机互动， 具体 还包括如下步骤：

[0115] S71： 若交互端从本地预设配置文件中读取指令集失 败， 则交互端从中心服务 端上读取并执行云端预设配置文件中的指令集 。

[0116] 相对于本地预设配置文件， 云端预设配置文件是存储在中心服务端的。 对于一 些新的用户需求， 本地预设配置文件中没有相应的指令集， 交互端可以从中心 服务端下载并执行。 或者， 当交互端本地存储空间不足时， 交互端可以从中心 服务端端读取并执行指令集。

[0117] 具体地， 交互端根据处理结果信息从本地预设配置文件 中查询相应的指令集， 若从本地预设配置文件中查询失败， 则交互端以处理结果信息的标识信息作为 检索条件， 通过网络向中心服务端发送指令集读取请求； 若从中心服务端上匹 配到相应的指令集， 则读取并执行指令集。

[0118] 在本实施例中， 指令集不仅可以从交互端本地的配置文件中读 取并执行， 还可 以从中心服务端上读取并执行， 使得交互端能从多处读取和执行指令集， 扩展 了交互端响应用户请求的能力。

[0119] 进一步地， 在一实施例中， 针对步骤 S71， 即若交互端从本地预设配置文件中 读取指令集失败， 则交互端从中心服务端上读取并执行云端预设 配置文件中的 指令集， 具体还包括如下步骤：

[0120] S711： 若交互端从中心服务端上读取或执行云端预设 配置文件中的指令集失败

， 则交互端向用户发出告警信息。

[0121] 若中心服务端上没有与处理结果信息匹配的指 令集， 则交互端向用户发出告警 信息， 告警信息用以告知用户不能执行用户当前操作 的原因。 例如， 用户说话 不清楚， 无法识别其语义， 因而无法做出正确的响应。

[0122] 具体地， 交互端可以通过显示屏， 或者音频设备， 以图形图像或声音的方式向 用户发出告警信息。 如通过显示屏显示 UI界面， 告知用户的行为无法正确识别 ， 请用户重新操作。

[0123] 在本实施例中， 交互端将对处理结果信息执行失败的原因告知 用户， 完善了人 机交互的过程， 不遗漏系统响应盲区。

[0124] 进一步地， 在一实施例中， 如图 5所示， 在步骤 S711之后， 即若交互端从中心 服务端上读取或执行云端预设配置文件中的指 令集失败， 则交互端向用户发出 告警信息之后， 人机交互方法还包括如下步骤：

[0125] S712： 交互端向中心服务端发送指令集读取失败消息 。

[0126] 交互端上有定位装置， 如北斗、 GPS、 AGPS等。 在大型会场中， 可能部署有 若干个交互端， 每个交互端所处的位置各不相同， 有的可能相距很远。 若交互 端从预设配置文件中读取指令集失败， 并且交互端从中心服务端端上读取或执 行指令集失败， 则交互端向中心服务端发送指令集读取失败消 息。 其中， 指令 集读取失败消息包括交互端自身的定位信息， 以及处理结果信息的标识。 [0127] 具体地， 交互端通过定位装置， 将自身的物理位置信息添加到指令集读取失败 消息中， 同时， 将无法正确执行的处理结果消息所对应的标识 号添加到指令集 读取失败消息中， 并通过 socket发送到中心服务端。

[0128] S713： 中心服务端根据指令集读取失败消息， 定位交互端的物理位置， 以用于 提示有用户需要人工辅助。

[0129] 具体地， 中心服务端对指令集读取失败消息进行解析， 得到交互端的物理位置 和处理结果消息所对应的标识号。 其中， 交互端的物理位置用以定位， 处理结 果消息所对应的标识对应了用户行为数据， 可以用于追溯用户作了哪些行为而 无法被识别。

[0130] 在本实施例中， 交互端将自身标识信息发送给中心服务端， 使中心服务端能定 位到交互端所在位置， 从而引导工作人员去现场帮助用户解决操作中 遇到的问 题， 能快速准确定位人机交互中的问题， 并辅以人工帮助。

[0131] 在一实施例中， 提供一种人机交互系统， 该人机交互系统与上述实施例中人机 交互方法一一对应。 如图 6所示， 该人机交互系统包括交互端 61、 中心服务端 62 、 计算服务端 63。 各功能模块详细说明如下：

[0132] 交互端 61， 用于采集用户请求信息， 其中， 用户请求信息包括生物样本信息； 对用户请求信息进行预处理， 并将预处理后得到的目标请求信息发送到中心 服 务端， 其中， 预处理包括过滤不符合预设特征提取条件的生 物样本信息；

[0133] 中心服务端 62, 用于为目标请求信息分配生物识别任务， 并将目标请求信息保 存到存储平台， 将生物识别任务分发给计算服务端；

[0134] 计算服务端 63: 用于根据生物识别任务， 从存储平台获取与生物识别任务对应 的目标请求信息， 并对获取到的目标请求信息进行生物特征提取 ， 将得到的提 取结果返回给中心服务端；

[0135] 中心服务端 63 , 还用于对提取结果进行组合得到用户行为数据 ， 并将用户行为 数据与存储平台中预设的用户行为特征进行匹 配， 根据匹配结果生成处理结果 信息； 将处理结果信息返回给交互端；

[0136] 交互端 61， 还用于根据处理结果信息从预设配置文件中读 取并执行指令集， 其 中， 指令集用于完成与用户的人机互动。 [0137] 进一步地， 交互端 61包括重采样模块， 重采样模块用于针对不符合预设特征提 取条件的生物样本信息， 向用户发出信息采集异常消息， 并重新采集生物样本 信息；

[0138] 进一步地， 中心服务端 62包括缓存模块， 缓存模块用于将接收到的目标请求信 息缓存到预先建立的存储队列中； 若存储队列的长度达到预设阈值， 则启动处 理线程， 其中， 处理线程用于将目标请求信息保存到存储平台 ， 并为目标请求 信息分配生物识别任务， 将生物识别任务分发给计算服务端；

[0139] 进一步地， 中心服务端 62还包括线程调度模块， 线程调度模块用于若存储队列 的长度达到预设阈值， 则从预设线程池中取出线程； 调用线程将目标请求信息 保存到存储平台， 并将生物识别任务分发给计算服务端；

[0140] 进一步地， 交互端 61还包括指令集获取模块， 指令集获取模块用于若交互端从 本地预设配置文件中读取指令集失败， 则交互端从中心服务端上读取并执行云 端预设配置文件中的指令集；

[0141] 进一步地， 交互端 61还包括第一告警模块， 第一告警模块用于若从中心服务端 上读取或执行云端预设配置文件中的指令集失 败， 则向用户发出告警信息；

[0142] 进一步地， 交互端 61还包括第二告警模块， 第二告警模块用于向中心服务端发 送指令集读取失败消息；

[0143] 进一步地， 中心服务端 62还包括辅助模块， 辅助模块用于根据指令集读取失败 消息， 定位交互端的物理位置， 以用于提示有用户需要人工辅助。

[0144] 关于人机交互系统的具体限定可以参见上文中 对于人机交互方法的限定， 在此 不再赘述。 上述人机交互系统中的各个模块可全部或部分 通过软件、 硬件及其 组合来实现。 上述各模块可以硬件形式内嵌于或独立于计算 机设备中的处理器 中， 也可以以软件形式存储于计算机设备中的存储 器中， 以便于处理器调用执 行以上各个模块对应的操作。

[0145] 在一个实施例中， 提供了一种计算机设备， 该计算机设备可以是服务器， 其内 部结构图可以如图 7所示。 该计算机设备包括通过系统总线连接的处理器 、 存储 器、 网络接口和数据库。 其中， 该计算机设备的处理器用于提供计算和控制能 力。 该计算机设备的存储器包括非易失性存储介质 、 内存储器。 该非易失性存 储介质存储有操作系统、 计算机可读指令和数据库。 该内存储器为非易失性存 储介质中的操作系统和计算机可读指令的运行 提供环境。 该计算机设备的网络 接口用于与外部的终端通过网络连接通信。 该计算机可读指令被处理器执行时 以实现一种人机交互方法。

[0146] 在一个实施例中， 提供了一种计算机设备， 包括存储器、 处理器及存储在存储 器上并可在处理器上运行的计算机可读指令， 处理器执行计算机可读指令时实 现上述实施例中人机交互方法的步骤， 例如图 2所示的步骤 S 1至步骤 S7。

[0147] 在一实施例中， 提供一个或多个存储有计算机可读指令的非易 失性可读存储介 质， 计算机可读指令被一个或多个处理器执行时实 现上述方法实施例中人机交 互方法， 或者， 该计算机可读指令被一个或多个处理器执行时 实现上述系统实 施例、 或装置实施例中各模块 /单元的功能。 为避免重复， 这里不再赘述。

[0148] 本领域普通技术人员可以理解实现上述实施例 方法中的全部或部分流程， 是可 以通过计算机可读指令来指令相关的硬件来完 成， 所述的计算机可读指令可存 储于一非易失性计算机可读取存储介质中， 该计算机可读指令在执行时， 可包 括如上述各方法的实施例的流程。 其中， 本申请所提供的各实施例中所使用的 对存储器、 存储、 数据库或其它介质的任何引用， 均可包括非易失性和 /或易失 性存储器。 非易失性存储器可包括只读存储器 (ROM) 、 可编程 ROM (PROM ) 、 电可编程 ROM (EPROM) 、 电可擦除可编程 ROM (EEPROM) 或闪存。 易失性存储器可包括随机存取存储器 (RAM) 或者外部高速缓冲存储器。 作为 说明而非局限， RAM以多种形式可得， 诸如静态 RAM (SRAM) 、 动态 RAM ( DRAM) 、 同步 DRAM (SDRAM) 、 双数据率 SDRAM (DDRSDRAM) 、 增强 型 SDRAM (ESDRAM) 、 同步链路 (Synchlink) DRAM (SLDRAM) 、 存储 器总线 (Rambus) 直接 RAM (RDRAM) 、 直接存储器总线动态 RAM (DRDR AM) 、 以及存储器总线动态 RAM (RDRAM) 等。

[0149] 所属领域的技术人员可以清楚地了解到， 为了描述的方便和简洁， 仅以上述各 功能单元、 模块的划分进行举例说明， 实际应用中， 可以根据需要而将上述功 能分配由不同的功能单元、 模块完成， 即将所述系统的内部结构划分成不同的 功能单元或模块， 以完成以上描述的全部或者部分功能。 [0150] 以上所述实施例仅用以说明本申请的技术方案 ， 而非对其限制； 尽管参照前述 实施例对本申请进行了详细的说明， 本领域的普通技术人员应当理解： 其依然 可以对前述各实施例所记载的技术方案进行修 改， 或者对其中部分技术特征进 行等同替换； 而这些修改或者替换， 并不使相应技术方案的本质脱离本申请各 实施例技术方案的精神和范围， 均应包含在本申请的保护范围之内。