Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
VIRTUAL STEREO SYNTHESIS METHOD AND DEVICE
Document Type and Number:
WIPO Patent Application WO/2015/058503
Kind Code:
A1
Abstract:
Disclosed are a virtual stereo synthesis method and device. The method comprises: acquiring at least one voice input signal at one side and at least one voice input signal at the other side; respectively conducting ratio processing on a left ear component of a preset head related transfer function (HRTF) and a right ear component of the preset head related transfer function (HRTF) of each of the voice input signals at the other side, so as to obtain a filter function of each of the voice input signals at the other side; respectively conducting convolution filtering on each of the voice input signals at the other side and the filter function of each of the voice input signals at the other side to obtain filtering signals at the other side; and synthesizing all the voice input signals at one side and all the filtering signals at the other side to form virtual stereo signals. By means of the above-mentioned method, the present application can improve the tonal coloration effect and reduce the calculation complexity.

Inventors:
LANG YUE (CN)
DU ZHENGZHONG (CN)
Application Number:
PCT/CN2014/076089
Publication Date:
April 30, 2015
Filing Date:
April 24, 2014
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
HUAWEI TECH CO LTD (CN)
International Classes:
H04S3/00
Foreign References:
CN1630434A2005-06-22
US20060062409A12006-03-23
US6768798B12004-07-27
Other References:
See also references of EP 3046339A4
Attorney, Agent or Firm:
CHINA WISPRO INTELLECTUAL PROPERTY LLP. (CN)
深圳市威世博知识产权代理事务所(普通合伙) (CN)
Download PDF:
Claims:
权利 要求

1.一种虚拟立体声合成方法, 其中, 所述方法包括:

获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号; 分别对每一个所述另一侧声音输入信号的预设头相关传输函数 HRTF左耳 分量和预设头相关传输函数 HRTF右耳分量进行比值处理获得每一个所述另一 侧声音输入信号的滤波函数;

分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的滤波 函数进行卷积滤波得到所述另一侧滤波信号;

将所有所述一侧声音输入信号与所有所述另一侧滤波信号合成虚拟立体声 信号。

2.根据权利要求 1所述的方法, 其中, 所述分别对每一个所述另一侧声音输 入信号的预设头相关传输函数 HRTF左耳分量和预设头相关传输函数 HRTF右 耳分量进行比值处理获得每一个所述另一侧声音输入信号的滤波函数的步骤包 括:

分别将每一个所述另一侧声音输入信号的左耳频域参数和右耳频域参数的 比值作为每一个所述另一侧声音输入信号的滤波频域函数, 其中, 所述左耳频 域参数表示所述另一侧声音输入信号的预设 HRTF左耳分量, 所述右耳频域参 数表示所述另一侧声音输入信号的预设 HRTF右耳分量;

分别将每一个所述另一侧声音输入信号的滤波频域函数转换为时域, 作为 每一个所述另一侧声音输入信号的滤波函数。

3.根据权利要求 2所述的方法, 其中, 所述分别将每一个所述另一侧声音输 入信号的滤波频域函数转换为时域, 作为每一个所述另一侧声音输入信号的滤 波函数的步骤包括:

分别对每一个所述另一侧声音输入信号的滤波频域函数进行最小相位滤波 后转换为时域, 作为每一个所述另一侧声音输入信号的滤波函数。

4.根据权利要求 2或 3所述的方法, 其中, 在所述分别将每一个所述另一侧 声音输入信号的左耳频域参数和右耳频域参数的比值作为每一个所述另一侧声 音输入信号的滤波频域函数的步骤之前, 所述方法还包括:

分别将每一个所述另一侧声音输入信号的预设 HRTF左耳分量的频域作为 每一个所述另一侧声音输入信号的左耳频域参数, 分别将每一个所述另一侧声 音输入信号的预设 HRTF右耳分量的频域作为每一个所述另一侧声音输入信号 的右耳频域参数;

或者, 分别将每一个所述另一侧声音输入信号的预设 HRTF左耳分量进行 扩散场均衡或子带平滑后的频域作为每一个所述另一侧声音输入信号的左耳频 域参数, 分别将每一个所述另一侧声音输入信号的预设 HRTF右耳分量进行扩 散场均衡或子带平滑后的频域作为每一个所述另一侧声音输入信号的右耳频域 参数;

或者, 分别将每一个所述另一侧声音输入信号的预设 HRTF左耳分量依序 进行扩散场均衡、 子带平滑后的频域作为每一个所述另一侧声音输入信号的左 耳频域参数, 分别将每一个所述另一侧声音输入信号的预设 HRTF右耳分量依 序进行扩散场均衡、 子带平滑后的频域作为每一个所述另一侧声音输入信号的 右耳频域参数。

5.根据权利要求 1至 4任一项所述的方法, 其中, 所述分别将每一个所述另 一侧声音输入信号与所述另一侧声音输入信号的滤波函数进行卷积滤波得到另 一侧滤波信号的步骤具体包括:

分别将每一个所述另一侧声音输入信号进行混响处理后作为另一侧声音混 响信号;

分别将每一个所述另一侧声音混响信号与对应的所述另一侧声音输入信号 的滤波函数进行卷积滤波得到另一侧滤波信号。

6.根据权利要求 5所述的方法, 其中, 所述分别将每一个所述另一侧声音输 入信号进行混响处理后作为另一侧声音混响信号的步骤包括: 分别将每一个所述另一侧声音输入信号通过全通滤波器得到每一个所述另 一侧声音输入信号的混响信号;

分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的混响 信号合成另一侧声音混响信号。

7.根据权利要求 1至 6任一项所述的方法, 其中, 所述将所有所述一侧声音 输入信号与所有所述另一侧滤波信号合成虚拟立体声信号的步骤具体包括: 对所有所述一侧声音输入信号与所有所述另一侧滤波信号求和获得合成信 号;

利用 4阶无限冲激响应 IIR滤波器对所述合成信号进行音色均衡后作为虚拟 立体声信号。

8.—种虚拟立体声合成装置, 其中, 所述装置包括获取模块、 生成模块、 卷 积滤波模块及合成模块;

所述获取模块用于获取至少一个一侧声音输入信号和至少一个另一侧声音 输入信号, 并发送给所述生成模块和卷积滤波模块;

所述生成模块用于分别对每一个所述另一侧声音输入信号的预设头相关传 输函数 HRTF左耳分量和预设头相关传输函数 HRTF右耳分量进行比值处理获 得每一个所述另一侧声音输入信号的滤波函数, 并将每一个所述另一侧声音输 入信号的滤波函数发送给所述卷积滤波模块;

所述卷积滤波模块用于分别将每一个所述另一侧声音输入信号与所述另一 侧声音输入信号的滤波函数进行卷积滤波得到所述另一侧滤波信号, 并将所有 所述另一侧滤波信号发送给所述合成模块;

所述合成模块用于将所有所述一侧声音输入信号与所有所述另一侧滤波信 号合成虚拟立体声信号。

9.根据权利要求 8所述的装置, 其中, 所述生成模块包括比值单元和转换单 元;

所述比值单元用于分别将每一个所述另一侧声音输入信号的左耳频域参数 和右耳频域参数的比值作为每一个所述另一侧声音输入信号的滤波频域函数, 并将每一个所述另一侧声音输入信号的滤波频域函数发送给所述转换单元, 其 中, 所述左耳频域参数表示所述另一侧声音输入信号的预设 HRTF左耳分量, 所述右耳频域参数表示所述另一侧声音输入信号的预设 HRTF右耳分量;

所述转换单元用于分别将每一个所述另一侧声音输入信号的滤波频域函数 转换为时域, 作为每一个所述另一侧声音输入信号的滤波函数。

10.根据权利要求 9所述的装置, 其中, 所述转换单元进一步用于分别对每 一个所述另一侧声音输入信号的滤波频域函数进行最小相位滤波后转换为时 域, 作为每一个所述另一侧声音输入信号的滤波函数。

11.根据权利要求 9或 10所述的装置, 其中, 所述生成模块包括处理单元; 所述处理单元用于分别将每一个所述另一侧声音输入信号的预设 HRTF左 耳分量的频域作为每一个所述另一侧声音输入信号的左耳频域参数, 分别将每 一个所述另一侧声音输入信号的预设 HRTF右耳分量的频域作为每一个所述另 一侧声音输入信号的右耳频域参数; 或者, 分别将每一个所述另一侧声音输入 信号的预设 HRTF左耳分量进行扩散场均衡或子带平滑后的频域作为每一个所 述另一侧声音输入信号的左耳频域参数, 分别将每一个所述另一侧声音输入信 号的预设 HRTF右耳分量进行扩散场均衡或子带平滑后的频域作为每一个所述 另一侧声音输入信号的右耳频域参数; 或者, 分别将每一个所述另一侧声音输 入信号的预设 HRTF左耳分量依序进行扩散场均衡、 子带平滑后的频域作为每 一个所述另一侧声音输入信号的左耳频域参数, 分别将每一个所述另一侧声音 输入信号的预设 HRTF右耳分量依序进行扩散场均衡、 子带平滑后的频域作为 每一个所述另一侧声音输入信号的右耳频域参数, 并将所述左耳、 右耳频域参 数发送给比值单元。

12.根据权利要求 8至 11任一项所述的装置, 其中, 还包括混响处理模块; 所述混响处理模块用于分别将每一个所述另一侧声音输入信号进行混响处 理后作为另一侧声音混响信号, 并将所有所述另一侧声音混响信号输出至所述 卷积滤波模块;

所述卷积滤波模块进一步用于分别将每一个所述另一侧声音混响信号与对 应的所述另一侧声音输入信号的滤波函数进行卷积滤波得到另一侧滤波信号。

13.根据权利要求 12所述的装置, 其中, 所述混响处理模块具体用于分别将 每一个所述另一侧声音输入信号通过全通滤波器得到每一个所述另一侧声音输 入信号的混响信号, 分别将每一个所述另一侧声音输入信号与所述另一侧声音 输入信号的混响信号合成另一侧声音混响信号。

14.根据权利要求 8至 13任一项所述的装置, 其中, 所述合成模块包括合成 单元和音色均衡单元;

所述合成单元用于对所有所述一侧声音输入信号与所有所述另一侧滤波信 号求和获得合成信号, 并将所述合成信号发送给所述音色均衡单元;

所述音色均衡单元用于利用 4阶无限冲激响应 IIR滤波器对所述合成信号进 行音色均衡后作为虚拟立体声信号。

15.—种虚拟立体声合成装置, 其中, 所述装置包括处理器;

所述处理器用于:

获取至少一个一侧声音输入信号和至少一个另一侧声音输入信号; 分别对每一个所述另一侧声音输入信号的预设头相关传输函数 HRTF左耳 分量和预设头相关传输函数 HRTF右耳分量进行比值处理获得每一个所述另一 侧声音输入信号的滤波函数;

分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号的滤波 函数进行卷积滤波得到所述另一侧滤波信号;

将所有所述一侧声音输入信号与所有所述另一侧滤波信号合成虚拟立体声 信号。

16.根据权利要求 15所述的装置, 其中, 所述处理器还用于:

分别将每一个所述另一侧声音输入信号的左耳频域参数和右耳频域参数的 比值作为每一个所述另一侧声音输入信号的滤波频域函数, 其中, 所述左耳频 域参数表示所述另一侧声音输入信号的预设 HRTF左耳分量, 所述右耳频域参 数表示所述另一侧声音输入信号的预设 HRTF右耳分量;

分别将每一个所述另一侧声音输入信号的滤波频域函数转换为时域, 作为 每一个所述另一侧声音输入信号的滤波函数。

17.根据权利要求 16所述的装置, 其中, 所述处理器还用于分别对每一个所 述另一侧声音输入信号的滤波频域函数进行最小相位滤波后转换为时域, 作为 每一个所述另一侧声音输入信号的滤波函数。

18.根据权利要求 16或 17所述的装置, 其中, 所述处理器还用于: 分别将每一个所述另一侧声音输入信号的预设 HRTF左耳分量的频域作为 每一个所述另一侧声音输入信号的左耳频域参数, 分别将每一个所述另一侧声 音输入信号的预设 HRTF右耳分量的频域作为每一个所述另一侧声音输入信号 的右耳频域参数;

或者, 分别将每一个所述另一侧声音输入信号的预设 HRTF左耳分量进行 扩散场均衡或子带平滑后的频域作为每一个所述另一侧声音输入信号的左耳频 域参数, 分别将每一个所述另一侧声音输入信号的预设 HRTF右耳分量进行扩 散场均衡或子带平滑后的频域作为每一个所述另一侧声音输入信号的右耳频域 参数;

或者, 分别将每一个所述另一侧声音输入信号的预设 HRTF左耳分量依序 进行扩散场均衡、 子带平滑后的频域作为每一个所述另一侧声音输入信号的左 耳频域参数, 分别将每一个所述另一侧声音输入信号的预设 HRTF右耳分量依 序进行扩散场均衡、 子带平滑后的频域作为每一个所述另一侧声音输入信号的 右耳频域参数。

19.根据权利要求 15至 18任一项所述的装置, 其中, 所述处理器还用于: 分别将每一个所述另一侧声音输入信号进行混响处理后作为另一侧声音混 响信号;

分别将每一个所述另一侧声音混响信号与对应的所述另一侧声音输入信号 的滤波函数进行卷积滤波得到另一侧滤波信号。

20.根据权利要求 19所述的装置, 其中, 所述处理器还用于分别将每一个所 述另一侧声音输入信号通过全通滤波器得到每一个所述另一侧声音输入信号的 混响信号, 分别将每一个所述另一侧声音输入信号与所述另一侧声音输入信号 的混响信号合成另一侧声音混响信号。

21.根据权利要求 15至 20任一项所述的装置, 其中, 所述处理器还用于: 对所有所述一侧声音输入信号与所有所述另一侧滤波信号求和获得合成信 号;

利用 4阶无限冲激响应 IIR滤波器对所述合成信号进行音色均衡后作为虚拟 立体声信号。

Description:
虚拟立体声合成方法及装置

【技术领域】

本申请涉及音频处理技术领域, 特别是涉及虚拟立体声合成方法及装置。

【背景技术】

目前, 耳机已广泛应用于欣赏音乐和视频。 在使用耳机重放立体声信号时, 往往会出现头部定位效应, 造成不自然的听力效果。 经研究, 所述头部定位效 应出现的原因为: 1 )耳机直接将左右通道信号合成的虚拟声信号 直接传输至 双耳, 并无如自然声般经人头、 耳廊、 躯干等散射、 反射, 且合成的虚拟声信 号中左右通道信号并无交叉叠加, 破坏原声场的空间信息; 2 )所述合成的虚拟 声信号缺少房间的早期反射和后期混响, 进而影响听者对声音距离及空间大小 的感受。

为减轻所述头部定位效应, 现有技术通过在人工模拟的听音环境中测量出 可表达生理结构或环境对声波的综合滤波效果 的数据。 常见的方式是在消声室 中使用人工头测量头相关变换函数 ( Head Related Transfer Function , 简称

HRTF ), 以表达生理结构对声波的综合滤波效果, 如图 1, 通过对输入的左右通 道信号 ^n)、 W进行交叉卷积滤, 获得分别输出至左、 右耳虚拟声信号 An)、 s r ( )。

s l (n) = conv(h^ (n), s, (n)) + conv(h^ (n), s r (n))

s r (n) = conv(h^ (n), (n)) + conv(h^ (n), s r (n))

其中, c。 W (x,y)表示向量 x 、 y的卷积, ( n )、 ( n )分别为模拟的左扬声器 到左、 右耳的 HRTF数据, h ( n )、 ( η )分别为模拟的右扬声器到左、 右耳的 HRTF数据。 然而, 上述方式虚拟声信号需要分别对左右通道信号 进行卷积, 对 左右通道信号的原始频率造成一定影响, 造从而产生音染效果, 且也增加的计 算的复杂度。

现有技术还提供利用 BRIR数据替代上述的 HRTF数据进行对左右通道输入 的信号进行立体声模拟, BRIR数据中还包括环境对声波的综合滤波效果 虽 其立体声效较于 HRTF数据有改善, 但其计算复杂度更高, 且音染效果依然存 在。

【发明内容】

本申请主要解决的技术问题是提供虚拟立体声 合成方法及装置, 能够改善 音染效果, 且降低计算复杂度。

为解决上述技术问题, 本申请第一方面提供一种虚拟立体声合成方法 , 所 述方法包括: 获取至少一个一侧声音输入信号和至少一个另 一侧声音输入信号; 分别对每一个所述另一侧声音输入信号的预设 头相关传输函数 HRTF左耳分量 和预设头相关传输函数 HRTF右耳分量进行比值处理获得每一个所述另 侧声 音输入信号的滤波函数; 分别将每一个所述另一侧声音输入信号与所述 另一侧 声音输入信号的滤波函数进行卷积滤波得到所 述另一侧滤波信号; 将所有所述 一侧声音输入信号与所有所述另一侧滤波信号 合成虚拟立体声信号。

结合第一方面, 本申请第一方面第一种可能的实施方式为: 所述分别对每 一个所述另一侧声音输入信号的预设头相关传 输函数 HRTF左耳分量和预设头 相关传输函数 HRTF右耳分量进行比值处理获得每一个所述另 侧声音输入信 号的滤波函数的步骤包括:

分别将每一个所述另一侧声音输入信号的左耳 频域参数和右耳频域参数的 比值作为每一个所述另一侧声音输入信号的滤 波频域函数, 其中, 所述左耳频 域参数表示所述另一侧声音输入信号的预设 HRTF左耳分量, 所述右耳频域参 数表示所述另一侧声音输入信号的预设 HRTF右耳分量; 分别将每一个所述另 一侧声音输入信号的滤波频域函数转换为时域 , 作为每一个所述另一侧声音输 入信号的滤波函数。

结合第一方面的第一种可能的实施方式, 本申请第一方面第二种可能的实 施方式为: 所述分别将每一个所述另一侧声音输入信号的 滤波频域函数转换为 时域, 作为每一个所述另一侧声音输入信号的滤波函 数的步骤包括: 分别对每 一个所述另一侧声音输入信号的滤波频域函数 进行最小相位滤波后转换为时 域, 作为每一个所述另一侧声音输入信号的滤波函 数。

结合第一方面的第一或第二种可能的实施方式 , 本申请第一方面第三种可 能的实施方式为: 在所述分别将每一个所述另一侧声音输入信号 的左耳频域参 数和右耳频域参数的比值作为每一个所述另一 侧声音输入信号的滤波频域函数 的步骤之前, 所述方法还包括:

分别将每一个所述另一侧声音输入信号的预设 HRTF左耳分量的频域作为 每一个所述另一侧声音输入信号的左耳频域参 数, 分别将每一个所述另一侧声 音输入信号的预设 HRTF右耳分量的频域作为每一个所述另一侧声 输入信号 的右耳频域参数; 或者, 分别将每一个所述另一侧声音输入信号的预设 HRTF 左耳分量进行扩散场均衡或子带平滑后的频域 作为每一个所述另一侧声音输入 信号的左耳频域参数, 分别将每一个所述另一侧声音输入信号的预设 HRTF右 耳分量进行扩散场均衡或子带平滑后的频域作 为每一个所述另一侧声音输入信 号的右耳频域参数; 或者, 分别将每一个所述另一侧声音输入信号的预设 HRTF 左耳分量依序进行扩散场均衡、 子带平滑后的频域作为每一个所述另一侧声音 输入信号的左耳频域参数,分别将每一个所述 另一侧声音输入信号的预设 HRTF 右耳分量依序进行扩散场均衡、 子带平滑后的频域作为每一个所述另一侧声音 输入信号的右耳频域参数。

结合第一方面或第一至第三任一种可能的实施 方式, 本申请第一方面第四 种可能的实施方式为: 所述分别将每一个所述另一侧声音输入信号与 所述另一 侧声音输入信号的滤波函数进行卷积滤波得到 另一侧滤波信号的步骤具体包 括: 分别将每一个所述另一侧声音输入信号进行混 响处理后作为另一侧声音混 响信号; 分别将每一个所述另一侧声音混响信号与对应 的所述另一侧声音输入 信号的滤波函数进行卷积滤波得到另一侧滤波 信号。

结合第一方面的第四种可能的实施方式, 本申请第一方面第五种可能的实 施方式为: 所述分别将每一个所述另一侧声音输入信号进 行混响处理后作为另 一侧声音混响信号的步骤包括: 分别将每一个所述另一侧声音输入信号通过全 通滤波器得到每一个所述另一侧声音输入信号 的混响信号; 分别将每一个所述 另一侧声音输入信号与所述另一侧声音输入信 号的混响信号合成另一侧声音混 响信号。

结合第一方面或第一至第五任一种可能的实施 方式, 本申请第一方面第六 种可能的实施方式为: 所述将所有所述一侧声音输入信号与所有所述 另一侧滤 波信号合成虚拟立体声信号的步骤具体包括: 对所有所述一侧声音输入信号与 所有所述另一侧滤波信号求和获得合成信号; 利用 4阶无限冲激响应 IIR滤波器 对所述合成信号进行音色均衡后作为虚拟立体 声信号。

为了解决上述技术问题, 本申请第二方面提供一种虚拟立体声合成装置 , 所述装置包括获取模块、 生成模块、 卷积滤波模块及合成模块; 所述获取模块 用于获取至少一个一侧声音输入信号和至少一 个另一侧声音输入信号, 并发送 给所述生成模块和卷积滤波模块; 所述生成模块用于分别对每一个所述另一侧 声音输入信号的预设头相关传输函数 HRTF 左耳分量和预设头相关传输函数 HRTF右耳分量进行比值处理获得每一个所述另 侧声音输入信号的滤波函数, 并将每一个所述另一侧声音输入信号的滤波函 数发送给所述卷积滤波模块; 所 述卷积滤波模块用于分别将每一个所述另一侧 声音输入信号与所述另一侧声音 输入信号的滤波函数进行卷积滤波得到所述另 一侧滤波信号, 并将所有所述另 一侧滤波信号发送给所述合成模块; 所述合成模块用于将所有所述一侧声音输 入信号与所有所述另一侧滤波信号合成虚拟立 体声信号。

结合第二方面, 本申请第二方面第一种可能的实施方式为: 所述生成模块 包括比值单元和转换单元; 所述比值单元用于分别将每一个所述另一侧声 音输 入信号的左耳频域参数和右耳频域参数的比值 作为每一个所述另一侧声音输入 信号的滤波频域函数, 并将每一个所述另一侧声音输入信号的滤波频 域函数发 送给所述转换单元, 其中, 所述左耳频域参数表示所述另一侧声音输入信 号的 预设 HRTF左耳分量, 所述右耳频域参数表示所述另一侧声音输入信 号的预设 HRTF右耳分量;所述转换单元用于分别将每一 所述另一侧声音输入信号的滤 波频域函数转换为时域, 作为每一个所述另一侧声音输入信号的滤波函 数。

结合第二方面的第一种可能的实施方式, 本申请第二方面第二种可能的实 施方式为: 所述转换单元进一步用于分别对每一个所述另 一侧声音输入信号的 滤波频域函数进行最小相位滤波后转换为时域 , 作为每一个所述另一侧声音输 入信号的滤波函数。

结合第二方面的第一或第二种可能的实施方式 , 本申请第二方面第三种可 能的实施方式为: 所述生成模块包括处理单元; 所述处理单元用于分别将每一 个所述另一侧声音输入信号的预设 HRTF左耳分量的频域作为每一个所述另一 侧声音输入信号的左耳频域参数, 分别将每一个所述另一侧声音输入信号的预 设 HRTF右耳分量的频域作为每一个所述另一侧声 输入信号的右耳频域参数; 或者, 分别将每一个所述另一侧声音输入信号的预设 HRTF左耳分量进行扩散 场均衡或子带平滑后的频域作为每一个所述另 一侧声音输入信号的左耳频域参 数, 分别将每一个所述另一侧声音输入信号的预设 HRTF右耳分量进行扩散场 均衡或子带平滑后的频域作为每一个所述另一 侧声音输入信号的右耳频域参 数; 或者, 分别将每一个所述另一侧声音输入信号的预设 HRTF左耳分量依序 进行扩散场均衡、 子带平滑后的频域作为每一个所述另一侧声音 输入信号的左 耳频域参数, 分别将每一个所述另一侧声音输入信号的预设 HRTF右耳分量依 序进行扩散场均衡、 子带平滑后的频域作为每一个所述另一侧声音 输入信号的 右耳频域参数, 并将所述左耳、 右耳频域参数发送给比值单元。

结合第二方面或第一至第三任一种可能的实施 方式, 本申请第二方面第四 种可能的实施方式为: 还包括混响处理模块; 所述混响处理模块用于分别将每 一个所述另一侧声音输入信号进行混响处理后 作为另一侧声音混响信号, 并将 所有所述另一侧声音混响信号输出至所述卷积 滤波模块; 所述卷积滤波模块进 一步用于分别将每一个所述另一侧声音混响信 号与对应的所述另一侧声音输入 信号的滤波函数进行卷积滤波得到另一侧滤波 信号。

结合第二方面的第四种可能的实施方式, 本申请第二方面第五种可能的实 施方式为: 所述混响处理模块具体用于分别将每一个所述 另一侧声音输入信号 通过全通滤波器得到每一个所述另一侧声音输 入信号的混响信号, 分别将每一 个所述另一侧声音输入信号与所述另一侧声音 输入信号的混响信号合成另一侧 声音混响信号。

结合第二方面或第一至第五任一种可能的实施 方式, 本申请第二方面第六 种可能的实施方式为: 所述合成模块包括合成单元和音色均衡单元; 所述合成 单元用于对所有所述一侧声音输入信号与所有 所述另一侧滤波信号求和获得合 成信号, 并将所述合成信号发送给所述音色均衡单元; 所述音色均衡单元用于 利用 4阶无限冲激响应 IIR滤波器对所述合成信号进行音色均衡后作为 虚拟立体 声信号。

为了解决上述技术问题, 本申请第三方面提供一种虚拟立体声合成装置 , 所述装置包括处理器; 所述处理器用于: 获取至少一个一侧声音输入信号和至 少一个另一侧声音输入信号; 分别对每一个所述另一侧声音输入信号的预设 头 相关传输函数 HRTF左耳分量和预设头相关传输函数 HRTF右耳分量进行比值 处理获得每一个所述另一侧声音输入信号的滤 波函数; 分别将每一个所述另一 侧声音输入信号与所述另一侧声音输入信号的 滤波函数进行卷积滤波得到所述 另一侧滤波信号; 将所有所述一侧声音输入信号与所有所述另一 侧滤波信号合 成虚拟立体声信号。

结合第三方面, 本申请第三方面第一种可能的实施方式为: 所述处理器还 用于: 分别将每一个所述另一侧声音输入信号的左耳 频域参数和右耳频域参数 的比值作为每一个所述另一侧声音输入信号的 滤波频域函数, 其中, 所述左耳 频域参数表示所述另一侧声音输入信号的预设 HRTF左耳分量, 所述右耳频域 参数表示所述另一侧声音输入信号的预设 HRTF右耳分量; 分别将每一个所述 另一侧声音输入信号的滤波频域函数转换为时 域, 作为每一个所述另一侧声音 输入信号的滤波函数。

结合第三方面的第一种可能的实施方式, 本申请第三方面第二种可能的实 施方式为: 所述处理器还用于分别对每一个所述另一侧声 音输入信号的滤波频 域函数进行最小相位滤波后转换为时域, 作为每一个所述另一侧声音输入信号 的滤波函数。

结合第三方面的第一或第二种可能的实施方式 , 本申请第三方面第三种可 能的实施方式为: 所述处理器还用于: 分别将每一个所述另一侧声音输入信号 的预设 HRTF左耳分量的频域作为每一个所述另一侧声 输入信号的左耳频域 参数, 分别将每一个所述另一侧声音输入信号的预设 HRTF右耳分量的频域作 为每一个所述另一侧声音输入信号的右耳频域 参数; 或者, 分别将每一个所述 另一侧声音输入信号的预设 HRTF左耳分量进行扩散场均衡或子带平滑后的 域作为每一个所述另一侧声音输入信号的左耳 频域参数, 分别将每一个所述另 一侧声音输入信号的预设 HRTF右耳分量进行扩散场均衡或子带平滑后的 域 作为每一个所述另一侧声音输入信号的右耳频 域参数; 或者, 分别将每一个所 述另一侧声音输入信号的预设 HRTF左耳分量依序进行扩散场均衡、 子带平滑 后的频域作为每一个所述另一侧声音输入信号 的左耳频域参数, 分别将每一个 所述另一侧声音输入信号的预设 HRTF右耳分量依序进行扩散场均衡、 子带平 滑后的频域作为每一个所述另一侧声音输入信 号的右耳频域参数。

结合第三方面或第一至第三任一种可能的实施 方式, 本申请第三方面第四 种可能的实施方式为: 所述处理器还用于: 分别将每一个所述另一侧声音输入 信号进行混响处理后作为另一侧声音混响信号 ; 分别将每一个所述另一侧声音 混响信号与对应的所述另一侧声音输入信号的 滤波函数进行卷积滤波得到另一 侧滤波信号。

结合第三方面的第四种可能的实施方式, 本申请第三方面第五种可能的实 施方式为: 所述处理器还用于分别将每一个所述另一侧声 音输入信号通过全通 滤波器得到每一个所述另一侧声音输入信号的 混响信号, 分别将每一个所述另 一侧声音输入信号与所述另一侧声音输入信号 的混响信号合成另一侧声音混响 信号。

结合第三方面或第一至第五任一种可能的实施 方式, 本申请第三方面第六 种可能的实施方式为: 所述处理器还用于: 对所有所述一侧声音输入信号与所 有所述另一侧滤波信号求和获得合成信号; 所述音色均衡单元用于利用 4 阶无 限冲激响应 IIR滤波器对所述合成信号进行音色均衡后作为 虚拟立体声信号。

通过上述方案, 本申请对每个另一侧声音输入信号的预设 HRTF数据的左、 右耳分量进行比值处理以获得保留所述预设 HRTF数据的方位信息的滤波函数, 使得合成虚拟立体声时, 只需利用滤波函数对所述另一侧的声音输入信 号进行 卷积滤波处理, 再与原始的所述一侧声音输入信号合成得到虚 拟立体声, 无需 同时对两侧声音输入信号进行卷积滤波, 大大降低了计算的复杂度, 且由于合 成时, 其中一侧的声音输入信号无需经过卷积处理, 保留了原始的音频, 进而 减轻了音染效应, 改善了虚拟立体声的音质。

【附图说明】

图 1是现有技术虚拟声合成示意图;

图 2是本申请虚拟立体声合成方法一实施方式的 程图;

图 3是本申请虚拟立体声合成方法另一实施方式 流程图;

图 4是获得图 3 所示的步骤 S302 中所述另一侧声音输入信号的滤波函数 的方法的流程图;

图 5是图 3所示的步骤 S303中所釆用的全通滤波器的结构示意图; 图 6是本申请虚拟立体声合成装置一实施方式的 构示意图;

图 7是本申请虚拟立体声合成装置另一实施方式 结构示意图;

图 8是本申请虚拟立体声合成装置再一实施方式 结构示意图。

【具体实施方式】

下面结合附图和具体的实施方式进行说明。

请参阅图 2, 图 2是本申请虚拟立体声合成方法一实施方式的 程图。 本实 施方式中, 所述方法包括以下步骤: 步骤 S201 : 虚拟立体声合成装置获取至少一个一侧声音输 入信号 和 至少一个另一侧声音输入信号 («)。

本发明通过对原始声音信号进行处理, 获得具有立体声音效果的输出声信 号。 本实施方式中, 位于一侧的模拟声源共有 M个, 相应地产生 M个一侧声音 输入信号, 位于另一侧的模拟声源共有 K个, 相应地产生 K个另一侧声音输入 信号, 虚拟立体声合成装置获取作为原始声音信号的 M 个一侧声音输入信号 s lm (n)和 K个另一侧声音输入信号 («), 其中, ^ (η)表示第 m个一侧声音输 入信号, 表示第 k个另一侧声音输入信号, l≤m≤M , l≤k≤K。

通常地, 本发明所述一侧和另一侧声音输入信号以模拟 从人工头中心的左、 右侧位置发出的声信号进行区分, 例如, 一侧声音输入信号为左侧声音输入信 号, 则另一侧声音输入信号为右侧声音输入信号; 一侧声音输入信号为右侧声 音输入信号, 则另一侧声音输入信号为左侧声音输入信号, 其中, 左侧声音输 入信号即为模拟从人工头中心的左侧位置发出 的声信号, 右侧声音输入信号为 模拟从人头中心的右侧位置发出的声信号。 具体举例, 双声道移动终端中的左 声道信号即为左侧声音输入信号, 右声道信号即为右侧声音输入信号, 使用耳 机播放声音时, 虚拟立体合成装置分别获取作为原始声音信号 的左、 右声道信 号, 并将左、 右声道信号分别作为一侧、 另一侧声音输入信号。 或者, 对于一 些重放信号源中包括四个声道信号的移动终端 , 所述四个声道信号的模拟声源 分别为与人工头中心的正前方水平夹角为 ±30°、 ±110°, 其仰角为 0°, 一般定义 水平夹角为正数角度( +30。、 +110。) 的声道信号为右侧声音输入信号, 水平夹 角为负数角度(-30。、 -110。)的声道信号为左侧声音输入信号。 使用耳机播放声 音时, 虚拟立体声合成装置获取左、 右侧声音输入信号分别作为一侧、 另一侧 声音输入信号。

步骤 S202: 虚拟立体声合成装置分别对每一个所述另一侧 声音输入信号 的预设头相关传输函数 HRTF 左耳分量 和预设头相关传输函数 HRTF右耳分量 进行比值处理获得每一个所述另一侧声音输入 信号的滤 波函数 h ( n )。

在此对预设相关传输函数 ( Head Related Transfer Function, 简称 HRTF )进 行简单介绍, HRTF数据 /^(w)为在实验室中测量到的从某一位置声源到 工头 双耳的传输路径滤波器模型数据, 它表达了人体生理结构对该声源位置的声波 的综合滤波作用, 其中, 所述声源到人工头中心的水平角为 S 、 仰角为 。 现 有技术已可提供不同的 HRTF 实验测量数据库, 本发明可直接从现有技术的 HRTF实验测量数据库中获取预设声源的 HRTF数据, 无需自身进行测量获得, 而模拟声源位置即为其对应预设的 HRTF数据测量时的声源位置。 本实施方式 中, 每个所述声音输入信号对应来自不同的预设模 拟声源, 故均对应地预设一 不同的 HRTF数据, 每个声音输入信号的预设 HRTF数据可表达出该声音输入 信号从预设位置传至双耳的滤波效果。 具体, 所述第 k个另一侧声音输入信号 的预设 HRTF数据 包括两个数据, 分别为表达该声音输入信号到人工头 左耳的滤波效果的左耳分量 和表达该声音输入信号到人工头右耳的滤波 效果的右耳分量 ¾ )。

虚拟立体声合成装置将每一个所述另一侧声音 输入信号 ¾ («)的预设 HRTF 数据中的左耳分量 与右耳分量 进行比值处理, 以获得每一个所述 另一侧声音输入信号的滤波函数 , (w), 例如, 直接将所述另一侧声音输入信 号的预设 HRTF左耳分量与预设 HRTF右耳分量转换成频域后进行比值运算得 到的值作为所述另一侧声音输入信号的滤波函 数, 或者先将所述另一侧声音输 入信号的预设 HRTF左耳分量与预设 HRTF右耳分量转换成频域后进行子带平 滑, 再进行比值运算得到的值作为滤波函数等。

步骤 S203 : 虚拟立体声合成装置分别将每一个所述另一侧 声音输入信号 s 2k (w)与所述另一侧声音输入信号的滤波函数 进行卷积滤波得到所述另 一侧滤波信号 0)。

虚拟立体声合成装置根据公式 (w) = cow ( (w), ¾ (w)), 计算出每个另一侧 声音输入信号 s 2k (n)对应的另一侧滤波信号 0), 其中, 所述 com ;c, >表示向量 x,y的卷积, )表示第 k个另一侧滤波信号, 表示第 k个另一侧声音输 入信号的滤波函数, 表示第 k个另一侧声音输入信号。

步骤 S204:虚拟立体声合成装置将所有所述一侧声音 入信号^ ^)与所有 所述另一侧滤波信号 {n)合成虚拟立体声信号 。 虚拟立体声合成装置根据 (η),将步骤 S201获得的所有

一侧声音输入信号 与步骤 S203获得的所有另一侧滤波信号 )合成为虚 拟立体声信号 )。

本实施方式对每个另一侧声音输入信号的预设 HRTF数据的左、 右耳分量 进行比值处理以获得保留所述预设 HRTF数据的方位信息的滤波函数, 使得合 成虚拟立体声时, 只需利用滤波函数对另一侧声音输入信号进行 卷积滤波处理, 再与所述一侧声音输入信号合成得到虚拟立体 声, 无需同时对两侧声音输入信 号进行卷积滤波, 大大降低了计算的复杂度, 且由于合成时, 一侧声音输入信 号无需经过卷积处理, 保留了原始的音频, 进而减轻了音染效应, 改善了虚拟 立体声的音质。

需要说明的是, 本实施方式所产生的虚拟立体声为输入一侧耳 朵的虚拟立 体声, 例如, 如果所述一侧声音输入信号为左侧声音输入信 号, 所述另一侧声 音输入信号为右侧声音输入信号, 则根据上述步骤获得的虚拟立体声信号为直 接输入至左耳的左耳虚拟立体声信号; 如果所述一侧声音输入信号为右侧声音 输入信号, 所述另一侧声音输入信号为左侧声音输入信号 , 则根据上述步骤获 得的虚拟立体声信号为直接输入至右耳的右耳 虚拟立体声信号。 通过上述方式, 虚拟立体声合成装置可分别获得左耳虚拟立体 声信号和右耳虚拟立体声信号, 并通过耳机对应输出至双耳, 形成如自然声般的立体效果。

另外, 在虚拟声源的位置均固定不变的实施方式中, 虚拟立体声合成装置 并不限定在每次进行虚拟立体声合成(如每次 使用耳机重放 )时执行步骤 S202。 由于每个声音输入信号的 HRTF数据表示的是该声音输入信号从声源到人 头 双耳的传输路径滤波器模型数据, 在声源位置不变的情况下, 该声源产生的声 音输入信号到人工头双耳的传输路径滤波器模 型数据是不变的, 故可将步骤 S202分离出来,预先执行步骤 202获取每一个声音输入信号的滤波函数并保存 , 在进行虚拟立体声合成时直接获取预先保存的 另一侧声音输入信号的滤波函数 对另一侧虚拟声源产生的另一侧声音输入信号 进行卷积滤波, 上述情况仍属于 本发明虚拟立体声合成方法的保护范围。

请参阅图 3, 图 3是本发明虚拟立体声合成方法另一实施方式 流程图。 本 实施方式中, 所述方法包括以下步骤:

步骤 S301 : 虚拟立体声合成装置获取至少一个一侧声音输 入信号 和 至少一个另一侧声音输入信号 (n)。

具体, 虚拟立体声合成装置获取作为原始声音信号的 至少一个一侧声音输 入信号 ^ (n)和至少一个另一侧声音输入信号 («), 其中, ^ (n)表示第 m个 一侧声音输入信号, 表示第 k个另一侧声音输入信号, 本实施方式中, 一 侧声音输入信号共有 M个, 另一侧声音输入信号共有 K个, l≤m≤M , l≤k≤K。

步骤 S302: 分别对每一个所述另一侧声音输入信号 的预设头相关传 输函数 HRTF左耳分量 和预设头相关传输函数 HRTF右耳 进 行比值处理获得每一个所述另一侧声音输入信 号的滤波函数 , ¾ (w)。

虚拟立体声合成装置将每一个所述另一侧声音 输入信号 ¾ («)的预设 HRTF 数据中的左耳分量 与右耳分量 进行比值处理, 以获得每一个所述 另一侧声音输入信号的滤波函数 。

对具体获得所述另一侧声音输入信号的滤波函 数 的方法进行举例说 明, 请参阅图 4, 图 4是获得图 3所示的步骤 S302中另一侧声音输入信号的滤 波函数 , ¾ (n)的方法的流程图。 虚拟立体声合成装置获取每一个另一侧声音输 入信号的滤波函数 (n)均包括以下步骤:

步骤 S401 : 虚拟立体声合成装置对所述另一侧声音输入信 号的预设 HRTF 数据 进行扩散场均衡。

所述第 k个另一侧声音输入信号的预设 HRTF用/ 表示, 其中, 所述 第 k个另一侧声音输入信号所模拟的声源到人工 中心的水平角为 、 仰角为 ¾ , 且 包括左耳分量 和右耳分量 两个数据。 一般, 实验室 测量得到的预设 HRTF不仅包含作为声源的扬声器到人工头双耳 传输路径滤 波器模型数据, 还包括扬声器的频响、 设置在双耳处以接收扬声器信号的麦克 风的频响以及人工耳耳道的频响等干扰数据。 这些干扰数据会影响合成虚拟声 中的方位感和距离感, 因此, 本实施方式釆用最优化的方式, 利用扩散场均衡 去掉上述干扰数据。

( 1 )具体, 计算所述另一侧声音输入信号的预设 HRTF数据/ ¾ 的频域 为¾ (") 。

( 2 )计算另一侧声音输入信号的预设 HRTF数据频域 H , ¾ (w)在所有方向上 的平均能量谱 DF _ avg(n):

ΟΡ _ αν § (η)=-——∑ ∑ l ¾ (") l 2

( 2*Τ*Ρ) ¾ , 其中, \H 0k , ( n )\表示 H 0k , ( n )的模, 所述 P、 T为 H (w)所在的 HRTF实验 测量数据库中所包括的测试声源到人工头中心 的仰角个数 P和测试声源到人工 头中心的水平角个数 T,本发明釆用不同实验测量数据库中的 HRTF数据,其仰 角个数 P和水平个数 T可能不同。

( 3 )将平均能量谱 DF _ avg(n)求逆,得到所述预设 HRTF数据频域 H ¾ (n)平 均能量谱的逆 DF _ invin):

DF _ inv(n)=

DF _avg(n)

(4)将所述预设 HRTF数据频域 H (w)平均能量谱的逆 变换到 时域并取实值得到预设 HRTF数据平均逆滤波序列 df —irnin:

df _ inv(n) = real(InvFT(DF _ ίην{η)))

/m^T()表示求傅里叶反变换, rraZW表示求复数 X的实数部分。

( 5 )将另一侧声音输入信号的预设 HRTF数据 (n)与所述预设 HRTF数 据平均逆滤波序列 # jm^z)进行卷积, 得到扩散场均衡后的预设 HRTF数据

H, Vk {n):

e k , (") = co nv(hg k , ("), df _ inv{n))

其中, com^,))表示向量 x,y 的卷积, 包括经扩散场均衡后的预设 HRTF左耳分量 , (n)和预设 HRTF右耳分量 , (n)。

虚拟立体声合装置对所述另一侧声音输入信号 的预设 HRTF数据 进 行上述( 1 )至( 5 )处理, 以得到经过扩散场均衡后的 HRTF数据 。

步骤 S402: 对所述扩散场均衡后的预设 HRTF数据^ 进行子带平滑。 虚拟立体声合成装置将所述扩散场均衡后的预 设 HRTF数据^ 变换至 频域得到扩散场均衡后的预设 HRTF数据频域^ ¾, )。 其中, 所述 时域 变换长度为 , 所述 频域系数个数为 N 2 , N 2 = N 2 +\ 。

虚拟立体声合成装置对所述扩散场均衡后的预 设 HRTF数据频域^ 进 行子带平滑并求模, 作为子带平滑后的预设 HRTF数据 I H , ¾ {n) I:

I He k , Ψι (n) 1=——j ∑ IH¾ , (j) * hann(j - j min + 1) I . [n-bw{n) n-bw{n) > 1

其中 J™ n _

w(w) = L0.2*w」 , L" ^表示不大于 x的最大整数,

hann(j) = 0.5 * (1 - cos(2 *π* j / (2* bw{n) + l))),j = " -(2 * bw{n) + 1) 。 步骤 S403: 将所述子带平滑后的预设 HRTF左耳频域分量 H(, ¾ (w)作为另一 侧声音输入信号的左耳频域参数, 将所述子带平滑后的预设 HRTF右耳频域分 量 HUw)作为另一侧声音输入信号的右耳频域参数 其中, 所述左耳频域参数 表示所述另一侧声音输入信号的预设 HRTF左耳分量, 所述右耳频域参数表示 所述另一侧声音输入信号的预设 HRTF右耳分量, 当然, 在其他实施方式中, 可以直接将所述另一侧声音输入信号的预设 HRTF左耳分量作为左耳频域参数, 或者将扩散场均衡后的预设 HRTF左耳分量作为左耳频域参数, 右耳频域参数 同理。

步骤 S404: 分别将所述另一侧声音输入信号的左耳频域参 数和右耳频域参 数的比值作为所述另一侧声音输入信号的滤波 频域函数 HUw)。

所述另一侧声音输入信号的左耳频域参数和右 耳频域参数的比值, 具体包 括所述左耳频域参数和右耳频域参数的模间的 比值以及辐角差, 对应作为获得 所述另一侧声音输入信号的滤波频域函数中的 模和辐角, 且获得的滤波函数能 够保留另一侧声音输入信号的预设 HRTF左耳分量和预设 HRTF右耳分量的方 位信息。

本实施方式中, 虚拟立体声合成装置对另一侧声音输入信号的 左耳频域参 数和右耳频域参数进行比值计算。 具体, 另一侧声音输入信号的滤波频域函数

H4, % (n)的模由 I H (n) 1= 得到 , 滤波频域函数 H ¾ (n)的辐角由 argiH^ (n)) = arg(H^, (n)) - arg(H^, (n))得到, 进而获得所述另一侧声音输入信号的 滤波频域函数 H ¾ (w)。 其中, IH , ¾ (w)l和 I I分别表示经过子带平滑后的 预设 HRTF数据 I Η θι , Ψι (η) I的左耳分量和右耳分量, ΊΪ , φι (η)和^^ (η)分别表示经 过扩散场均衡后的预设 HRTF数据的频域^ ^ w)的左耳分量和右耳分量。 由于 子带平滑只会对复数的模值进行处理, 即子带平滑后得到的值是复数的模值, 不包含辐角信息。 因此, 在求滤波频域函数的辐角就则需要使用能够代 表预设

HRTF数据且包含辐角信息的频域参数, 比如扩散场均衡后的 HRTF左右分量。

需要说明的是, 上述描述进行扩散场均衡和子带平滑时, 为对预设 HRTF 数据 进行处理, 但是由于预设 HRTF数据 本身就包含左耳分量和 右耳分量两个数据, 故, 实际上相当于对预设 HRTF 的左耳分量和右耳分量分 别进行扩散场均衡和子带平滑。

步骤 S405: 对所述另一侧声音输入信号的滤波频域函数 H ¾ (w)进行最小相 位滤波后转换为时域, 作为所述另一侧声音输入信号的滤波函数 。

上述获得的滤波频域函数 HUw)可表示为一个位置无关的时延加上一个最 小相位滤波器, 对获得的滤波频域函数 HUw)进行最小相位滤波, 以达到缩短 数据长度, 减少虚拟立体声合成时的计算复杂度, 同时不影响主观指令。 具体, ( 1 )虚拟立体声合成装置对上述获得的滤波频域 数 HUw)的模扩展到其 时域变换长度 , 并求对数值:

其中, InW 是 x的自然对数, 为滤波频域函数的时域 的时域变换 长度, N 2 为滤波频域函数 H^ (n)频域系数个数。

(2)对(1)获得的滤波频域函数的模 IH ")I进行 Hilbert变换:

其中, HilbertO表示 Hilbert变换。

(3)获得最小相位滤波器 H (w) :

0 )0 )1 , n= .N 2

(4)计算时延 ( , % ) : %)

k M —k M +1

max min * :

N 2 -l

( 5 )将最小相位滤波器 H ra in)变换到时域得到 h (n):

其中, / W Fr()表示傅里叶反变换, re O表示复数 X的实数部分。

( 6 ) 对最小相位滤波器时域/^ 进行按长度 N。 截断, 并加入时延

. ¾ W - ) + N 0

由于(3 )获得的最小相位滤波器 H t (w)的较大值系数集中在前部, 截断后 部较小系数后, 滤波效果差别不大。 故, 一般地, 为降低计算的复杂度, 对最 小相位滤波器时域 进行按长度 N Q 截断, 其中, 长度 ^值的选取可以按 如下步骤: 将最小相位滤波器时域/^ 从后向前依次与预设阔值 e 比较, 系 数小于 e则去掉, 继续比较前一个, 直到某个系数值大于 e时停止, 剩下系数的 总长度为 N o, 预设阔值 e可取为 0.01。

根据上述步骤 S401-405最终得到剪裁后的滤波函数 , 以作为所述另 一侧声音输入信号的滤波函数。

需要说明的是, 上述获得另一侧声音输入信号的滤波函数 的例子作 为最优化的方式, 对所述另一侧声音输入信号的预设 HRTF数据的左耳分量 和右耳分量 依序进行扩散场均衡、 子带平滑、 比值计算及最小相 位滤波后获得所述另一侧声音输入信号的滤波 函数 , 但在其他实施方式 中, 也可直接将另一侧声音输入信号的预设 HRTF数据左耳分量 和右耳 分量 的频域分别作为左耳频域参数和右耳频域参数 , 并根据公式

¾ ' % H t (n 进行比值计算, 获得所述另一侧声音输入 arg(H , ¾ (")) = arg(H; , ¾ (")) - arg(H , ¾ ("))

信号的滤波频域函数 HUw), 并转换为时域获得另一侧声音输入信号的滤波 函 数 ¾ (^); 或者, 将获得扩散场均衡后的预设 HRTF数据左耳分量 和右 耳分量 , ¾ (n)转换为频域后分别作为左耳频域参数 Ή 1 θι , ¾ {η)和右耳频域参数 i n (n) , 并根据公式 进行比值运算, 获得 arg(H (")) = arg(H¾ , % (n)) - arg(H¾ , % (ή)) 滤波频域函数 H ( W ), 并转换为时域获得另一侧声音输入信号的滤波 函数 ("); 或者,

所述另一侧声音输入信号的预设 HRTF数据进行子带平滑, 并将子带平滑后预 设 HRTF数据左耳分量和右耳分量分别作为左耳频 参数和右耳频域参数, 再 根据公式 θ ' φ '、 、 (n l 进行比值计算并及最小相位滤波 arg(H , ¾ {n)) = arg(H; , ¾ {n))~ arg(H; , ¾ (n))

获得所述另一侧声音输入信号的滤波函数 , (w)。 其中, 步骤 S402子带平滑的 步骤一般随步骤 S405最小相位滤波步骤而设置的, 即若不进行所述最小相位滤 波步骤, 则不进行子带平滑步骤。 在最小相位滤波步骤前添加子带平滑步骤, 进一步缩短了所述获得的另一侧声音输入信号 的滤波函数/^ (w)的数据长度,进 而进一步减少虚拟立体声合成时的计算复杂度 。

步骤 S303: 分别将每一个所述另一侧声音输入信号 进行混响处理后 作为另一侧声音混响信号 {n)。

虚拟立体声合成装置获取至少一个另一侧声音 输入信号 s 2k (n)后,分别对每 一个所述另一侧声音输入信号 s 2t (n)进行混响处理, 以增加实际声音传播时环境 反射、 散射等滤波效果, 增强输入信号的空间感。 本实施方式中, 混响处理利 用全通滤波器实现。 具体如下:

(1)如图 5, 利用三个级联的施罗德(Schroeder)全通滤波器 每个另一 侧声音输入信号 («)进行滤波, 获得每个另一侧声音输入信号 (《)的混响信 号 (n):

(n) = conv(h k (n), 5 ¾ (n - d k ))

其中, com^, y) 表示向量 x,y的卷积, d k 为第 k个另一侧声音输入信号的 预设时延, h» 为第 k个另一侧声音输入信号的全通滤波器, 其传输函数为: l-gl *z Mi l-g k 2 *z Ml l-gl*z Ml

其中, 、 g k 2 、 ^为对应第 k个另一侧声音输入信号的预设全通滤波器增 益, M 、 M k 2 、 Μ λ 3 为对应第 k个另一侧声音输入信号的预设全通滤波器时 。

( 2 )分别将每一个所述另一侧声音输入信号 (n)加入所述另一侧声音输 入信号的混响信号 ^ (M)以获得每个所述另一侧声音输入信号对应的 另一侧声音 混响信号 < ) : s 2i {n)=s 2i {n) + w k Os 2i {n)

其中, v¾ 为所述第 k个另一侧声音输入信的混响信号 (Μ)的预设权重,一 般权重越大, 信号空间感越强, 但同时带来的负面效果也越大(例如, 语音不 清晰、 打击乐模糊等), 本实施方式中, 所述另一侧声音输入信号的权值的确定 为预先根据实验结果适当选取增强所述另一侧 声音输入信号空间感同时不带来 负面效应的值作为所述混响信号 (M)的权值 νν λ 。 步骤 S304: 分别将每一个所述另一侧声音混响信号 ¾ {η)与对应的所述另一 侧声音输入信号的滤波函数 进行卷积滤波得到另一侧滤波信号 ¾ (w)。

在分别对每一个所述至少一个另一侧声音输入 信号进行混响处理获得所述 另 一侧声 音混响信号 后 , 虚拟立体声合成装置根据公式 s ? h (n) = conv(h c (n), s ? (")), 对每一个所述另一侧声音混响信号 (")进行卷积滤波 以获得所述另一侧滤波信号 ), 表示第 k个另一侧声音滤波信号信号, h c (M) k k

¾ 表示第 个另一侧声音输入信号的滤波函数, (w)

k 表示第 个另一侧声 音混响信号。

步骤 S305:对所有所述一侧声音输入信号 ^ {n)与所有所述另一侧滤波信号 (n)求和获得合成信号 。 具体, 虚拟立体声合成装置根据公式 7(^ = 1^ (w) + i 2 ¾ (w)获得对应所述一 m二 1 /:二 1

侧的合成信号 ), 如一侧声音输入信号为左侧声音输入信号, 则获得左耳合 成信号, 一侧声音输入信号为右侧声音输入信号时, 则获得右耳合成信号。

步骤 S306: 利用 4阶无限冲激响应 IIR滤波器对所述合成信号? (w)进行音 色均衡后作为虚拟立体声信号 (w)。

虚拟立体声合成装置对合成信号 (w)进行音色均衡, 以减少所述另一侧声 音输入信号进行卷积滤波后对合成信号的音染 效果。 本实施方式釆用 4 阶无限 冲激响应 IIR滤波器 进行音色均衡。具体由公式 (") = co"v( ("),?(")) ,得 到最后输出至所述一侧耳朵的虚拟立体声信号 (w)。 其中, 的传输函数为 H (z) = - 2

= 1.24939117710166 α, = 1

b 2 = -4.72162304562892 α 2 = -3.76394096632083

b 3 = 6.69867047060726 , α 3 = 5.31938925722012

b 4 = -4.22811576399464 α 4 = -3.34508050090584

b 5 = 1.00174331383529 α 5 = 0.789702281674921

为能够更好理解本申请虚拟立体声合成方法在 实际中的使用, 进一步举例 说明, 对于使用耳机重放双声道终端产生的声音, 其中, 左声道信号为左侧声 音输入信号 Α( ), 右声道信号为右侧声音输入信号 (η), 其中, 左侧声音输入 信号 s η)的预设 HRTF数据为 h l n 、,右侧声音输入信号 (n)的预设 HRTF数据 为

虚拟立体声合成装置分别根据上述步骤 S401至 S405分别对左侧声音输入 信号的预设 HRTF数据 和右侧声音输入信号的预设 HRTF数据 ^ φ (η)进行 处理, 获得裁剪后的左侧声音输入信号的滤波函数^ )、 右侧声音输入信号的 滤波函数 h^ (n)。 本例子中左右声道信号的预设 HRTF数据的水平角 =90° 、 =—90° , 仰角 与 均为 0° , 即左侧声音输入信号的滤波函数的水平角值为 互为相反数, 仰角相同, 故 h c in)与 h c {n)为相同的函数。

虚拟立体声合成装置获取左侧声音输入信号 作为一侧声音输入信号, 右侧声音输入信号 作为另一侧声音输入信号。 虚拟立体声合成装置执行步 骤 S303 对右侧声 音输入信号进行混响处理, 具体, 先根据 获得右侧声音输

入信号的混响信号 ,根据^ )=S» + H S 0)获得右侧声音混响信号^ )。虚 拟立体声合成装置执行步骤 S304-S306获得左耳虚拟立体声信号 ; 同理地, 虚拟立体声合成装置获取右侧声音输入信号 作为一侧声音输入信号, 左侧 声音输入信号 作为另一侧声音输入信号。 虚拟立体声合成装置执行步骤 S303对左侧声音输入信号进行混响处理,具体 先根据^ ) = «^^0),^^-4))、

混响信号 , 根 据 + V^S^)获得左侧声音混响信号 。 虚拟立体声合成装置执行步骤 S304-S306获得右耳虚拟立体声信号 。所述左侧声音输入信号 s n)从左侧耳 机重放, 以进入用户左耳, 所述右耳虚拟立体声信号 (w)从右侧耳机重放, 以 进入用户右耳, 形成立体听觉效果。

其中, 上述例子中的常数取值为:

T = 12, P = \, N = 512, No = 48, fs = 44100

d = 220 d r = 264 = g r 2 = g = 0.6,

M = M) = 132 M = M r 3 = 74

W [ = w r = 0.4225

θ = 45° , = 0°。

上述常数的取值由经多次实验而获得的具有最 佳虚拟立体声信号重放效果 的数值, 当然, 在其他实施方式中, 还可取其他数值, 在此对, 本实施方式中 的常数取值不作具体限定。

本实施方式作为优化实施方式, 执行步骤 S303、 S304、 S305、 S306依序进 行混响处理、 卷积滤波运算、 合成虚拟立体声、 音色均衡, 最终获得虚拟立体 声。但在其他实施方式中,可选择性执行步骤 S303、 S306,例如不执行步骤 S303、 S306, 直接利用另一侧声音输入信号的滤波函数对另 一侧声音输入信号进行卷 积滤波, 获得另一侧滤波信号 ¾ (w), 并执行步骤 S304、 S305得到合成信号 (w) 并作为最终的虚拟立体声信号 s ) ; 或者不执行步骤 S306, 执行步骤 S303 至 S305进行混响处理、 卷积滤波运算并合成获得的合成信号 (w)作为虚拟立体声 信号 或者, 不执行步骤 S303, 直接执行步骤 S304对另一侧声音输入信号 进行卷积滤波, 获得另一侧滤波信号^, (w), 并执行步骤 S305、 S306得到最终的 虚拟立体声信号

本实施方式, 对另一侧声音输入信号进行混响处理, 增强了合成的虚拟立 体声的空间感, 并在合成虚拟立体声时, 利用滤波器对虚拟立体声进行音色均 衡, 减少了音染效果。 同时, 本实施方式, 对现有的 HRTF数据进行改进, 对 HRTF数据先进行扩散场均衡以去除 HRTF数据中的干扰数据, 再通过对 HRTF 数据中的左耳分量和右耳分量进行比值运算, 以获得保留了该 HRTF数据左右 耳数方位信息的改进 HRTF数据即本申请中的滤波函数, 使得只需对所述另一 侧声音输入信号进行对应的卷积滤波, 即可获得重放效果较好的虚拟立体声, 因而, 本实施方法合成虚拟立体声区别于现有对两侧 声音输入信号均进行卷积 滤波, 大大减低了计算复杂大, 而且其中一侧完全保留原本的输入信号, 降低 了音染效果, 进一步地, 本实施方式还结合子带平滑、 最小相位滤波对滤波函 数进行处理, 减少滤波函数的数据长度, 进而, 进一步地减少了计算复杂度。

请参阅图 6, 图 6是本申请虚拟立体声合成装置一实施方式的 构示意图。 本实施方式中, 所述虚拟立体声合成装置包括获取模块 610、 生成模块 620、 卷 积滤波模块 630和合成模块 640。

获取模块 610用于获取至少一个一侧声音输入信号 和至少一个另一 侧声音输入信号 («), 并发送给生成模块 620和卷积滤波模块 630。

本发明通过对原始声音信号进行处理, 获得具有立体声音效果的输出声信 号。 本实施方式中, 位于一侧的模拟声源共有 M个, 相应地产生 M个一侧声音 输入信号, 位于另一侧的模拟声源共有 K个, 相应地产生 K个另一侧声音输入 信号,获取模块 610获取作为原始声音信号的 M个一侧声音输入信号 和 Κ 个另一侧声音输入信号 ¾ («), 其中, 表示第 m个一侧声音输入信号, 表示第 k个另一侧声音输入信号, l≤m≤M , l≤k≤K。

通常地, 本发明所述一侧和另一侧声音输入信号以模拟 从人工头中心的左、 右侧位置发出的声信号进行区分, 例如, 一侧声音输入信号为左侧声音输入信 号, 则另一侧声音输入信号为右侧声音输入信号; 一侧声音输入信号为右侧声 音输入信号, 则另一侧声音输入信号为左侧声音输入信号, 其中, 左侧声音输 入信号即为模拟从人工头中心的左侧位置发出 的声信号, 右侧声音输入信号为 模拟从人头中心的右侧位置发出的声信号。

生成模块 620用于分别对每一个所述另一侧声音输入信号 («)的预设头相 关传输函数 HRTF 左耳分量 ¾ (^)和预设头相关传输函数 HRTF 右耳分量 ¥ θι ψι {η)进行比值处理获得每一个所述另一侧声音 入信号的滤波函数 , 并每一个所述另一侧声音输入信号的滤波函数 发送给所述卷积滤波模块

630。

现有技术已可提供不同的 HRTF实验测量数据库, 生成模块 620可直接从 现有技术的 HRTF实验测量数据库中获取 HRTF数据以进行预设, 无需自身进 行测量获得, 而声音输入信号模拟声源位置即为其对应预设 的 HRTF数据测量 时的声源位置。 本实施方式中, 每个所述声音输入信号对应来自不同的预设模 拟声源, 故均对应地预设一不同的 HRTF数据,每个声音输入信号的预设 HRTF 数据可表达出该声音输入信号从预设位置传至 双耳的滤波效果。 具体, 所述第 k 个另一侧声音输入信号的预设 HRTF数据 包括两个数据, 分别为表达该 声音输入信号到人工头左耳的滤波效果的左耳 分量 和表达该声音输入信 号到人工头右耳的滤波效果的右耳分量 。

生成模块 620将每一个所述另一侧声音输入信号 {n)的预设 HRTF数据中 的左耳分量 (n)与右耳分量 (n)进行比值处理, 以获得每一个所述另一侧 声音输入信号的滤波函数 , ¾ (w), 例如, 直接将所述另一侧声音输入信号的预 设 HRTF左耳分量与预设 HRTF右耳分量转换成频域后进行比值运算得到 值 作为所述另一侧声音输入信号的滤波函数, 或者先将所述另一侧声音输入信号 的预设 HRTF左耳分量与预设 HRTF右耳分量转换成频域后进行子带平滑, 再 进行比值运算得到的值作为滤波函数等。

卷积滤波模块 630用于分别将每一个所述另一侧声音输入信号 («)与所述 另一侧声音输入信号的滤波函数 进行卷积滤波得到所述另一侧滤波信号 (n), 并将所有所述另一侧滤波信号 (n)发送给所述合成模块 640。

卷积滤波模块 630根据公式 (n) = conv{h e c ("), s 2i (")), 计算出每个另一侧声 音输入信号 对应的另一侧滤波信号 ,其中,所述 com ;c, >表示向量 x,y 的卷积, 表示第 k个另一侧滤波信号, 表示第 k个另一侧声音输入 信号的滤波函数, 表示第 k个另一侧声音输入信号。

合成模块 640用于将所有所述一侧声音输入信号 ^ (n)与所有所述另一侧滤 波信号 {n)合成虚拟立体声信号 s x n)。

M K

合成模块 640根据 (^ =∑ ) +∑ ), 将接收到的所有一侧声音输入 m=l k=l 信号 ^ (n)与所有另一侧滤波信号 (n)合成为虚拟立体声信号 。

本实施方式对每个另一侧声音输入信号的预设 HRTF数据的左、 右耳分量 进行比值处理以获得保留所述预设 HRTF数据的方位信息的滤波函数, 使得合 成虚拟立体声时, 只需利用滤波函数对另一侧声音输入信号进行 卷积滤波处理, 再与所述一侧声音输入信号合成得到虚拟立体 声, 无需同时对两侧声音输入信 号进行卷积滤波, 大大降低了计算的复杂度, 且由于合成时, 一侧声音输入信 号无需经过卷积处理, 保留了原始的音频, 进而减轻了音染效应, 改善了虚拟 立体声的音质。

需要说明的是, 本实施方式所产生的虚拟立体声为输入一侧耳 朵的虚拟立 体声, 例如, 如果所述一侧声音输入信号为左侧声音输入信 号, 所述另一侧声 音输入信号为右侧声音输入信号, 则由上述模块获得的虚拟立体声信号为直接 输入至左耳的左耳虚拟立体声信号; 如果所述一侧声音输入信号为右侧声音输 入信号, 所述另一侧声音输入信号为左侧声音输入信号 , 则由上述模块获得的 虚拟立体声信号为直接输入至右耳的右耳虚拟 立体声信号。 通过上述方式, 虚 拟立体声合成装置可分别获得左耳虚拟立体声 信号和右耳虚拟立体声信号, 并 通过耳机对应输出至双耳, 形成如自然声般的立体效果。

请参阅图 7,图 7是本发明虚拟立体声合成装置另一实施方式 结构示意图。 本实施方式中, 所述虚拟立体声合成装置包括获取模块 710、 生成模块 720、 卷 积滤波模块 730、 合成模块 740和混响处理模块 750, 所述合成模块 740包括合 成单元 741和音色均衡单元 742。

获取模块 710用于获取至少一个一侧声音输入信号^ ^) 和至少一个另一 侧声音输入信号 (0。

生成模块 720用于分别对每一个所述另一侧声音输入信号 s lk {n)的预设头相 关传输函数 HRTF 左耳分量 ¾ (^)和预设头相关传输函数 HRTF 右耳分量

Κ θι ψι {η 进行比值处理获得每一个所述另一侧声音输入 信号的滤波函数 , 并发送给所述卷积滤波模块 730。

进一步优化地, 生成模块 720包括处理单元 721、 比值单元 722和转换单元

723。

处理单元 721用于分别将每一个所述另一侧声音输入信号 的预设 HRTF左 耳分量 依序进行扩散场均衡、 子带平滑后的频域作为每一个所述另一侧 声音输入信号的左耳频域参数, 分别将每一个所述另一侧声音输入信号的预设

HRTF右耳分量 依序进行扩散场均衡、子带平滑后的频域作为 每一个所述 另一侧声音输入信号的右耳频域参数, 并将所述左耳、 右耳频域参数发送给比 值单元 722。

处理单元 721对所述另一侧声音输入信号的预设 HRTF数据 ¾ ¾ (n)进行扩 散场均衡。所述第 k个另一侧声音输入信号的预设 HRTF用 表示,其中, 所述第 k个另一侧声音输入信号所模拟的声源到人工 中心的水平角为 、 仰 角为% , 且 包括左耳分量 ¾ (^)和右耳分量 两个数据。 一般, 实 验室测量得到的预设 HRTF不仅包含作为声源的扬声器到人工头双耳 传输路 径滤波器模型数据, 还包括扬声器的频响、 设置在双耳处以接收扬声器信号的 麦克风的频响以及人工耳耳道的频响等干扰数 据。 这些干扰数据会影响合成虚 拟声中的方位感和距离感, 因此, 本实施方式釆用最优化的方式, 利用扩散场 均衡去掉上述干扰数据。

( 1 )具体, 处理单元 721计算所述另一侧声音输入信号的预设 HRTF数据 的频域为 H , ¾ (") 。

( 2 )处理单元 721计算另一侧声音输入信号的预设 HRTF数据频域 H (n) 在所有方向上的平均能量谱 DF _ avg(n):

DF avg(n)= V V I H. (ή) I 2

Δ 1

其中, 1 , («) 1表示 , ¾ («)的模, 所述 P、 T为 H ¾ (M)所在的 HRTF实验 测量数据库中所包括的测试声源到人工头中心 的仰角个数 P和测试声源到人工 头中心的水平角个数 T,本发明釆用不同实验测量数据库中的 HRTF数据,其仰 角个数 P和水平个数 T可能不同。

( 3 )处理单元 721将平均能量谱 求逆, 得到所述预设 HRTF数 据频 i或 Η θι ¾ (η)平均能量谱的逆 DF _ inv(n):

( 4 ) 处理单元 721 将所述预设 HRTF数据频域 H ¾ (M)平均能量谱的逆

DF _ inv{n)变换到时域并取实值得到预设 HRTF数据平均逆滤波序列 df— inv(n、: df _ ίην(η) = real(InvFT(DF _ ίην(η))) /m^T()表示求傅里叶反变换, rraZW表示求复数 X的实数部分。

(5)处理单元 721将另一侧声音输入信号的预设 HRTF数据/ 与所述 预设 HRTF数据平均逆滤波序列 jm M)进行卷积, 得到扩散场均衡后的预设 HRTF数据^

H , Ψι (η) = co nv(h 0k (n), df _ inv(n))

其中, com^, 表示向量 x,y 的卷积, 包括经扩散场均衡后的预设 HRTF左耳分量 ¾, (n)和预设 HRTF右耳分量 , (n)。

处理单元 721对所述另一侧声音输入信号的预设 HRTF数据/ ¾ 进行上 述(1)至 (5)处理, 以得到经过扩散场均衡后的 HRTF数据^ ^»。

b.处理单元 721对所述扩散场均衡后的预设 HRTF数据 进行子带平 滑。 将所述扩散场均衡后的预设 HRTF数据^ 变换至频域得到扩散场均衡 后的预设 HRTF数据频域^^ )。 其中, 所述^ 时域变换长度为 , 所述

He k , % (n)频域系数个数为 N 2 , N 2 = % + 1。

处理单元 721所述扩散场均衡后的预设 HRTF数据频域 进行子带平 滑并求模, 作为子带平滑后的预设 HRTF数据 \Η Θ »\ ··

I H¾ , Ψι (n) 1=——― ∑ IH¾ ,¾ (j) * hann(j - j min + 1) I

其中

w(w) = L0.2*w」 , L" ^表示不大于 x的最大整数,

hann(j) = 0.5 * (1 - cos(2 *π* j / (2*bw(n) + l))), j = 0'"(2* bw(n) + 1)。 c.处理单元 721将所述子带平滑后的预设 HRTF左耳频域分量 H(, (M)作为 另一侧声音输入信号的左耳频域参数, 将所述子带平滑后的预设 HRTF右耳频 域分量 HU^作为另一侧声音输入信号的右耳频域参数。 其中, 所述左耳频域 参数表示所述另一侧声音输入信号的预设 HRTF左耳分量, 所述右耳频域参数 表示所述另一侧声音输入信号的预设 HRTF右耳分量, 当然, 在其他实施方式 中, 可以直接将所述另一侧声音输入信号的预设 HRTF左耳分量作为左耳频域 参数, 或者将扩散场均衡后的预设 HRTF左耳分量作为左耳频域参数, 右耳频 域参数同理。

需要说明的是, 上述描述进行扩散场均衡和子带平滑时, 为对预设 HRTF 数据 进行处理, 但是由于预设 HRTF数据 本身就包含左耳分量和 右耳分量两个数据, 故, 实际上相当于对预设 HRTF 的左耳分量和右耳分量分 别进行扩散场均衡和子带平滑。

比值单元 722用于分别将所述另一侧声音输入信号的左耳 频域参数和右耳 频域参数的比值作为所述另一侧声音输入信号 的滤波频域函数 H^ ¾ (n)。 所述另 一侧声音输入信号的左耳频域参数和右耳频域 参数的比值, 具体包括所述左耳 频域参数和右耳频域参数的模间的比值以及辐 角差, 对应作为获得所述另一侧 声音输入信号的滤波频域函数中的模和辐角, 且获得的滤波函数能够保留另一 侧声音输入信号的预设 HRTF左耳分量和预设 HRTF右耳分量的方位信息。

本实施方式中, 比值单元 722对另一侧声音输入信号的左耳频域参数和右 耳频域参数进行比值计算。具体,另一侧声音 输入信号的滤波频域函数 HUw)的 模 由 、H 得 到 , 滤 波频 域 函 数 HU 的 辐 角 由

' ι (") ι 1 1

arg(H^ (")) = arg(H^, (")) - arg(H^, ("))得到, 进而获得所述另一侧声音输入信号的 滤波频域函数 HUw)。 其中, I I分别表示经过子带平滑后的 预设 HRTF数据 I H ¾ , % (n) I的左耳分量和右耳分量, Έ , Ψι (n) ^ H , % (n)分别表示经 过扩散场均衡后的预设 HRTF数据的频域 的左耳分量和右耳分量。 由于 子带平滑只会对复数的模值进行处理, 即子带平滑后得到的值是复数的模值, 不包含辐角信息。 因此, 在求滤波频域函数的辐角就则需要使用能够代 表预设 HRTF数据且包含辐角信息的频域参数, 比如扩散场均衡后的 HRTF左右分量。

转换单元 723用于对所述另一侧声音输入信号的滤波频域 函数 HUw)进行 最小相位滤波后转换为时域, 作为所述另一侧声音输入信号的滤波函数 。 上述获得的滤波频域函数 HUw)可表示为一个位置无关的时延加上一个最 相 位滤波器, 对获得的滤波频域函数 HUw)进行最小相位滤波, 以达到缩短数据 长度, 减少虚拟立体声合成时的计算复杂度, 同时不影响主观指令。 具体,

( 1 )转换单元 723对比值单元 722获得的滤波频域函数 HUw)的模扩展到 其时域变换长度 , 并求对数值: Ν 1

其中, InW 是 X的自然对数, 为滤波频域函数的时域 的时域变换 长度, N 2 为滤波频域函数 H^ (n)频域系数个数。

( 2 )转换单元 723对获得的滤波频域函数的模 I HU^ I进行 Hilbert变换:

其中, HilbertO表示 Hilbert变换。

( 3 )转换单元 723获得最小相位滤波器 (n): N,

( 4 )转换单元 723计算时延 r( , % ) %)

max min 冗 * *

N 2 - l

( 5 )转换单元 723将最小相位滤波器 H , {n)变换到时域得到 {n):

Ι Ψι in) = real(InvFT(H^ k (")))

其中, InvFTO表示傅里叶反变换, reali表示复数 X的实数部分。

( 6 )转换单元 723对最小相位滤波器时域/^ 进行按长度 N Q 截断, 并 加入时延 ;) : . ¾ W - ) + N 0

由于(3 )获得的最小相位滤波器 H^w)的较大值系数集中在前部, 截断后 部较小系数后, 滤波效果差别不大。 故, 一般地, 为降低计算的复杂度, 对最 小相位滤波器时域 进行按长度 N Q 截断, 其中, 长度 ^值的选取可以按 如下步骤: 将最小相位滤波器时域/^ 从后向前依次与预设阔值 e 比较, 系 数小于 e则去掉, 继续比较前一个, 直到某个系数值大于 e时停止, 剩下系数的 总长度为 N o, 预设阔值 e可取为 0.01。

需要说明的是, 上述生成模块获得的另一侧声音输入信号的滤 波函数 的例子作为最优化的方式, 对所述另一侧声音输入信号的预设 HRTF数 据的左耳分量 和右耳分量 依序进行扩散场均衡、 子带平滑、 比值 计算及最小相位滤波后获得所述另一侧声音输 入信号的滤波函数 , 但在 其他实施方式中, 选择性地进行扩散场均衡、 子带平滑和最小相位滤波。 其中, 子带平滑的步骤一般随最小相位滤波步骤而设 置的, 即若不进行所述最小相位 滤波步骤, 则不进行子带平滑步骤。 在最小相位滤波步骤前添加子带平滑步骤, 进一步缩短了所述获得的另一侧声音输入信号 的滤波函数/^ (w)的数据长度,进 而进一步减少虚拟立体声合成时的计算复杂度 。

混响处理模块 750用于分别将每一个所述另一侧声音输入信号 s 2k (n)进行混 响处理后作为另一侧声音混响信号 , 并发送给卷积滤波模块 730。

混响处理模块 750获取至少一个另一侧声音输入信号 s 2k {n)后, 分别对每一 个所述另一侧声音输入信号 {n)进行混响处理, 以增加实际声音传播时环境反 射、 散射等滤波效果, 增强输入信号的空间感。 本实施方式中, 混响处理利用 全通滤波器实现。 具体如下:

( 1 )如图 5, 利用三个级联的施罗德(Schroeder )全通滤波器对每个另一 侧声音输入信号 (w)进行滤波, 获得每个另一侧声音输入信号 (w)的混响信 号 ¾ (n):

(n) = conv(h k (n), 5 ¾ (n - d k ))

其中, com^, y) 表示向量 x,y的卷积, d k 为第 k个另一侧声音输入信号的 预设时延, h» 为第 k个另一侧声音输入信号的全通滤波器, 其传输函数为:

H ( z ) -

其中, 、 gi、 ^为对应第 k个另一侧声音输入信号的预设全通滤波器增 益, M 、 M k 2 、 Μ λ 3 为对应第 k个另一侧声音输入信号的预设全通滤波器时 。

( 2 ) 混响处理模块 750分别将每一个所述另一侧声音输入信号 加入 所述另一侧声音输入信号的混响信号 以获得每个所述另一侧声音输入信号 对应的另一侧声音混响信号 : 2 t (n)=s 2t (n) + w k Us 2t (n)

其中, v¾ 为所述第 k个另一侧声音输入信的混响信号 (Μ)的预设权重,一 般权重越大, 信号空间感越强, 但同时带来的负面效果也越大(例如, 语音不 清晰、 打击乐模糊等), 本实施方式中, 所述另一侧声音输入信号的权值的确定 为预先根据实验结果适当选取增强所述另一侧 声音输入信号空间感同时不带来 负面效应的值作为所述混响信号 (Μ)的权值 νν λ 。 卷积滤波模块 730用于分别将每一个所述另一侧声音混响信号 ¾ ^)与对应 的所述另一侧声音输入信号的滤波函数 , φ ' {η)进行卷积滤波得到另一侧滤波信 号 {n), 并发送给合成模块 740。 在接收到所有另一侧声音混响信号 后, 卷积滤波模块 730根据公式 (n) = conv(h c (n), s 2 (n)), 对每一个所述另一侧声音混响信号 (n)进行卷积滤波 以获得所述另一侧滤波信号 ), 表示第 k个另一侧声音滤波信号信号, h c (M)表示第 k个另一侧声音输入信号的滤波函数, (w)表示第 k个另一侧声 音混响信号。

合成单元 741用于对所有所述一侧声音输入信号 ^ (n)与所有所述另一侧滤 波信号 {n)求和获得合成信号 , 并发送给音色均衡单元 742。 具体, 合成单元 741根据公式 = ¾ s im ( ) + (ή)

获得对应所述一侧的合 m二 1

成信号 ), 如一侧声音输入信号为左侧声音输入信号, 则获得左耳合成信号, 一侧声音输入信号为右侧声音输入信号时, 则获得右耳合成信号。

音色均衡单元 742用于利用 4阶无限冲激响应 IIR滤波器对所述合成信号 7 (n)进行音色均衡后作为虚拟立体声信号 in)。

音色均衡单元 742对合成信号 进行音色均衡, 以减少所述另一侧声音 输入信号进行卷积滤波后对合成信号的音染效 果。 本实施方式釆用 4 阶无限冲 激响应 IIR滤波器 进行音色均衡。具体由公式 (M) = ciwv(i¾(M), (M)) ,得到 最后输出至所述一侧耳朵的虚拟立体声信号 (M)。 其中, ,

b x = 1.24939117710166 α χ = 1

b 2 = -4.72162304562892 α 2 = -3.76394096632083

b 3 = 6.69867047060726, α 3 = 5.31938925722012

b 4 = -4.22811576399464 α 4 = -3.34508050090584

b 5 = 1.00174331383529 α 5 = 0.789702281674921

本实施方式作为优化实施方式, 依序进行混响处理、 卷积滤波运算、 合成 虚拟立体声、 音色均衡, 最终获得虚拟立体声。 但在其他实施方式中, 可不进 行混响处理和 /或音色均衡, 在此不作限定。

需要说明的是, 本申请虚拟立体声合成装置可以为独立于重放 声音的设备, 如手机、 平板电脑、 ΜΡ3 等移动终端, 也直接由所述重放声音设备执行上述功 能。

请参阅图 8, 图 8是虚拟立体声合成装置再一实施方式的结构 意图, 本实 施方式中, 虚拟立体声合成装置包括处理器 810及存储器 820, 其中所述处理器 810与存储器 820通过总线 830连接。

存储器 820用于存储处理器 810执行的计算机指令以及处理器 810工作时 所需存储的数据。

处理器 810执行存储器 820存储的计算机指令, 获取至少一个一侧声音输 入信号 和至少一个另一侧声音输入信号 ¾ (w), 分别对每一个所述另一侧 声音输入信号 ¾ (n)的预设头相关传输函数 HRTF左耳分量 {n)和预设头相关 传输函数 HRTF右耳分量 进行比值处理获得每一个所述另一侧声音输入 信号的滤波函数 ,分别将每一个所述另一侧声音输入信号 (《)与所述另 一侧声音输入信号的滤波函数 进行卷积滤波得到所述另一侧滤波信号 s 2 h i {n), 将所有所述一侧声音输入信号 (n)与所有所述另一侧滤波信号 合 成虚拟立体声信号

具体,处理器 810获取至少一个一侧声音输入信号 和至少一个另一侧 声音输入信号 ), 其中, 表示第 m个一侧声音输入信号, 表示 第 k个另一侧声音输入信号。

处理器 810用于分别对每一个所述另一侧声音输入信号 s 2k (n)的预设头相关 传输函数 HRTF左耳分量 和预设头相关传输函数 HRTF右耳分量 进行比值处理获得每一个所述另一侧声音输入 信号的滤波函数 , )。 进一步优化地, 处理器 810分别将每一个所述另一侧声音输入信号的预 设 HRTF左耳分量 依序进行扩散场均衡、子带平滑后的频域作为 每一个所述 另一侧声音输入信号的左耳频域参数, 分别将每一个所述另一侧声音输入信号 的预设 HRTF右耳分量 依序进行扩散场均衡、 子带平滑后的频域作为每 一个所述另一侧声音输入信号的右耳频域参数 。 处理器 810具体进行扩散场均 衡和子带平滑的方式与上一实施方式的处理单 元相同, 请参阅相关文字描述, 在此不作赘述。

处理器 810分别将所述另一侧声音输入信号的左耳频域 参数和右耳频域参 数的比值作为所述另一侧声音输入信号的滤波 频域函数 H t (w)。 具体, 另一侧 声音输入信号的滤波频域函数 H^(w)的模由 Ι^ (Μ)Ι=ί¾^得到 , 滤波频域 函数 HU")的辐角由 arg(H (")) = arg(H ("))-arg(H ("))得到, 进而获得所述另 一侧声音输入信号的滤波频域函数 HUw)。 其中, IHU^I和 IHU^I分别表 示经过子带平滑后的预设 HRTF数据 IH , ¾ (M)I的左耳分量和右耳分量, Έ , φ n) 和^ ^,»分别表示经过扩散场均衡后的预设 HRTF数据的频域^ 的左耳 分量和右耳分量。

处理器 810对所述另一侧声音输入信号的滤波频域函数 HUw)进行最小相 位滤波后转换为时域, 作为所述另一侧声音输入信号的滤波函数 , ¾ (w)。 上述 获得的滤波频域函数 HU^可表示为一个位置无关的时延加上一个最小 相位滤 波器,对获得的滤波频域函数 HUw)进行最小相位滤波, 以达到缩短数据长度, 减少虚拟立体声合成时的计算复杂度, 同时不影响主观指令。 处理器 810具体 进行最小相位滤波的方式与上一实施方式的转 换单元相同, 请参阅相关文字描 述, 在此不作赘述。

需要说明的是, 上述处理器获得的另一侧声音输入信号的滤波 函数 Λ {η) 的例子作为最优化的方式, 对所述另一侧声音输入信号的预设 HRTF数据的左 耳分量 和右耳分量 依序进行扩散场均衡、 子带平滑、 比值计算及 最小相位滤波后获得所述另一侧声音输入信号 的滤波函数 , 但在其他实 施方式中, 选择性地进行扩散场均衡、 子带平滑和最小相位滤波。 其中, 子带 平滑的步骤一般随最小相位滤波步骤而设置的 , 即若不进行所述最小相位滤波 步骤, 则不进行子带平滑步骤。 在最小相位滤波步骤前添加子带平滑步骤, 进 一步缩短了所述获得的另一侧声音输入信号的 滤波函数 /^ (w)的数据长度,进而 进一步减少虚拟立体声合成时的计算复杂度。

处理器 810用于分别将每一个所述另一侧声音输入信号 («)进行混响处理 后作为另一侧声音混响信号 ¾ (w), 以增加实际声音传播时环境反射、 散射等滤 波效果, 增强输入信号的空间感。 本实施方式中, 混响处理利用全通滤波器实 现。 本实施方式中, 混响处理利用全通滤波器实现。 处理器 810具体进行混响 处理的方式与上一实施方式的混响处理模块相 同, 请参阅相关文字描述, 在此 不作赘述。

处理器 810用于分别将每一个所述另一侧声音混响信号 ¾ ^)与对应的所述 另一侧声音输入信号的滤波函数/^ (w)进行卷积滤波得到另一侧滤波信号 s 2 h k {n) 0 在接收到所有另一侧声音混响信号 后, 处理器 810 根据公式 (n) = conv(h c (n), s 2 (n)), 对每一个所述另一侧声音混响信号 (n)进行卷积滤波 以获得所述另一侧滤波信号 ), 表示第 k个另一侧声音滤波信号信号,

K (w)

¾ n 表示第 k个另一侧声音输入信号的滤波函数, (w)

k 表示第 k个另一侧声 音混响信号

处理器 810用于对所有所述一侧声音输入信号 ^ (n)与所有所述另一侧滤波 信号 (n)求和获得合成信号 。 具体, 处理器 810根据公式?(^) = 1^ (w) + f 2 ¾ W获得对应所述一侧的合成 m二 1 /:二 1

信号 (w), 如一侧声音输入信号为左侧声音输入信号, 则获得左耳合成信号, 一侧声音输入信号为右侧声音输入信号时, 则获得右耳合成信号。

处理器 810用于利用 4阶无限冲激响应 IIR滤波器对所述合成信号? (w)进行 音色均衡后作为虚拟立体声信号 (w)。 处理器 810具体进行音色均衡的方式与 上一实施方式的音色均衡单元相同, 请参阅相关文字描述, 在此不作赘述。

本实施方式作为优化实施方式, 依序进行混响处理、 卷积滤波运算、 合成 虚拟立体声、 音色均衡, 最终获得左右耳虚拟立体声。 但在其他实施方式中, 处理器可不进行混响处理和音色均衡, 在此不作限定。

通过上述方案, 本申请对每个另一侧声音输入信号的预设 HRTF数据的左、 右耳分量进行比值处理以获得保留所述预设 HRTF数据的方位信息的滤波函数, 使得合成虚拟立体声时, 只需利用滤波函数对所述另一侧的声音输入信 号进行 卷积滤波处理, 再与原始的所述一侧声音输入信号合成得到虚 拟立体声, 无需 同时对两侧声音输入信号进行卷积滤波, 大大降低了计算的复杂度, 且由于合 成时, 其中一侧的声音输入信号无需经过卷积处理, 保留了原始的音频, 进而 减轻了音染效应, 改善了虚拟立体声的音质。

在本申请所提供的几个实施方式中, 应该理解到, 所揭露的系统, 装置和 方法, 可以通过其它的方式实现。 例如, 以上所描述的装置实施方式仅仅是示 意性的, 例如, 所述模块或单元的划分, 仅仅为一种逻辑功能划分, 实际实现 时可以有另外的划分方式, 例如多个单元或组件可以结合或者可以集成到 另一 个系统, 或一些特征可以忽略, 或不执行。 另一点, 所显示或讨论的相互之间 的耦合或直接耦合或通信连接可以是通过一些 接口, 装置或单元的间接耦合或 通信连接, 可以是电性, 机械或其它的形式。 单元显示的部件可以是或者也可以不是物理单 元, 即可以位于一个地方, 或者 也可以分布到多个网络单元上。 可以根据实际的需要选择其中的部分或者全部 单元来实现本实施方式方案的目的。

另外, 在本申请各个实施方式中的各功能单元可以集 成在一个处理单元中, 也可以是各个单元单独物理存在, 也可以两个或两个以上单元集成在一个单元 中。 上述集成的单元既可以釆用硬件的形式实现, 也可以釆用软件功能单元的 形式实现。

所述集成的单元如果以软件功能单元的形式实 现并作为独立的产品销售或 使用时, 可以存储在一个计算机可读取存储介质中。 基于这样的理解, 本申请 的技术方案本质上或者说对现有技术做出贡献 的部分或者该技术方案的全部或 部分可以以软件产品的形式体现出来, 该计算机软件产品存储在一个存储介质 中, 包括若干指令用以使得一台计算机设备(可以 是个人计算机, 服务器, 或 者网络设备等)或处理器(processor )执行本申请各个实施方式所述方法的全部 或部分步骤。 而前述的存储介质包括: U盘、 移动硬盘、 只读存储器(ROM, Read-Only Memory ). 随机存取存储器 ( RAM, Random Access Memory )、 磁碟 或者光盘等各种可以存储程序代码的介质。