Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
ECHO CANCELLATION DEVICE AND METHOD FOR SMALL-SCALE HANDS-FREE VOICE COMMUNICATION SYSTEM
Document Type and Number:
WIPO Patent Application WO/2014/094359
Kind Code:
A1
Abstract:
Disclosed are an echo cancellation device and method for a small-scale hand-free voice communication system. The system includes a telephone receiver, a main telephone transmitter and a secondary telephone transmitter, with the distance between the main telephone transmitter and the telephone receiver being greater than that between the secondary telephone transmitter and the telephone receiver. The device includes an array echo cancellation unit, a self-adaptive echo cancellation unit and a residual echo cancellation unit which are structurally in sequential cascade connection. The inputs of the array echo cancellation unit are a main telephone transmitter signal and a secondary telephone transmitter signal, and an output signal is obtained by array filtering; the input signals of the self-adaptive echo cancellation unit are a telephone receiver signal, an output signal of the array echo cancellation unit and a secondary telephone transmitter signal, and two output signals are obtained by self-adaptive filtering; and the input signals of the residual echo cancellation unit are the two output signals of the self-adaptive echo cancellation unit, and an echo-cancelled voice signal obtained by means of voice probability estimation and echo matching. The duplex performance can be improved, and phase consistency of the telephone transmitters is not strictly required.

Inventors:
LIU SONG (CN)
LOU SHASHA (CN)
LI BO (CN)
Application Number:
PCT/CN2013/001558
Publication Date:
June 26, 2014
Filing Date:
December 12, 2013
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
GOERTEK INC (CN)
International Classes:
H04M9/08
Foreign References:
CN202197344U2012-04-18
CN203104592U2013-07-31
CN103051818A2013-04-17
CN102387273A2012-03-21
US20030039353A12003-02-27
CN201110326010A2011-10-24
Other References:
See also references of EP 2858338A4
Attorney, Agent or Firm:
BEIJING LONGAN LAW FIRM (CN)
北京市隆安律师事务所 (CN)
Download PDF:
Claims:
权利要求书

1、 一种用于小型免提语音通讯系统中回声消除的装置, 其特征在于, 所述 小型免提语音通讯系统包括受话器、 主送话器和辅送话器, 主送话器与受话器 之间的距离大于辅送话器与受话器之间的距离, 其中, 该装置包括在结构上依 次级联的: 阵列回声消除单元、 自适应回声消除单元以及残留回声消除单元, 阵列回声消除单元的输入是主送话器信号和辅送话器信号, 通过阵列滤波, 去除主送话器信号中的部分线性回声成分和部分非线性回声成分, 得到一路输 出信号;

自适应回声消除单元的输入信号是受话器信号和阵列回声消除单元的输出 信号以及辅送话器信号, 通过自适应滤波, 分别从阵列回声消除单元的输出信 号中去除主送话器信号中的残余线性回声成分和从辅送话器信号中去除辅送话 器信号中的线性回声成分, 得到两路输出信号;

残留回声消除单元的输入信号是自适应回声消除单元的两路输出信号, 通 过语音概率估计和回声匹配, 去除主送话器信号中的残余非线性回声成分, 得 到一路输出信号作为消除回声后的语音信号。

2、 根据权利要求 1所述的装置, 其特征在于,

所述阵列回声消除单元包括一个阵列滤波组件, 所述阵列滤波组件, 包括 阵列滤波器和减法器, 阵列滤波器用于对辅送话器信号进行阵列滤波得到第二 阵列滤波信号, 减法器用于对主送话器信号减去第二阵列滤波信号, 以去除主 送话器信号中的部分线性回声成分和部分非线性回声成分;

所述自适应回声消除单元包括两个自适应滤波组件, 所述两个自适应滤波 组件, 用于分别对辅送话器信号进行自适应滤波得到第二自适应滤波信号以去 除辅送话器信号中的线性回声成分, 以及对主送话器信号减去第二阵列滤波信 号后的信号进行自适应滤波得到第一自适应滤波信号以去除主送话器信号中的 残余线性回声成分;

所述残留回声消除单元包括两个时频变换组件、 一个语音概率估计组件、 一个频谱滤波组件, 和一个频时变换组件, 所述两个时频变换组件, 用于分别 对第一自适应滤波信号进行时频变换得到第一自适应频域信号以及对第二自适 应滤波信号进行时频变换得到第二自适应频域信号;

所述语音概率估计组件, 用于根据第一自适应频域信号与第二自适应频域 信号的幅度进行频域语音概率估计得到频域语音概率信号, 所述频域语音概率 信号表示第一自适应频域信号之中近端语音信号所占的比例;

所述频谱滤波组件, 包括回声匹配器、 减法器和乘法器, 回声匹配器用于 根据第一自适应频域信号和第二自适应频域信号的幅度, 对第二自适应频域信 号进行回声匹配; 减法器用于将第一自适应频域信号与回声匹配后的结果相减 以去除非线性回声成分信号; 乘法器用于将相减得到的结果与频域语音概率信 号相乘以抑制回声信号且保护近端语音信号;

所述频时变换组件, 用于将相乘得到的结果进行频时变换, 以输出回声消 除的结果。

3、 根据权利要求 2所述的装置, 其特征在于,

D1>2D2JLD1-D2>6cm;

其中, D1是主送话器与受话器之间的距离, D2是辅送话器与受话器之间的 距离;

阵列滤波器的传输函数由如

其中, 是阵列滤波器的传输函数, 4是主送话器信号, 是辅送话器信号, E[.]为求期望运算符号, *为卷积运算符号。

4、 根据权利要求 2所述的装置, 其特征在于, 所述语音概率估计组件, 用 于根据如下公式计算频域语音概率信号:

其中, /为频率 , A为第一自适应频域信号的幅度, 为第二自适应频域信 号的幅度, 为频域语音概率信号, 为辅送话器信号和主送话器信号中近端 语音信号的平均幅度比值, Γ£为辅送话器信号和主送话器信号中非线性回声成 分信号的平均幅度比值, 其中 r£>rs> 。

5、 根据权利要求 2所述的装置, 其特征在于,

所述回声匹配器, 用于将全频率划分为 M个子带, 子带边界为 A ~ βΜ+1 , 在每个子带内进行如下的计算:

其中, M]为子带编号, /为频率, 为子带内的频率取样点, E^k 为第一自适应频域信号在频率取样点的幅度, A 为第二自适应频域信号在频 率取样点的幅度;

第二自适应频域信号 E2乘以匹配函数 Hm并乘以因子 g进行幅度匹配得到 匹配回声!;:

Ym (f) = As(f) - E2 (f)Hm (f) ^

减法器将第一自适应频域信号与匹配回声 1 相减以及乘法器将相减得到的 结果与频域语音概率信号相乘为: Eout {f) = [El (f) - Ym (f)\ . pF (f) - 其中, 为频域语音概率信号, 是与 J^P相关的因子, 随 ^增加而下 降。

6、 一种用于小型免提语音通讯系统中回声消除的方法, 其特征在于, 所述 小型免提语音通讯系统包括受话器、 主送话器和辅送话器, 主送话器与受话器 之间的距离大于辅送话器与受话器之间的距离, 该方法包括:

将主送话器信号和辅送话器信号, 输入阵列回声消除单元, 进行阵列滤波, 去除主送话器信号中的部分线性回声成分和部分非线性回声成分, 得到一路输 出信号;

将受话器信号和阵列回声消除单元的输出信号以及辅送话器信号, 输入自 适应回声消除单元, 进行自适应滤波, 分别从阵列回声消除单元的输出信号中 去除主送话器信号中的残余线性回声成分和从辅送话器信号中去除辅送话器信 号中的线性回声成分, 得到两路输出信号;

将自适应回声消除单元的两路输出信号, 输入残留回声消除单元, 通过语 音概率估计和回声匹配去除主送话器信号中的残余非线性回声成分, 得到一路 输出信号作为消除回声后的语音信号。

7、 根据权利要求 6所述的方法, 其特征在于,

所述进行阵列滤波, 具体包括: 对辅送话器信号进行阵列滤波得到第二阵 列滤波信号, 从主送话器信号减去第二阵列滤波信号, 以去除主送话器信号中 的部分线性回声成分和部分非线性回声成分;

所述进行自适应滤波, 具体包括: 对辅送话器信号进行自适应滤波以去除 辅送话器信号中的线性回声成分得到第二自适应滤波信号; 对主送话器信号减 去第二阵列滤波信号后的信号进行自适应滤波以去除主送话器信号中的残余线 性回声成分得到第一自适应滤波信号;

所述通过语音概率估计和回声匹配去除主送话器信号中的残余非线性回声 成分, 得到一路输出信号作为消除回声后的语音信号, 具体包括: 对第一自适 应滤波信号和第二自适应滤波信号分别进行时频变换得到第一自适应频域信号 与第二自适应频域信号; 根据第一自适应频域信号与第二自适应频域信号的幅 度进行语音概率估计得到频域语音概率信号, 所述频域语音概率信号表示第一 自适应频域信号之中近端语音信号所占的比例; 根据第一自适应频域信号和第 二自适应频域信号的幅度, 对第二自适应频域信号进行回声匹配, 得到匹配回 声, 将第一自适应频域信号与匹配回声相减以去除非线性回声成分信号, 将相 减得到的结果与频域语音概率信号相乘以抑制回声信号且保护近端语音信号; 将相乘得到的结果进行频时变换, 以输出回声消除的结果。

8、 根据权利要求 7所述的方法, 其特征在于,

D1>2D2JLD1-D2>6cm;

其中, D1是主送话器与受话器之间的距离, D2是辅送话器与受话器之间的 距离; 所述对辅送话器信号进行阵列滤波得到第二阵列滤波信号, 具体包括: 根 据如下公式确定阵列滤波器的传

其中, 是阵列滤波器的传输函数, 是主送话器信号, 是辅送话器信号, [.]为求期望运算符号, *为卷积运算符号; 以及

釆用使用了传输函数 的阵列滤波器, 对辅送话器信号进行阵列滤波。

9、 根据权利要求 7所述的方法, 其特征在于, 所述根据第一自适应频域信 号与第二自适应频域信号的幅度进行语音概率估计得到频域语音概率信号具体 包括:

根据如下公式计算频域语音概率信号:

^ I E^ T,

其中, /为频率 , A为第一自适应频域信号的幅度, 为第二自适应频域信 号的幅度, 为频域语音概率信号, rs为辅送话器信号和主送话器信号中近端 语音信号的平均幅度比值, Γ£为辅送话器信号和主送话器信号中非线性回声成 分信号的平均幅度比值, 其中 r£>rs> 。

10、 根据权利要求 7所述的方法, 其特征在于,

所述根据第一自适应频域信号和第二自适应频域信号的幅度, 对第二自适 应频域信号进行回声匹配包括:

将全频率划分为 M个子带, 子带边界为 Α - β^ρ 在每个子带内对第一自 适应频域信号 和第二自适应频域信号 求能量, 将能量相除并做开方运算, 得到匹配函数

其中, M]为子带编号, /为频率, 为子带内的频率取样点, 为第一自适应频域信号在频率取样点的幅度, A 为第二自适应频域信号在频 率取样点的幅度;

第二自适应频域信号 E2乘以匹配函数 Hm并乘以因子 进行幅度匹配得到 匹配回声!;:

Ym (f) = As(f) - E2 (f)Hm (f) ^ 所述将第一自适应频域信号与匹配回声 1 相减并将相减得到的结果与频域 语音概率信号相乘为: 其中, 为频域语音概率信号, 是与; ^相关的匹配因子, 随 ^增加 而下降。

Description:
一种用于小型免提语音通讯系统中的回声消除 装置和方法 技术领域 本发明涉及回声消除技术领域, 特别涉及一种用于小型免提语音通讯系统 中的回声消除装置和方法。 发明背景 语音通讯中常有回声问题, 受话端信号由受话器(也称为听筒、 receiver, SPK或 earphone等)播放后, 经过线路和声学反射串入送话端(也称为麦克 风或 拾音器等) 的接收信号中, 并馈送到远端, 使远端的通讯联络人听到回声。 回 声会给通话双方造成极大干扰, 影响通话质量。 回声^ [艮大时还可能导致受话器 啸叫并损伤受话器。 为保证通话质量和设备安全, 需要在语音通讯中对回声进 行抑制。

回声从产生机制上分可以分为线性回声成分和 非线性回声成分两类, 其中 线性回声成分是由电声线路放大和声学传输产 生, 非线性回声成分是由受话器 的非线性失真和声学传输产生。 线性回声成分消除通常釆用自适应回声消除技 术, 这种技术是应用很广泛的成熟技术, 可以消除线性回声成分且不会损伤近 端语音。 但是非线性回声成分的消除 4艮容易造成近端语音受损, 致使双工性能 变差, 甚至会使信道变成半双工。

半双工现象在小型免提语音通讯设备上 [艮常见, 如具有免提功能的手机或 对讲电话(speakerphone ) 中, 因为这类设备的受话器非线性失真和非线性回 声 成分都较大。 随着对语音通讯流畅度和舒适度需求的不断提 升, 需要在抑制回 声的同时保护近端语音, 保证双工效果。 由于双工的损失主要出现在非线性回 声成分消除中, 因此特别需要对非线性回声成分消除技术做改 进。

在小型免提语音通讯设备上的回声消除, 提升双工性能的一类做法是借助 送话器阵列, 将回声滤波与阵列空间滤波相结合, 利用回声传播到各个送话器 的信号差异, 实现回声提取并与语音分离, 如中国专利申请号为 201110326010.0 的发明专利申请中提到的方法, 应用阵列信号处理和回声消除, 可以实现接近 全双工的通话。 但是这种方法需要精确判定回声和近端语音到 送话器阵列的波 达方向, 因而对送话器一致性要求很高, 不仅需要送话器灵敏度一致, 更需要 相位的一致性, 因此需要严格的声学设计, 而在小型免提设备上, 由于结构紧 凑, 尺寸有限, 很难完全满足声学设计尤其是相位一致性的要 求, 因此限制了 其应用。 发明内容 本发明提供一种小型免提语音通讯系统中的回 声消除装置和方法, 在降低 回声时减轻对近端语音的损伤, 提升双工性能, 同时不严格要求送话器的相位 一致性。 为达到上述目的, 本发明釆用如下技术方案:

本发明公开了一种用于小型免提语音通讯系统 中回声消除的装置, 所述小 型免提语音通讯系统包括受话器、 主送话器和辅送话器, 主送话器与受话器之 间的距离大于辅送话器与受话器之间的距离, 其中, 该装置包括在结构上依次 级联的: 阵列回声消除单元、 自适应回声消除单元以及残留回声消除单元, 阵 列回声消除单元的输入是主送话器信号和辅送 话器信号, 通过阵列滤波, 去除 主送话器信号中的部分线性回声成分和部分非 线性回声成分, 得到一路输出信 号; 自适应回声消除单元的输入信号是受话器信号 和阵列回声消除单元的输出 信号以及辅送话器信号, 通过自适应滤波, 分别从阵列回声消除单元的输出信 号中去除主送话器信号中的残余线性回声成分 和从辅送话器信号中去除辅送话 器信号中的线性回声成分, 得到两路输出信号; 残留回声消除单元的输入信号 是自适应回声消除单元的两路输出信号, 通过语音概率估计和回声匹配, 去除 主送话器信号中的残余非线性回声成分, 得到一路输出信号作为消除回声后的 语音信号。

本发明还公开了一种用于小型免提语音通讯系 统中回声消除的方法, 所述 小型免提语音通讯系统包括受话器、 主送话器和辅送话器, 主送话器与受话器 之间的距离大于辅送话器与受话器之间的距离 , 该方法包括: 将主送话器信号 和辅送话器信号, 输入阵列回声消除单元, 进行阵列滤波, 去除主送话器信号 中的部分线性回声成分和部分非线性回声成分 , 得到一路输出信号; 将受话器 信号和阵列回声消除单元的输出信号以及辅送 话器信号, 输入自适应回声消除 单元, 进行自适应滤波, 分别从阵列回声消除单元的输出信号中去除主 送话器 信号中的残余线性回声成分和从辅送话器信号 中去除辅送话器信号中的线性回 声成分, 得到两路输出信号; 将自适应回声消除单元的两路输出信号, 输入残 留回声消除单元, 通过语音概率估计和回声匹配去除主送话器信 号中的残余非 线性回声成分, 得到一路输出信号作为消除回声后的语音信号 。

本发明实施例的有益效果是: 根据本发明的用于小型免提语音通讯系统中 回声消除的装置和方法, 通过充分利用小型免提语音通讯系统的声学特 性以及 送话器和受话器的位置信息, 通过对不同送话器信号进行总体轮廓匹配和幅 度 匹配, 得到幅度匹配回声; 利用回声到不同送话器的幅度差异, 由于不同送话 器信号幅度差异越大, 近端语音概率越小, 则能够提取指示语音和回声在各个 时频区域的比例语音概率信息, 将语音区域和回声区域划分开来, 有效去除残 留回声, 并保护近端语音, 提升双工性能, 同时不严格要求送话器的相位一致 性。 附图简要说明 图 1为本发明用于小型免提语音通讯系统中回声 除的装置和方法所应用 的受话器和送话器位置的示意图; 图 2为本发明用于小型免提语音通讯系统中回声 除的装置和方法所应用 的桌面小型免提语音通讯系统的使用示意图;

图 3为本发明用于小型免提语音通讯系统中回声 除的装置和方法所应用 的车用小型免提语音通讯系统的使用示意图;

图 4 ( a ) 为两送话器信号中回声成分能量曲线示意图;

图 4 ( b )为主辅送话器信号中的近端语音成分能量曲 示意图;

图 4 ( c ) 为主送话器中回声成分和近端语音成分的能量 曲线示意图; 图 5 ( a ) 为主送话器信号能量曲线示意图;

图 5 ( b )为主送话器回声成分能量曲线示意图;

图 5 ( c ) 为主送话器近端语音成分能量曲线示意图;

图 6为本发明较佳实施例提供的用于小型免提语 通讯系统中回声消除的 装置在使用状态下的方框示意图;

图 7为辅送话器到主送话器的各个信号成分的传 函数示意图;

图 8为主送话器信号和阵列滤波后的输出信号的 量曲线示意图; 图 9为阵列滤波组件输出信号与自适应回声滤波 到的第一自适应滤波信 号的能量曲线示意图;

图 10为第一自适应滤波信号和第二自适应滤波信 的非线性回声成分的能 量曲线示意图;

图 11为第一自适应滤波信号的非线性回声的能量 线和匹配回声的能量曲 线示意图;

图 12 ( a )为主送话器信号的能量曲线示意图;

图 12 ( b )主送话器信号中的近端语音成分的能量曲线 意图;

图 12 ( c )为消除回声之后的输出信号的能量曲线示意 ;

图 13为本发明较佳实施例提供的用于小型免提语 通讯系统中回声消除的 方法的流程图;

图 14为本发明较佳实施例提供的用于小型免提语 通讯系统中回声消除的 方法的详细的流程图。 实施本发明的方式 为使本发明的目的、 技术方案和优点更加清楚, 下面将结合附图对本发明 实施方式作进一步的详细描述。

图 1为本发明用于小型免提语音通讯系统中回声 除的装置和方法所应用 的受话器和送话器位置的示意图。 图 2为本发明用于小型免提语音通讯系统中回 声消除的装置和方法所应用的小型免提语音通 讯系统的使用示意图。 图 3为本发 明用于小型免提语音通讯系统中回声消除的装 置和方法所应用的车用免提小型 免提语音通讯系统的使用示意图。 对于使用者来说, 使用者到送话器(例如麦 克风) 的距离接近相等, 也就是说, 每一个送话器所接收到的使用者发出的近 端语音信号是基本相同的。 但是对于受话器(例如扬声器) 而言, 受话器到各 个送话器的距离不等, 如果受话器和主送话器的距离是 D1, 与辅送话器的距离 是 D2, 当 D1>D2时两个送话器接收的受话器发出的回声 间有功率差异, 而两 个送话器收到的使用者发出的近端语音是几乎 相同的, 因此根据功率关系的差 异, 可以区分语音和回声, 达到分离语音和回声的目的。 本发明正是利用这一 功率的差异来进行语音和回声的分离。 本实施例中, D1>=2D2, 例如 Dl=13cm, D2=4cm, 此时由于 D1与 D2的明显不同, 两个送话器接收的受话器发出的回声 之间功率差异明显, 效果更佳。

图 4 (a) 为两送话器信号中回声成分能量曲线示意图; 图 4 (b) 为主送话 器信号和辅送话器信号中的近端语音成分能量 曲线示意图; 图 4 (c) 为主送话 器中回声成分和近端语音成分的能量曲线示意 图。 图 5 (a) 为主送话器信号能 量曲线示意图; 图 5 (b) 为主送话器回声成分能量曲线示意图; 图 5 (c) 为主 送话器近端语音成分能量曲线示意图。 归纳起来, 送话器信号有如下特性:

第一, 由图 4 (a) 、 图 4 (b) 可知两个送话器信号中的回声成分有明显能 量差异, 辅送话器信号中的回声成分比主送话器信号中 的回声成分高 6dB以上。 这是由于回声能量近似反比于送话器与受话器 的距离, 辅送话器距离受话器更 近, 接收到的回声更大。

第二, 由图 4 (b)可知送话器信号中近端语音成分能量接近, 这是由于在 一般应用中, 近端说话人的嘴距离两个送话器接近等距, 因此两送话器接收到 的近端语音能量也接近。

第三, 由图 4 (c)可知在主送话器中, 近端语音比回声能量略低, 约低 3到

6dB。 此外在图 5 (a) -图 5 (c)的语谱图上可见, 当近端语音和回声同时出现时, 在一些时频区域, 近端语音会被回声掩盖。

图 6为本发明较佳实施例提供的用于小型免提语 通讯系统中回声消除的 装置在使用状态下的方框示意图。 图 7为辅送话器到主送话器的各个信号成分的 传递函数示意图。 图 8为主送话器信号和阵列滤波后的输出信号的 量曲线示意 图。 图 9为阵列滤波组件输出信号与自适应回声滤波 到的第一自适应滤波信号 的能量曲线示意图。 图 10为第一自适应滤波信号和第二自适应滤波信 的非线 性回声成分的能量曲线示意图。 图 11为第一自适应滤波信号的非线性回声的能 量曲线和匹配回声的能量曲线示意图。 图 12 (a)为主送话器信号的能量曲线示 意图。 图 12(b)为主送话器信号中的近端语音成分的能量 线示意图。 图 12(c) 为消除回声之后的输出信号的能量曲线示意图 。

本发明所提供的用于小型免提语音通讯系统中 回声消除的装置由阵列回声 消除单元 610、 自适应回声消除单元 620和残留回声消除单元 630组成, 阵列回声 消除单元 610、 自适应回声消除单元 620和残留回声消除单元 630在结构上为级联 关系, 阵列回声消除单元 610的输入是主送话器信号 dl和辅送话器信号 d2, —路 输出信号 dl', 通过阵列滤波, 去除主送话器信号中的部分线性回声成分和部 分 非线性回声成分; 自适应回声消除单元 620的输入信号是受话器信号 X和阵列回 声消除单元 610的输出信号 dl,以及辅送话器信号 d2, 两路输出信号 el和 e2, 通过 自适应滤波,分别从阵列回声消除单元 610的输出信号 dl,中去除主送话器信号中 的残余线性回声成分和从辅送话器信号 d2中去除辅送话器信号中的线性回声成 分; 残留回声消除单元 630的输入信号是自适应回声消除单元 620的两路输出信 号 el和 e2, 通过语音概率估计和回声匹配, 去除主送话器信号中的残余非线 性回声成分, 输出信号是消除回声后的输出, 即分离回声后的语音信号。 经过 阵列回声消除单元 610、 自适应回声消除单元 620和残留回声消除单元 630的处 理, 回声会被消除, 而近端语音信号 V会被较完整保留。

更具体地, 该装置包括: 一个阵列滤波组件, 两个自适应滤波组件, 两个 时频变换组件, 一个语音概率估计组件, 一个频语滤波组件和一个频时变换组 件。

其中的阵列滤波组件, 包括阵列滤波器 611和减法器 612, 阵列滤波器 611用 于对辅送话器信号 d2进行阵列滤波得到第二阵列滤波信号, 减法器 612用于对主 送话器信号 dl减去第二阵列滤波信号, 以去除主送话器信号中的部分线性回声 和部分非线性回声, 得到输出信号 dl,。 阵列滤波器具有空间指向性, 可以将从 受话器位置发出的声音检出, 经减法器后将从受话器位置发出的声音消除掉 一 部分。 由于线性回声成分和非线性回声成分都是从受 话器位置发出的, 因此在 阵列滤波器与减法器处理后, 线性回声成分和非线性回声成分都会被去除一 部 分。

d l,相对于 dl , 回声成分的能量会明显衰减, 而语音能量则不会有 明显变化。 这样的原理是, 受话器与两个送话器的位置很近, 且距离有 显著差异, 近端语音距离两个送话器较远, 且距离接近。 近端语音与回声传到 送话器的传播特性完全不同, 这种不同反映在两个送话器信号的传递函数中 。 通过传递函数的差异, 可以区分语音和回声。 根据回声成分之间的传递函数设 计阵列滤波器 611 , 用阵列滤波消除的方式去除回声, 而近端语音成分则不受影 响。

设 d为主送话器中的回声成分, d \为主送话器信号中的近端语音成分。 A。 2 为辅送话器中的回声成分, 2为辅送话器信号中的近端语音成分。 则主辅 送话器信号可以表示为:

, = 0 ' = 1,2 ( 1 )

设 为回声成分之间的传递函数, 为近端语音成分之间的传递函数, 则 有关系式:

d eM = d echo2 * h,d spM = d sph2 * hN ( 2 )

如果/ ^与/^不等, 而且能大致求得与/ ^近似的阵列滤波器 。 则用滤波消除 的方式得到 dl ':

结合以上公式(1 )、 ( 2 )和(3 ), 可以得到 dl,中的回声成分和近端语音成 分的关系式: d、 = d sphl ― d sph2 * h

=d -d *h + d -d *h

e Ch ° l 广 Ψ 、 (4)

y l )卞 y l i J 对比公式(1)和(4)可以发现, 如果满足以下的公式(5)和(6)或满 足以下的公式(5)和(7), 就可以使 dl,中回声成分的能量明显衰减, 而语音能 量则不会有明显变化, 达到降回声同时保护语音的目的, 其中公式(6)和(7) 是接近等价的形式:

如果 z估计的较为准确, 则公式(5)可以满足, 如果此时?与 ^完全不同, 则 ( · ^«0, 公式(7) 的条件可以满足。 则可以保证阵列滤波消除回声, 而 不衰减语音。

在如图 1所示的设备中, 由于 D1与 D2之比较大, 例如在本实施例之中, 01>202且01-02>6011, 与 完全不同这一条件是满足的。 与 都接近单峰 值函数, 峰的宽度在 0.25毫秒左右, 半宽度在 0.125毫秒左右。 由于 D1>2D2的限 定,使得 h与 的能量差异在 6dB以上,峰值绝对值差异在 2倍以上。 Dl-D2>6cm 的限定, 可以使 与 ^的峰值位置相差 0.17毫秒以上, 超过峰的半宽度, 峰值在 时间上完全错开。 辅送话器到主送话器的各个信号成分的传递函 数可见于图 7, 回声成分之间的传递函数?为实线,是一个单 峰曲线,峰值处在时延为(Dl-D2)/c 的位置上, 其中 c为声音在空气中传播速度, 其最大幅度近似为 D2/D1。 在 Dl=13cm, D2=4cm的情况下, 峰值高度约为 0.3, 峰值位置在 0.26毫秒处。 近端 语音成分之间的传递函数 ^为点虚线曲线, 其形状也接近一个单峰曲线, 峰值 处在 0毫秒处, 峰值高度为 1。 可见两个传递函数截然不同。

实际系统中, 阵列滤波器的传输函数 可以事先离线算出并固定。 较为准确 的计算可以釆用最小均方差准则,如公式(8), 其中 是阵列滤波器的传输函数, 4是主送话器信号, 是辅送话器信号, E[.]为求期望运算。 *为卷积运算:

E

=0 (8)

dh

阵列滤波组件 610的输出 dl,为公式 ( 3 ), 以 Dl=13cm,D2=4cm为例, 阵列回 声消除的效果可见图 8, 实线是主送话器信号 dl的能量曲线, 虚线是阵列滤波组 件的输出 dl,的能量曲线, 可以看到回声能量变化导致能量平均降低约 9dB。 两个自适应滤波组件, 均包括滤波器 621、 滤波控制器 622和减法器 623 , 用 于分别对辅送话器信号 d2进行自适应滤波得到第二自适应滤波信号 e2以去除辅 送话器信号中的线性回声成分, 以及对主送话器信号减去第二阵列滤波信号后 的信号 dl,进行自适应滤波得到第一自适应滤波信号 el , 以去除主送话器信号中 的残余线性回声成分。

自适应回声消除单元的输入有三路, 受话端信号 X和辅送话器信号 d2以及阵 列滤波组件的输出信号 dl,。 输出为自适应滤波后的第一自适应滤波信号 el与第 二自适应滤波信号 e2。 此部分工作原理与通用的自适应回声滤波相似 , 可以釆 用时域或者频域滤波形式。 通过比较受话端信号 X和 d2、 dl '的相似性, 自适应匹 配出回声信号并从 d2、 dl,中消除。 其效果可见图 9, 实线是阵列滤波组件的输出 dl,的能量曲线, 虚线是自适应回声滤波后的结果即第一自适应 滤波信号 el的能 量曲线。可以看到能量变化,在回声区域, el的能量比 dl,的能量平均降低约 5dB。

两个时频变换组件, 均包括数据緩存器 631和时频变换器 632, 用于分别对 第一自适应滤波信号 el进行时频变换得到第一自适应频域信号 E1以及对第二自 适应滤波信号 e2进行时频变换得到第二自适应频域信号 E2。

数据緩存器 631的作用是将信号组成信号向量, 供时频变换器 632使用, 数 据緩存器 631的长度设定为 L, 与计算资源有关, 一般可以设成为 256或者 512。 如果当前时刻 n, 输入信号是 el(n)和 e2(n), 则两个数据緩存器 631中所形成的向 量分别是 [el(n-L+l), el(n-L+2) ....el(n)]以及 [e2(n-L+l) , e2(n-L+2) .... e2(n)]„ 时频变换器 632将信号从时域变换到频率域, 可以用傅立叶变换实现, 也可 以用改进离散数字余弦变换等方式实现。 以傅立叶变换为例, 则频域信号为:

. 2π

E^ ^ ^ e^n - L + m) W k(m ― , W = exp J—

E 1 {k) = Y j e 1 {n - L + m) W k{m ' l) , W =

语音概率估计组件 633 , 用于根据第一自适应频域信号 E1与第二自适应频域 信号 E2的幅度进行频域语音概率估计得到频域语音 率信号 pF, 所述频域语音 概率信号 pF表示第一自适应频域信号 E1之中近端语音信号所占的比例。 这是因 为:

语音概率估计组件 633通过比较两路信号的幅度关系, 得出频域语音概率 信息 pF, pF是个时频函数, 指示语音和回声在各个时频区域的比例。 pF为 1 , 说明这个区域中均是近端语音信号, pF为 0, 说明这个区域中均是回声信号, 在 0和 1之间的数值, 表示这个区域中是二者的混合, 接近于 1则表示近端语 音存在的比例可能性较大, 接近 0表示近端语音存在的比例较低。

语音概率估计的工作原理是, 语音概率估计组件 633的两路输入信号 E1,E2, 都含有非线性回声成分和近端语音信号, E1内非线性回声成分能量低, E2内非 线性回声成分能量比 E1内非线性回声成分能量高出约 20dB。 因此, 在回声所在 的时频区域, E2的幅度要比 E1高很多, 而近端语音所在的时频区域, E1和 E2能 量较为接近。 通过比较各个频点上 E1和 E2的幅度, 可以知道非线性回声成分和 近端语音在频率上的分布。

本实施例之中的具体实现方法是, 计算 E1和 E2的幅度比, 根据映射关系得 E

0 E E\ > T„

其中 为两个送话器信号中语音成分的平均幅度差异 , : ^为两个送话器信号 中回声成分的平均幅度差异。 经过语音概率判断后, 可以计算得到每个频率点 上的语音概率。 其中 f为频率。

?和 的取值与结构有关, 以图 1的结构为例, r s =1.4, 其中 1.4对应 3dB, 代表着两个送话器接收到的近端语音成分的幅 度差异, 这个数值是工业生产中 同型号送话器的灵敏度公差。 如果 Dl=13cm, D2=4cm, 则 £ =4, 4是两个送话 器中回声成分的幅度比平均值的近似值, 回声成分幅度比平均值约为 (D1/D2 ) xl.4。 回声传播到两个送话器上, 回声信号幅度差异为 D1/D2, 补上灵敏度公差 1.4, 向下取整为 4。 2.6是 7和 £ 二者差值, 为了使函数曲线连续而设的。 这个 公式的含义就是, 当信号的幅度差异在 1.4以内, 也就是不超过灵敏度公差的时 候, 艮有可能是语音成分, 语音概率为 1。 当信号幅度差异超过 4, 艮像是回声 成分幅度差异值时, 就很可能是回声成分, 中间部分用一次斜 率曲线拟合, 越接近 4概率值越低。

则计算方式为:

1 Α| < 1.4

(4 | |) / 2.6 EJ e [1.4, 4]

0 E,/ E, | > 4

频语滤波组件, 包括回声匹配器 634、 减法器 635和乘法器 636, 回声匹配器 634用于根据第一自适应频域信号 E1和第二自适应频域信号 Ε2的非线性回声成 分的能量, 进行回声匹配得到匹配回声; 减法器 635用于将第一自适应频域信号 E1与匹配回声相减;乘法器用 636于将相减得到的结果与频域语音概率信号 pF相 乘。

回声匹配器 6^4^据两个送话 信号中非线性 ^声成分与线性回声成分的 波抑制下去。 非线性回声成分和线性回声成分是由受话器产 生并传播到主送话 器和辅送话器上的, 主送话器信号 dl和辅送话器信号 d2中的非线性回声成分和 线性回声成分有高度相似性, 这种相似性主要表现为非线性回声成分和线性 回 声成分的谱峰位置的一致性。 因为谱峰集中了非线性回声成分和线性回声成 分 的几乎全部能量, 因此如果谱峰位置一致, 则可以认为, 非线性回声成分和线 性回声成分的频率分布规律是一致的。 如果抑制掉非线性回声成分和线性回声 成分的谱峰, 就可以去除绝大多数非线性回声成分和线性回 声成分。 阵列回声 消除单元 610和自适应回声消除单元 620都只进行了线性滤波, 只改变了非线性 回声成分和线性回声成分的幅度与频谱包络形 状, 但没有改变谱峰位置, 也即 仍保留这种非线性回声成分和线性回声成分的 相似关系。 因此第一自适应频域 信号 E1和第二自适应频域信号 E2中,非线性回声成分的谱峰位置是高度近似 。 在如图 10所示的频谱上可以看到, E1和 E2之中非线性回声成分和线性回声成分 的峰值位置相同或相近, 只是总体起伏形状和信号能量不同。

因此, 可以将 E1和 E2的非线性回声线性回声成分做总体轮廓匹配 到匹配 回声, 再乘以一定的因子 Ag做幅度匹配, 得到幅度匹配回声。 因子 Ag随语音概 率 pF上升而下降。 这样在语音概率较低, 回声概率较高的时频区域, 使匹配回 声的幅度高于非线性回声线性回声成分, 在语音概率较高, 回声概率较低的区 域, 使匹配回声和 Ag相乘后的幅度等于或略低于非线性回声线性 声成分。 将 幅度匹配回声从第一自适应频域信号 E 1中减去, 可以去除残留的回声。

通常地, 为了能将残留回声去除干净, 残留回声越强, Ag则应越大, 频谱 滤波的力度越强, 但此时对近端语音伤害也就越大。 此外残留回声对通讯的干 扰在纯回声和双讲时有区别, 当纯回声时, 人对残留回声 艮敏感, 艮少的残留 回声就会引起不适, 但在回声和近端语音同时发生的双讲区域, 人对残留回声 并不敏感, 而对近端语音质量要求较高。 本发明中由于使用了语音概率估计组 件, 通过语音概率估计和回声匹配相结合的方法, 使得匹配回声可以取值较小, 不太强的频谱滤波就可以将非线性回声线性回 声成分去除, 并且频谱滤波强度 随近端语音概率变化, 当近端语音概率较高时, 频谱滤波力度降低, 以更好地 的保护近端语音。 从而随语音概率动态调整滤波力度可以同时提 升舒适度和语 音质量, 并使得近端语音可以较好保留。

频语滤波的过程为: 先将 E2信号和 E1中的回声信号做幅度匹配。 幅度匹配 可以用以下方式进行: 将全频率划分为 M个子带, 子带边界为 A ~ 本实 施例的 Μ可以为 32或 16。 Ε2和 E1在每个子带内求能量, 将能量相除并进行开方 运算, 得到匹配函数 m 。 E2乘以匹配函数 m 并乘以因子 得到匹配回声 1;。

匹配效果可见图 11 , 可见在回声所处的频率范围内, 匹配回声; ^与 1的回 声成分是接近的(在 300Hz附近和 3800Hz附近差异是由本底噪声引起的, 并非匹 配误

其中, M]为子带编号, /为频率, 为子带内的频率取样点, E 为第一自适应频域信号在频率取样点的幅度, 为第二自适应频域信号在频 率取样点的幅度 第二自适应频域信号 2 乘以匹配函数 H m 并乘以因子 g 进行幅度匹配, 得 到匹配回声!;:

Y m (f) = A s(f) - E 2 (f) H m (f)

完成回声匹配和语音概率估计后, 从 E1中减去匹配回声; T m , 再与语音概率 函数 ^相乘, 得到的结果为: 频时变换组件 637,用于将相乘得到的结果进行频时变换。频 变换组件 637 将数字信号从频率域变换到时域, 可以用逆傅立叶变换实现, 也可以用逆离散 数字余弦变换等方式实现。

经过频时变换后, 频域信号^^变换为时域信号 eoW, 为系统总输出。

最终的效果可见图 12 ( a ) 中主送话器信号 dl , 图 12 ( b )主送话器信号 dl 中的近端语音成分, 以及图 12 ( c )中 eoW的能量曲线, 可见在 eoW中, 回声成分 都被消除, 而近端语音保留得很完整, 与原始的近端语音成分相比, 信号能量 没有明显衰减。 达到全双工要求。

图 13为本发明较佳实施例提供的用于小型免提语 通讯系统中回声消除的 方法的流程图。 所述小型免提语音通讯系统包括受话器、 主送话器和辅送话器, 主送话器与受话器之间的距离大于辅送话器与 受话器之间的距离。 该方法包括 以下步骤:

S1301 : 将主送话器信号和辅送话器信号, 输入阵列回声消除单元, 进行阵 列滤波, 去除主送话器信号中的部分线性回声成分和部 分非线性回声成分, 得 到一路输出信号。

S1302: 将受话器信号和阵列回声消除单元的输出信号 以及辅送话器信号, 输入自适应回声消除单元, 进行自适应滤波, 分别从阵列回声消除单元的输出 信号中去除主送话器信号中的残余线性回声成 分和从辅送话器信号中去除辅送 话器信号中的线性回声成分, 得到两路输出信号。

S1303: 将自适应回声消除单元的两路输出信号, 输入残留回声消除单元, 通过语音概率估计和回声匹配去除主送话器信 号中的残余非线性回声成分, 得 到一路输出信号作为消除回声后的语音信号。

图 14为本发明较佳实施例提供的用于小型免提语 通讯系统中回声消除的 方法的详细的流程图。 所述小型免提语音通讯系统包括受话器、 主送话器和辅 送话器, 主送话器与受话器之间的距离大于辅送话器与 受话器之间的距离。 该 方法包括以下步骤:

S1401 : 对辅送话器信号进行阵列滤波得到第二阵列滤 波信号, 对主送话器 信号减去第二阵列滤波信号, 以去除主送话器信号中的部分线性回声成分和 部 分非线性回声成分;

S1402: 对辅送话器信号进行自适应滤波以去除辅送话 器信号中的线性回声 成分得到第二自适应滤波信号; 对主送话器信号减去第二阵列滤波信号后的信 号进行自适应滤波以去除主送话器信号中的残 余线性回声成分得到第一自适应 S1403: 对第一自适应滤波信号和第二自适应滤波信号 进行时频变换得到第 一自适应频域信号与第二自适应频域信号;

S1404: 根据第一自适应频域信号与第二自适应频域信 号的幅度进行频域语 音概率估计得到频域语音概率信号, 所述频域语音概率信号表示第一自适应频 域信号之中近端语音信号所占的比例;

S1405: 根据第一自适应频域信号和第二自适应频域信 号的非线性回声成分 的幅度, 对第二自适应频域信号进行回声匹配, 得到匹配回声, 将第一自适应 频域信号与匹配回声相减并将相减得到的结果 与频域语音概率信号相乘;

S1406: 将相乘得到的结果进行频时变换, 以输出回声消除的结果。

具体地, 步骤 S1401之中, 所述对辅送话器信号进行阵列滤波得到第二阵 列 滤波信号,具体包括:确定阵列滤波器的传输 数 以及釆用使用了传输函数 的 阵列滤波器对辅送话器信号进行阵列滤波, 其中, 根据如下公式确定阵列滤波 器的传输函数

其中, 是阵列滤波器的传输函数, 是主送话器信号, 是辅送话器信号, [.]为求期望运算符号, *为卷积运算符号。

步骤 S 1404之中, 根据第一自适应频域信号与第二自适应频域信 号的幅度进 行频域语音概率估计得到频域语音概率信号包 括:

根据如下公式计算频域语音概率信号:

其中, /为频率 , A为第一自适应频域信号的幅度, 为第二自适应频域信 号的幅度, 为频域语音概率信号, r s 为辅送话器信号和主送话器信号中近端 语音信号的平均幅度比值, Γ £ 为辅送话器信号和主送话器信号中非线性 回声成 分信号的平均幅度比值, 其中 Γ £ > Γ 5 > 。

步骤 S 1405之中, 根据第一自适应频域信号和第二自适应频域信 号的非线性 回声成分的能量, 对第二自适应频域信号进行回声匹配, 具体包括两步:

( 1 )将全频率划分为 个子带, 子带边界为 A ~ β Μ+1 , 在每个子带内对 第一自适应频域信号 Α和第二自适应频域信号 E 2 求能量, 将能量相除并进行开 方运算, 得到匹配函数

其中, M]为子带编号, /为频率, 为子带内的频率取样点, E 为第一自适应频域信号在频率取样点的幅度, A 为第二自适应频域信号在频 率取样点的幅度;

( 2 )第二自适应频域信号 Ε Ί 乘以匹配函数 H m 并乘以因子 进行幅度匹配 得到匹配回声 } :

Y m (f) = A s(f)-E 2 (f) H m (f)^

步骤 S1405之中,将第一自适应频域信号与匹配回声 1 相减并将相减得到的 结果与频域语音概率信号相乘为:

E out (f) = [E l (f)-Y m (f)]-pF(f);

其中, 为频域语音概率信号, 是与 pF相关的匹配因子, 随 pF增加而 下降, 比如可以取 ^(/) = Π Χ[2- ^(/)*2.5,0]。

当 接近 0时, 大于 1, 使得匹配回声和 Ag的幅度高于第一自适应频域 信号 的非线性回声成分, 可以使回声消去, 当; ^接近 1, 为小于 1的数值, 使得匹配回声的幅度低于第一自适应频域信号 A的非线性回声成分, 可以使语 音得以保留。 换言之, 匹配回声和第一自适应频域信号中的残余非线 性回声成 分很接近, 经相减后, 第一自适应频域信号中的非线性回声成分几乎 完全被减 去, 但仍可能会有微弱残留, 将相减结果与语音概率相乘, 则非线性回声成分 可以被全部去除。

本发明的实施例具有以下的优点:

(一)使用本发明技术方案, 使用语音概率估计, 结合回声匹配, 可以在 降低回声的同时减轻对近端语音的损伤, 提升双工性能;

(二)对于存在多个送话器的小型免提语音通 系统, 也只需要使用与受 话器距离最远和最近的送话器即可实现本发明 的技术方案, 易于实施;

(三) 因为使用本发明技术方案不需要分辨语音的相 位, 因此不严格要求 送话器的相位一致性, 对声学设计限定较少, 易于产品设计;

(四)将频域语音概率信号, 用于回声匹配的运算, 使得频谱滤波强度随 近端语音概率变化, 当近端语音概率较高时, 频谱滤波力度降低, 可以更好地 保护近端语音。

以上所述, 仅为本发明的具体实施方式, 但本发明的保护范围并不局限于 此, 任何熟悉本技术领域的技术人员在本发明揭露 的技术范围内, 可轻易想到 的变化或替换, 都应涵盖在本发明的保护范围之内。 因此, 本发明的保护范围 应以权利要求的保护范围为准。