技术领域

本发明属于声学领域， 尤其涉及 3D空间中音源声像体的提取方法及装置。

背景技术

2009年底， 3D电影 《阿凡达》 在全球三十多个国家登上票房榜首， 到 2010年 9月初， 全球累计票房超过 27亿美元。 《阿凡达》 之所以能取得如此辉煌的票房成绩， 在于它所采用 了全新的 3D特效制作技术带给人们感官上的震撼效果。 《阿凡达》所展现的绚丽画面与逼真 声效不仅震撼了观众， 也使得业界有了"电影进入 3D时代"的断言。不仅如此， 它还将催生更 多的相关影视、 录音、 播放方面的技术和标准。 2010年 1月在美国拉斯维加斯举行的国际消 费电子产品展上，各彩电巨头纷纷亮出的电视 新品带给了人们新的期待一 3D已经成为全球 各大彩电制造商竞争的新焦点。 要想达到更好的视听体验， 需要有与 3D视频内容同步的 3D 声场听觉效果， 才能真正达到身临其境的视听感受。 早期的 3D 音频系统 （如 Ambisonics 系统） 由于其结构复杂， 对采集和回放设备要求较高， 难以推广实用。 近年来日本 NHK 公 司推出了 22.2声道系统， 能通过 24个扬声器再现原来的 3D声场。 2011年 MPEG着手制定 3D 音频的国际标准， 在达到一定编码效率的同时希望能通过比较少 的扬声器或耳机来还原 3D声场， 以便能将该技术推广到普通家庭用户。 由此可见 3D音视频技术已成为多媒体技术 领域的研究热点和进一步发展的重要方向。

但是， 传统的 3D音频只注重恢复音源的空间位置或者物理声� ��， 并没有针对音源的声 像的大小， 特别是声像体进行恢复。 为了达到更好的听音效果， 需要准确的恢复音源声像的 大小， 同时为了便于编解码等系统的处理， 还需要找到表达音源声像体的表示参数， 这样才 能通过 3D音频系统处理后也能完美的恢复原始声像。 技术问题

本发明针对现有技术的不足， 提出一种 3D空间中音源声像体的提取方法及装置。 技术解决方案

本发明提供的技术方案提供一种 3D空间中音源声像体的提取方法， 包括以下步骤： 步骤 1， 确定音源声像的空间位置， 实现方式如下，

将各个声道的信号进行时频变换， 对每个声道进行相同的子带划分； 以听音者为球面坐 标系原点， 对位于水平角 A和高度角 的扬声器， 设矢量 P.(k，n)代表相应信号的时频表示， cos j - cos ?7；

P (k,n) = g (k,n)- sin//; - cos ?7；

sin ?7； 其中， i是扬声器的索引值， k为频带索引， n为时域帧数索引， g.(k，n)是频域点的强度

音源声像的水平角 μ和高度角 η采用以下公式计算， tan (k,n) =丄 i=l

^¾(1,η)·8ίη^·οο8^

其中， N是扬声器的总数， i的取值为 1,2...N， (k，n)、 /7(k，n)即第 n帧第 k频带音源 声像的水平角 //和高度角 η·,

音源声像到球面坐标系原点的距离 取所有扬声器到听音者的平均距离；

步骤 2， 根据步骤 1所得音源声像的空间位置 （ρ， μ , η ), 确定音源声像所在空间位置附 近的扬声器；

步骤 3， 计算步骤 2所选取扬声器在水平和垂直方向上各声道信� �的相关性， 实现方式如下: 将所选扬声器按照声像所在位置分为左右两部 分， 以音源声像和听音者所在的中垂面为 投影平面， 分别计算左右两边信号与该投影平面垂直的分 量之和， 记为 PL和 P _R ， 计算左右 两边信号的相关性 IC _H 如下，

得所选扬声器按照声像所在位置分为上下两部 分， 以音源声像和听音者所在的平面为投 影平面， 分别计算上下两边信号与该投影平面垂直的分 量之和， 记为 Pu和 P _D ， 计算上下两 边信号的相关性 IC _V 如下，

步骤 4， 获得声像体的参数集 { IC _H ， IC _V ， Min{IC _H ， IC _V } }并保存， 其中 Min{IC _H ， IC _V } 为 IC _H 和 IC _V 中的较小值。

本发明还相应提供了一种 3D空间中音源声像体的提取装置， 包括以下单元：

空间位置提取单元， 用于确定音源声像的空间位置， 实现方式如下，

将各个声道的信号进行时频变换， 对每个声道进行相同的子带划分； 以听音者为球面坐 标系原点， 对位于水平角 A和高度角 的扬声器， 设矢量 p. (k，n)代表相应信号的时频表示， cos//; - cos ?7；

P (k,n) = g (k,n) - sin ; - cos ?7；

sin ?7； 其中， i是扬声器的索引值， k为频带索引， n为时域帧数索引， g. (k，n)是频域点的强度

音源声像的水平角 μ和高度角 η采用以下公式计算，

其中， N是扬声器的总数， i的取值为 1,2... N， (k，n)、 /7(k，n)即第 n帧第 k频带音源 声像的水平角 //和高度角 η·,

音源声像到球面坐标系原点的距离 取所有扬声器到听音者的平均距离；

扬声器选取单元， 用于根据空间位置提取单元所得音源声像的空 间位置 （ρ， μ , η ) , 确定 音源声像所在空间位置附近的扬声器； 相关性提取单元， 用于计算扬声器选取单元所选取扬声器在水平 和垂直方向上各声道信号的 相关性， 实现方式如下，

将所选扬声器按照声像所在位置分为左右两部 分， 以音源声像和听音者所在的中垂面为 投影平面， 分别计算左右两边信号与该投影平面垂直的分 量之和， 记为 PL和 P _R ， 计算左右 两边信号的相关性 IC _H 如下，

》

将所选扬声器按照声像所在位置分为上下两部 分， 以音源声像和听音者所在的平面为投 影平面， 分别计算上下两边信号与该投影平面垂直的分 量之和， 记为 Pu和 P _D ， 计算上下两 边信号的相关性 IC _V 如下，

_IC = cov(P _n , P _D )

^V V ^C0V ( ^P U ' ^P u ) V ^C ° ^V ( ^P D ' ^P _D ) 声像体特性保存单元， 用于获得声像体的参数集 { IC _H ， IC _V ， Min{IC _H ， IC _V } }并保存， 其 中 Min{IC _H ， 1^ }为1€ ₁₁ 和 IC _V 中的较小值。 有益效果

音源的声像体是指在 3D 空间中相对于听音者来说声像的前后 /深度、 左右 /长度和上下 / 高度三个维度上的大小。 本发明针对多声道的 3D 音频系统， 通过从三个维度上利用不同声 道间的相关性描述音源声像体的大小。 本发明获得声像体的表示参数为 3D 音频直播系统中 准确的恢复音源声像的大小提供了技术保障， 解决目前 3D 音频恢复的声像过于狭小的技术 难题。 酬儀

图 1为本发明实施例的扬声器位置与信号计算关� �示意图。 具体实 式

下面结合附图及实施例对本发明作进一步说明 。

本发明的技术方案可由本领域技术人员基于计 算机软件技术实现自动运行流程。 实施例 的流程具体如下所述：

步骤 1，确定音源声像的空间位置， 以听音者为坐标原点，扬声器的球面坐标可设 为（ p， μ， η ) , ρ为扬声器到球面坐标系原点的距离， 为水平角， 为高度角， 如附图 1所示。 以听音者为参照点， 对多声道系统的各个声道信号进行正交分解， 得到每个声道在 3D 空间笛卡尔坐标系的 X， Υ和 Ζ轴上的分量。 每个声道的分量， 是原单音源在该声道上的分 解。 因此在得到每个声道的 X， Υ和 Ζ轴上的分量后， 分别对每个分量相加， 可以得到原单 音源对于听音者位置的分量。 实施例

首先将各个声道的信号进行时频变换， 对每个声道进行相同的子带划分， 可用现有技术 进行时频变换和子带划分。

因为一般有多个扬声器， 可将各扬声器的球面坐标 （ρ， μ , η ) 分别按索引值作为下 标，记为（ A， Α， ）。考虑到一个位于水平角 Α，高度角 的扬声器，可以用一个矢量 (k，n) 代表扬声器相应声道信号的 所示：

其中， i是扬声器的索引值， k为频带索引， n为时域帧数索引， _gi (k，n)是频域点的强度 信息。 音源声像的方位角也可分为水平角 //和高度角 //， 并通过式 （2)、 式 （3 ) 计算：

tan//(k,n)：

其中， N是扬声器的总数， i的取值为 1,2··· Ν， (k，n)、 /7(k，n)即第 n帧第 k频带音源 声像的水平角 //和高度角 //。 这样就可以得到音源声像的水平角 μ和高度角 η， 由于扬声器一般是以听音者为中心布 置，音源声像到球面坐标系原点的距离 大致取所有扬声器到听音者的距离 Α的平均值即可， 通常 = = 。 步骤 2， 确定音源声像所在空间位置附近的扬声器。

确定了重建音源声像的空间位置 （ρ， μ , η ) 后， 根据其位置找出其附近的扬声器。 具体实施时， 可首先根据各扬声器 ρ、， μ、· , η, ) 到音源声像由近到远进行排序， 然后选取 距离近的扬声器， 根据实际情况可以灵活选择， 一般选取 4-8个为宜。

步骤 3， 计算步骤 2所选取扬声器在水平和垂直方向上各声道信� �的相关性， 该相关性 即可表示声像在水平和垂直方向上的大小。

将所选扬声器按照声像所在位置分为左右两部 分， 设 为音源的第 i个声道的频域值， 以音源声像和听音者所在的中垂面为投影平面 ， 分别计算左右两边信号与该投影平面垂直的 分量之和， 为 P _R 。 即从步骤 2所选扬声器中取在声像所在位置左边的所有� �声器， 得 到各扬声器的相应频域值 分别与该投影平面垂直的分量， 然后求和得到 PL; 从步骤 2所选 扬声器中取在声像所在位置右边的所有扬声器 ， 得到各扬声器的相应频域值 分别与该投影 平面垂直的分量， 然后求和得到 P _R 。 计算左右两边信号的相关性 IC _H ， 如式 （4 ) 所示：

_IC cov(P P _R )

^H Vcov(P _L , P _L ) -7cov(P _R , P _R )

同样将所选扬声器按照声像所在位置分为上下 两部分， 以音源声像和听音者所在的平面 为投影平面， 该平面与上述的中垂面垂直， 分别计算上下两边信号与该投影平面垂直的分 量 之和， 为 Pu和 P _D ， 即从步骤 2所选扬声器中取在声像所在位置上边的所有� �声器， 得到各 扬声器的相应频域值 分别与该投影平面垂直的分量，然后求和得到 P _{u ;} 从步骤 2所选扬声 器中取在声像所在位置下边的所有扬声器， 得到各扬声器的相应频域值 分别与该投影平面 垂直的分量， 然后求和得到 P _D 。 然后计算上下两边信号的相关性 IC _V ， 如式 （5 ) 所示：

IC _{V =} ■ ^(Ρ (5) 这样就得到了水平和垂直方向上声像大小的表 示参数， 由于人对距离的感知不够灵敏， 因此距离参数可以 IC _H 和 IC _V 中的较小值表示， 即 Min{IC _H ， IC _V }。

按以上方法， 可以根据每帧信号各频带的音源声像的水平角 μ和高度角 η， 相应得到每 帧信号各频带的声像体。

具体实施时， 提取出的声像体可用参数集 { IC _H ， IC _V ， Min{IC _H ， IC _V } }表示及存储， 供恢复音源声像使用。

本发明技术方案也可采用软件模块化技术， 实现为装置。 本发明实施例相应提供了一种 3D空间中音源声像体的提取装置， 包括以下单元：

空间位置提取单元， 用于确定音源声像的空间位置， 实现方式如下，

将各个声道的信号进行时频变换， 对每个声道进行相同的子带划分； 以听音者为球面坐 标系原点， 对位于水平角 A和高度角 的扬声器， 设矢量 p. (k，n)代表相应信号的时频表示， cos j - cos ?7；

p. (k,n) = g . (k,n) sin ; - cos ?7；

sin ?/； 其中， i是扬声器的索引值， k为频带索引， n为时域帧数索引， g. (k，n)是频域点的强度

音源声像的水平角 μ和高度角 η采用以下公式计算，

其中， N是扬声器的总数， i的取值为 1,2... N， (k，n)、 ？7(k，n)即音源声像的水平角 和高度角 η;

音源声像到球面坐标系原点的距离 取所有扬声器到听音者的平均距离；

扬声器选取单元， 用于根据空间位置提取单元所得音源声像的空 间位置 （ρ， μ , η ) , 确定 音源声像所在空间位置附近的扬声器；

相关性提取单元， 用于计算扬声器选取单元所选取扬声器在水平 和垂直方向上各声道信号的 相关性， 实现方式如下，

将所选扬声器按照声像所在位置分为左右两部 分， 以音源声像和听音者所在的中垂面为 投影平面， 分别计算左右两边信号与该投影平面垂直的分 量之和， 记为 PL和 P _R ， 计算左右 两边信号的相关性 IC _H 如下，

将所选扬声器按照声像所在位置分为上下两部 分， 以音源声像和听音者所在的平面为投 影平面， 分别计算上下两边信号与该投影平面垂直的分 量之和， 记为 Pu和 P _D ， 计算上下两 边信号的相关性 IC _V 如下， ic - ^cov ( ^p u， ^p _D )

^{V COV} ( ^P U ' ^P u)- ^COV ( ^P D ' ^P _D )

声像体特性保存单元， 用于获得声像体的参数集 { IC _H ， IC _V ， Min{IC _H ， IC _V } }并保存， 其 中 Min{IC _H ， IC _V }为10 ₁ 和 IC _V 中的较小值。 采用 IC _H ， IC _V ， Min{IC _H ， IC _V }分别标识 声像的前后 /深度、 左右 /长度和上下 /高度三个维度上的特性。

本发明的上述实例仅仅为说明本发明的方法实 现， 任何熟悉该技术的人在本发明所揭露 的技术范围内， 都可轻易想到其变化和替换， 因此本发明保护范围都应涵盖在由权利要求书 所限定的保护范围之内。