面向智能移动影院的虚拟环绕声技术研究.docxVIP

? ? 面向智能移动影院的虚拟环绕声技术研究 ? ? 王薇娜 （中国电影科学技术研究所，北京100086） 1 引言 专业电影声音体验随着技术革新越来越受到广泛关注。发展到今天，从5.1还音系统、7.1还音系统，直到必威体育精装版的沉浸式声音系统，不断刷新着用户观影体验。DCI也已经出具了基于对象的数字电影音频技术格式规范。沉浸式音频处理主要包括以下几种方式：基于通道 （channel-based audio）、基于对象音频 （object-base audio）以及三维声场景音频 （Ambisonic scene-base audio）。不同方式的技术背后从音频制作、编解码、打包以及渲染等整套技术方案都不尽相同，但这些制式的音频文件在还音方式上基本都依赖扬声器阵列并对还音场所有较高的要求。而对于现在的移动通信设备来说，通过多声道还音设备获取环绕声效果与其移动端应用的便利性及碎片化的使用需求来说，无疑是相背离的。 随着移动互联网的飞速发展，大量用户使用移动设备，并通过耳机来体验音频内容。我们需要通过虚拟环绕声技术来产生这样的音频素材。对于耳机还音来说，最直接的沉浸式音频制作方式是利用人头录音技术直接生成音频素材。然而目前大范围的影片母版并未采取此方法制作。因此，各种多通道的影片内容，都需要通过下混的方式来转成立体声格式来适配移动端的双通道播放。特别是针对耳机的立体声格式变换，与扬声器立体声还音的自由场条件不同，耳机还音没有经过人头和耳廓的影响，为区分这种特殊的变换需要，我们称之为双耳化变换。经过双耳化变换的音频素材才能更好地形成虚拟环绕声效果。 2 虚拟环绕声理论基础 2.1 人耳空间定位原理 声音其实是有声源振动产生的一种机械波，它通过弹性介质传播，例如空气等，经过人的耳廓、耳道，引起耳膜的振动，牵动听觉神经，由大脑加工处理后，产生听觉。 人耳对声音的定位由三个维度确定：水平方位角、垂直方位角、距离。双耳效应是解决这一问题的关键，这就不得不提到两个概念，双耳时间差与双耳声级差。 双耳时间差 （Interaural time difference），指的是声音到达左右两耳的时间差，通过这个时间差大脑就能够分辨声源所在的方向。例如，声音从一侧传来，则信号到达远耳的距离要远于近耳。这种路径长度的差异导致声音到达耳朵会产生时间差，大脑通过时间差来识别声源的方向。对于低频声音，波长较长，人耳可以根据时间差引起的相位差辨别位置，当频率升高，相位差超过360°，则不能根据相位差定位。根据人耳的生理特点，由同一声源到达两耳的直达声的最大时间差为0.44～0.5ms，因此20～200 Hz的声音能够依靠相位差定位。 双耳声级差 （Interaural level difference），较高频率的声源，当声源位于一侧时，由于头部对声波的阴影效应和散射作用，在远端的耳朵感受到的声压会衰减，形成双耳声级差。较高频率的声音人耳通过声级差来判定。 图1 声音传播阴影效应 2.2 哈斯效应 早在1949年，在H.Wallach、E.Newman和M.Rosenzweig的著作 《声音定位中的优先效应》中首次讨论了 “优先效应”。两年之后，1951 年，哈斯研究了在单一连贯的声音反射下，人耳的声音感知是如何受到影响的。 因此当相邻的反射声之间的时间间隔小于50ms，人耳分不出到底有几种反射声，只觉得声音变得厚实、丰满、浑厚。通过适当的延时能够去除信号的相关性。 2.3 HRIR头脉冲响应 影响人耳定位特性的因素还有很多，当声音空间中某一点传到听者耳中时，头部、耳廓、耳道的大小和形状、头部密度、鼻腔和口腔的大小和形状都会改变声音，生成或者减弱一些频率的声音，影响人们对声音的感知。根据人的固有经验，通过这些影响变化，就能够确定声源的位置。可以通过从声源位置和到人耳鼓膜位置的脉冲响应体现这一影响。这个脉冲响应被称为头相关脉冲响应 （headrelated impulse response，HRIR）。任意声源信号与某一HRIR 的卷积会将声音转换为原始播放环境中声音所经历变化后被人耳接收到的声音。虚拟环绕声的产生正是利用这一原理，将音源信号与不同方位的HRIR 进行卷积，获得虚拟的临场感。 HRTF 头 相 关 函 数 （head-related transform function）是HRIR 的傅里叶变换。声音在传播中的变化可以看作是经过某种滤波器的响应，这个滤波器的特性函数就是HRTF。 3 耳机还音虚拟环绕声研究 3.1 多声道音源转立体声的一般方法 一个典型的5.1系统，有左声道 （L）、右声道（R）、中置声道 （C）、左环绕 （LS）、右环绕 （RS）和低频通道。低频通道的位置与中置声道位置近似重合，后文中都合并考虑。角度分别为―30°、30°、0°