听音者声场扰动特性研究及三维声场重建优化技术

Traditional audio systems can’t reconstruct three-dimensional (3D) spatial sound field, which can’t provide listening experiences peered with 3D video. 3D audio can achieve full 3D sound effects, attracted widespread attentions in recent years. Existing 3D multi-channel audio reconstructive technology mainly aimed at ideal physical sound field, resulting in distortion of the spatial sound image. So, this application researches on the effects of multi-channel reconstruction of acoustic perturbation to binaural signal variation and spatial sound image localization errors. Secondly, the research will analysis and extract spatial parameters to accurately describe the phantom sources positional information. And it will build model for the just noticeable difference of spatial parameters and design quantization codebook based on spatial perceptual characteristics of ears. In addition, it also improves audio quality of the reconstruction of the multi-channel signal decoding process. Finally, we will estimate listener’s perceived phantom sources based on the existing multi-channel sound field reconstructive method. By adjusting the weights of multi-channel signal, we can improve the accuracy of perceived sound image’s reconstruction and achieve perceptual undistorted reconstruction of virtual sound. This reconstructive technology can adaptive listener’s perturbation to the sound field. This research expects to improve the reconstructive accuracy of azimuth and elevation of the spatial sound image by 30% and 20% respectively. It will enhance the perceptual experience of 3D audio in practical.

传统音频系统无法重建三维空间声场，不能提供与三维影视对等的听觉体验。三维音频能为听音者带来全方位三维声场体验。与传统多声道三维声场重建方法主要针对不考虑听音者对声场扰动情况下的理想物理声场重建思想不同，本项申请研究面向听音者感知特性的多声道三维声场重建，针对听音者对多声道重建声场扰动带来的双耳信号变化规律，分析影响空间声像定位的关键频谱特征因素，构建多声道三维声场重建优化模型。其次，研究高效的多声道信号空间参数感知压缩编码方法。引入人耳空间方位感知特性建立空间参数恰可感知差异模型，实现空间参数空间感知无失真量化编解码重建方法。本研究预期与MPEG标准方法相比，空间参数同等编码码率下，空间声像水平方位角和高度角重建准确率分别提高30%和20%，可望推动三维音频空间感知特性基础研究、提升三维音频实际应用中的用户听觉感知体验。

现有三维声场重建技术仅考虑理想物理条件，导致实际听音场景下，听音者感知的虚拟声像方位与预期发生偏差，降低三维感知体验。针对上述问题，本项目研究多扬声器合成声音场景下，听音者声场扰动特性对声像定位的影响机理，并构建优化的三维空间声像重建模型。同时，探索基于声像定位机理的多声道音频空间参数冗余去除技术，研究感知无失真的空间参数量化编码方法。.本项目首次提出听音者声场扰动这一概念，分析并验证了其对于声像定位的影响和作用。基于声场的物理特性，提出声压和粒子速度总能量守恒的虚拟声像方位估计模型，与矢量幅度平移技术VBAP相比，使得双耳处的能量平均失真降低46.36%。.基于人类空间听觉感知特性，本项目建立了感知无失真的多声道音频空间参数量化编码模型，克服了现有多声道编码方案中空间参数量化阈值设置不合理导致的冗余难去除、音质受损等问题。与现有主流空间参数编码方法SLQP相比，本项目的研究成果在保证编码音质相当的情况下，使得空间参数码率下降幅度超过16%。.基于听音者声场扰动特性，提出多种优化的三维虚拟声像声场技术，结合信号处理和机器学习方法，构建具备听音者声场扰动适应能力的鲁棒性三维音频扬声器重建系统。与现有的以平移技术为核心的三维虚拟声像合成技术相比，基于扬声器增益向量的个性化虚拟声像重建方法使重建虚拟声像的双耳线索误差下降13.54%，基于声道间差异的虚拟声像重建方法使重建虚拟声像的双耳线索误差下降13.88%，基于子带能量一致性约束的虚拟声像重建方法使双耳信号的谱失真降低16.21%。.本项目的研究成果可应用于三维音频的生成和压缩，能有效提升听音者的三维空间体验，在三维影视和虚拟现实等方面具有广阔的应用前景。