应用于语音增强的生成对抗网络模型研究

Speech enhancement in complex acoustic environments is a challenge in the field of speech technology. Generative adversarial network (GAN) is a new machine learning model, which is a research hotspot in the field of artificial intelligence. GAN is able to estimate the potential distribution of training samples and generate new data samples by adversarial learning, which provides a new idea for the solution of speech enhancement problems. The research of GAN for speech enhancement is in the start-up and trial stage, and it is urgent to establish related theories and methods. This project will propose a new speech enhancement generation adversarial network model. The proposed model uses a constrained naive GAN framework, and it has a smaller computational complexity and expects perform better at low SNR conditions in comparison with the existing conditional GAN framework based speech enhancement GAN model. The research group will study the proposed model and its extended models and optimization algorithms, and study the method of how to generate simulated noise samples using GAN, to further promote the research and application of GAN in the field of speech enhancement. The GAN-based speech enhancement method adopts a adversarial learning mechanism and has no restrictions on the distribution of speech and noise. It has strong extensibility and is expected to surpass the current state-of-the-art single deep neural network based speech enhancement method.

复杂声学环境下的语音增强是语音技术领域的挑战问题。生成对抗网络(GAN)是一种新的机器学习模型，是当前人工智能领域的研究热点。GAN能够通过对抗学习估测出训练样本的潜在分布并生成新的数据样本，为语音增强问题的解决提供了一种新的思路。GAN在语音增强的研究处于启动和尝试阶段，迫切需要建立相关的理论和方法。本项目拟提出一种新型的语音增强生成对抗网络模型，该模型采用约束朴素GAN框架，相比现有条件GAN架构的语音增强生成对抗网络，计算复杂度小，有望获得更好的低信噪比性能。课题组将研究该模型以及其拓展模型和优化算法，研究基于GAN的仿真噪声样本生成方法，进一步推进GAN在语音增强领域的研究与应用。基于GAN的语音增强方法采用对抗学习机制，对语音和噪音的分布没有任何限定，具有极强的可扩展性，有望超越目前最先进的基于单深度神经网络的语音增强方法。

语音增强技术是解决噪声污染的有效途径，但是由于真实环境的复杂性，强噪声环境的语音增强仍然没有得到有效解决。生成对抗网络(GAN)是一种新的机器学习模型，是当前人工智能领域的研究热点。GAN能够通过对抗学习估测出训练样本的潜在分布并生成新的数据样本，为语音增强问题的解决提供了一种新的思路。课题的研究拓展了生成对抗网络的模型方法，丰富了深度学习在语音领域的应用，提出了以下语音增强新方法：(1)基于稀疏生成表示的生成对抗网络模型，通过结合语音频谱的稀疏特性构建生成器，指导GAN生成符合语音频谱分布的语音。研究表明基于稀疏生成表示的生成对抗网络模型不仅有效提高训练和推理速度，且具有较好的泛化性能。(2)基于深度复值生成对抗网络的语音增强方法，将GAN改进为支持复频谱运算，采用相对鉴别器来避免鉴别器训练不稳定问题。实验表明语音可懂度有较大提升，低噪比环境尤其显著。(3)针对经典语音增强模型UNet模型无法有效获得多尺度特征问题，提出基于SE-U2Net的语音增强方法。能有效提高融合尺度特征和通道特征进行语音增强，提高了降噪效果。(4)提出基于信道交叉注意力跳跃连接机制的语音增强方法，通过多尺度信道交叉融合和信道交叉注意，融合来自编码器不同级别的多尺度语音特征有效重建特征，研究表明在各种客观语音质量指标方优于2020年国际语音技术挑战赛冠军DCCRN方法，且具有更少的模型参数。(5)提出一种基于帧级Swin-Transformer的低复杂度语音增强网络(FLSTN)，FLSTN将若干连续帧作为一个局部窗口，将自注意操作限制在窗口之内。同时采用移位窗口机制，加强相邻窗口之间的信息交换。FLSTN能够自动捕获不同尺度和不同层次的语音特征，不仅在计算复杂度上具有显著的优势，而且在客观语音质量指标方面与当前SOTA模型相当。项目研究成果促进了深度学习理论和应用语音技术的发展，具有重要的学术意义和实用价值。