历史影音资料音频修复方法与关键技术研究

Film and audio material is precious carrier of human civilization, which has a special historical significance and heritage value. However, a variety of early film and audio material, due to historical, technical and other reasons, have been damaged to the urgent situation and need of using interdisciplinary techniques to convert these documents into digital preservation, in order to meet international audio and audiovisual file archiving standards. The project intends to research the non-contact reading analog-digital convert technology, using magnetic and photosensitive devices instead of the magnetic head and the probe to read the historical audio media; research noise characteristic model of the historical audio data, to build the sound source separation based noise elimination method and adaptive multi-types noise cancellation method; research missing data imputation and voice conversion theory and methods, to complement and enhance serious distortion historical audio data; research subjective and objective evaluation model based on deep learning, to increase the accuracy and intelligence of the automatic sound quality evaluation. By meas of these preliminary works, our team establish a theoretical system of historical audio restoration technology, which improve the quality and efficiency and promote the historical audio restoration standards and industrial development.

影视与音频资料是人类文明发展历程的珍贵载体，具有特殊的历史意义与文物价值。然而早期的各种影视与音频资料由于历史、技术等原因，大部分濒临损毁境地，亟待使用跨学科综合技术手段对这些珍贵历史音频文献进行数字化保存，以达到国际音响及音像档案存档标准。本项目拟研究非接触读取模数转换技术，采用磁敏、光敏器件代替磁头和探针来对历史音频介质进行读取；研究历史音频资料的噪声特征模型，建立基于音源分离的噪声消除和多种类噪声的自适应噪声消除方法；研究缺失数据插补与说话人转换理论与方法，对严重失真和缺失的历史音频数据进行补全和增强；研究基于深度学习的主客观评价模型，提高自动化音质评价的准确度和智能性。通过上述工作初步建立历史音频修复的理论技术体系，提高历史音频修复的质量和效率，推动历史音频修复标准制定和产业发展。

老电影胶片是重要的文化遗产。随着时间的推移，胶片会出现划痕、霉斑等不可逆损伤。目前对电影画面中的损伤进行修复的技术相对成熟，但对胶片音频进行修复还没有很好的解决方案。本项目综合应用多种技术手段提取胶片上的音轨信息，并采用深度学习方法对不同内容的音频信号进行修复，形成了一套完整的自主知识产权的音频修复技术体系和工艺，初步构建了新型老电影音频修复工具系统。.1.在胶片音轨数字化方面，传统的基于激光扫描的音轨采集方法不仅会对胶片造成不可逆的物理损坏，而且设备复杂，造价昂贵。为此，我们采用光学成像设备取代激光扫描设备，并且开发了一系列音轨图像校正和修复算法，并通过图音转换法将音轨图像直接转化为音频波形。.2.老电影胶片提取的音频信号会出现各种噪声。为了提高其中语音信号的质量，我们设计了基于循环生成对抗网络的语音增强算法，可以在低信噪比条件下处理各种噪声，并在去除噪的同时做到对原始声音的高度保真。.3.对于大段缺失的音轨缺少有效修复方案的问题，本课题针对不同的场景需求，设计相应的深度学习算法，分别合成语音、音乐和背景声，以此来修复原始音频中缺失的部分。在语音合成方面，针对目前神经网络语音合成模型对于语音韵律的建模能力不够强的问题，本课题采用矢量量化方法来将参考语音的韵律转换为离散隐变量，并以此来控制语音的合成。我们的系统不但在合成效果上超越了现有主流模型，并且可以通过调整隐变量的值来手工调控合成语音的韵律，为影视后期制作提供了便利。在音乐合成方面，主要问题是如何合成跟场景相适应的背景音乐。针对音乐情感变换与结构特性高度相关这一难题，我们设计了一种基于结构特性的情感音乐生成方法，可以有效合成跟前后风格一致的音乐。在音效合成方面，音效同样跟电影画面场景高度相关。我们研究了基于视觉引导的音效合成，可以建立视觉画面和特定音效之间的联系，合成与视频中视觉感知相一致的声音。.4.如何对合成的语音进行智能化评价，是大规模胶片修复与影视产业中亟需解决的问题。为了对语音质量进行合理的估计，本项目提出了共鸣因子指数的概念，并与传统的语音特征参数，如梅尔倒谱系数、线性预测系数等，一起进行特征融合，组成特征矩阵。实验证明，我们提出的指标分类性能比现有指标更加贴合人类主观评价的结果。