面向深度模型轻量化的联合剪枝和自动压缩技术研究

Deep learning model is complex and large, with numerous parameters. The model training and operation requires a lot of computing resources, which makes it impossible to deploy and operate on terminals such as mobile phones and wearable devices. This greatly limits the scope of use of AI technology. At the same time, many studies have also shown that deep neural networks are over-parameterized, with huge redundancy among model parameters. Therefore, the deep network model compression has become an important and urgent research area. There exist several categories of compression methods, such as network pruning, parameter quantification and knowledge distillation. However, the existing methods still have some defects and shortcomings, for example, network pruning is limited to local optimum, not global optimization; Moreover, existing methods are mostly manually designed compression strategy, resulting in limited search space and the compression method cannot be applied across the model. In order to solve above problems, this project intends to research on: 1. reveal the cross-layer association mechanism of channels and hidden layers in network pruning, design a new pruning optimization algorithm RCSI, and conduct multi-level joint pruning research; 2. existing methods based on rule-based artificial exploration, the compression strategy is not optimal and cannot be applied across the model. This project will study the automatic compression method and framework, based on improved reinforcement learning model; finally, these new model compression methods will be extended to new tasks such as image semantic segmentation and natural language processing, and deployed in terminal device to observe actual practice.

现有深度学习模型复杂而庞大，表征参数众多，模型训练和运行需要大量计算资源，这导致无法在手机、穿戴设备等终端上部署运行，大大限制了AI技术的使用范围。同时，研究也表明深度神经网络过参数化,内部参数存在着巨大冗余。因此，深度网络模型轻量化已成为重要而急迫的研究领域。现已有网络剪枝、参数量化和知识蒸馏等模型压缩方法，但现有方法还存在一些缺陷和不足，如网络剪枝限于局部最优，缺乏全局优化能力；现有方法多为人工设计的压缩策略，其搜索空间有限且无法跨模型适用。针对以上问题，本项目拟重点研究：一、在网络剪枝中揭示出通道、隐层等跨层关联机理，设计新型剪枝优化算法RCSI，进行多层次化联合剪枝研究；二、针对现有方法多为基于规则的人工探索法，压缩策略非最优的现状，将研究基于改进强化学习模型的自动压缩方法和框架；最终将上述压缩方法扩展到图像语义分割、自然语言处理等新任务上进行验证，并部署到终端设备应用实践。

深度学习技术已经广泛应用在计算机视觉、自然语言处理和语音识别等领域，但是深度学习网络模型越来越庞大，所需的硬件部署要求高，难以直接部署和运行在手机等终端设备，这大幅限制了人工智能技术的应用范围。因而，如何在硬件资源有限、不影响辨识精度的情况下，大幅降低深度网络模型大小并提升模型运算速度是亟需解决的技术问题，这对大力推动 AI 技术的使用范围，具有重要意义。.本项目针对深度学习网络模型庞大难以应用的问题，展开深度学习模型的高效压缩方法的研究，从平台搭建、模型压缩方法研究、压缩算法应用以及模型算法库系统开发等多个方面开展工作。在项目具体执行期间，项目团队主要完成了三个方面的工作：第一，研究了多种新型深度学习模型压缩方法，提出了一种基于鲁棒子网络搜索的网络剪枝方法，从过度参数化的深度神经网络中剪枝得到一些特殊的稀疏子网络；研究并开发了一种基于知识蒸馏的预训练语言模型的压缩方法，该方法对NLP预训练模型进行高效压缩；提出了一种基于RL的模型压缩搜索协议和框架；第二，开发并开源了业内首批模型压缩算法库（包含自动模型压缩框架）；第三，在基金的资助下，同时延展研究了视觉-语言跨模态表征学习算法。.项目执行期间，申请模型压缩技术相关的国内外发明专利9项（美国专利4项），其中6项已授权，3项公开中；本人及受指导的团队成员一共发表学术论文4篇，其中 CCF A 类论文2篇，CCF B类论文1篇，SCI论文1篇。成功设计并开发了专业的模型压缩算法库并进行了开源，已被数千个客户订阅，被上千家企业和用户下载使用。指导和培养了部门成员和研究生10名左右。