跨文化多模态情感分析的自适应协同进化学习方法研究

Multimodal emotion analysis has become the research focus in the field of affective computing, since it can utilize the consistency and complementarity of multi-modal data to enhance the robustness of system and improve the recognition accuracy. It is critical for emotion analysis to extract discriminative information from multimodal and cross-cultural emotion data. With the adaptive character of evolutionary computation and powerful representation ability of deep learning, this project focuses on cooperative multimodal representation, heterogeneous information fusion and cross-cultural learning, to explore new methods of adaptive coevolution learning for multimodal emotion analysis. Firstly, deep multimodal cooperative adaptive representation model based on multifactorial evolutionary learning is studied in terms of audio, visual and gesture modalities. Secondly, deep multimodal adaptive fusion model based on multiobjective evolutionary learning is provided for emotion features to do away with meticulous engineering of deep fusion architectures. At last, an adaptive multimodal feature learning model based on multiobjective sparse reconstruction is studied in cross-cultural conditions. This project aims to develop new technologies for adaptive multiobjective coevolution learning, and to provide feasible and effective methods for emotion analysis with the above theoretical research.

多模态情感分析利用多模态数据间的一致性和互补性，增强系统的鲁棒性并提升识别准确度，成为情感计算领域的研究热点。如何从具有跨文化特性的多模态情感数据中自适应提取出有用信息，是当前情感分析的迫切需求。本项目针对上述需求，从情感分析的多模态协同表征、异质融合与跨文化特征学习等难点问题出发，结合进化计算的自适应特性和深度学习强大的信息表征能力，探索跨文化下多模态情感分析的自适应协同进化学习的新模型和新方法：首先，针对面部表情、语音、姿态等多模态数据的特性，研究基于多因子协同进化的多模态情感自适应深度表征方法；其次，建立基于多目标进化学习的多模态情感深度特征的自适应融合模型，解决多模态的层次化融合难题；最后，针对跨文化背景下的情感差异性，研究基于多目标稀疏重构的多模态情感特征自适应学习方法。本项目期望通过上述理论分析与实际研究，发展自适应多目标协同进化的新技术，为情感分析提供可行有效的方法。

多模态情感分析利用多模态数据间的一致性和互补性，增强系统的鲁棒性并提升识别准确度，成为情感计算领域的研究热点。本项目从情感分析的多模态协同表征、异质融合与跨文化特征学习等难点问题出发，探索了多模态情感分析的自适应协同进化学习的新模型和新方法：首先，研究了情感自适应深度表征方法，提出了基于注意力机制和图推理网络的深度情感特征表示方法；其次，研究了多模态特征融合方法，建立基于多目标进化学习的多模态情感深度特征的自适应融合模型，提出了基于熵引导的多目标粒子群特征选择方法和基于多目标密母算法的高维特征选择方法，解决了高维特征选择的维数灾难问题；最后，提出了基于多目标集成的谱聚类算法和基于多目标优化的稀疏子空间学习方法，为跨文化情感分析提出了新思路。通过上述理论分析与实际研究，本项目发展了自适应多目标进化的新技术，为情感分析提供可行有效的方法。