多模态数据增强的抑郁症状态感知与趋势预测方法研究

Depression disorder is becoming to be one of the most challenging global health issues, and results in tremendous social-economics burdens. With the prevalence of social media and the development of artificial intelligence, the enriched data from social media and advanced algorithms offer great opportunities for the automated detection of depression disorder. However, how to aggregate and fuse the multimodal data in social media for the precision detection and explainable prediction of depression disorder are challenging. This project focuses on the fusion of multimodal data in social media to enhance the diagnosis and prediction of depression disorder. In detail, based on the multimodal data from social media, the project studies (1) the modelling of multimodal data, (2) the fusion strategies for the precise detection of depression disorder, and (3) the explainable prediction of the dynamics of depression disorder to find the induction factors for the early prevention. The innovative research results of this project can provide theoretical and methodological support for the diagnosis of depression disorder. It also provides a scientific evidence for the caregivers to make optimal decisions for the early intervention.

抑郁症已成为全球性的公共健康问题之一，并造成了严重的社会经济负担。当前抑郁症的筛查手段严重滞后，对抑郁症的认知水平亟待提高。随着社交媒体的普及和人工智能的发展，两者为抑郁症相关研究提供了详实的数据，极大地丰富了抑郁症研究的手段和途径。本项目针对社交媒体中多模态数据共生互补的特点，基于深度学习理论和方法，研究多模态数据增强的抑郁症状态准确感知和可解释趋势预测问题。具体研究内容包括（1）抑郁症多模态表征数据的统一表示模型，（2）抑郁症状态准确感知方法和（3）抑郁症可解释演化预测方法。本研究的意义在于通过构建多模态数据的统一表示模型，发现多种模态数据之间的关联关系，构建智能化的抑郁症状态感知和具有可解释性的抑郁症演化预测方法。一方面在理论和方法层面上丰富和完善多模态数据融合的理论和方法；另一方面，为抑郁症的诊断方式提供有益的补充，同时发现抑郁症演化的关键诱导因素，为及早预防和精准干预提供支持。

抑郁症已成为全球性的公共健康问题之一，不仅给社会经济造成了巨大的损失，而且对有限的医疗资源构成了严峻的挑战。基于社交媒体研究抑郁症的状态感知与趋势预测方法对抑郁症的社会化筛查、提前预防和综合干预具有极为重要的意义。为此，本项目针对社交媒体中多模态数据共生现象，以多模态数据融合为特色，依托人工智能技术，研究抑郁症的准确感知问题和预测模型的可解释性问题，提出抑郁症多模态表征数据的统一表示模型，挖掘多维特征的关联及融合机制，探索多维特征联合作用下的抑郁症状态感知和演化预测方法，以深度学习为理论基础，提出或改进一系列算法，为抑郁症的准确筛查和综合干预提供方法支持，同时也为抑郁症的临床诊断提供补充。..项目的核心成果如下：①针对社会认知影响因素多、精准分析难的问题，首次提出了“数字表型”这一概念，系统性地阐述了影响社会认知的多维因素，包括行为、情绪、社会关系、健康状态等，并提出了融合多模态数据进行社会认知分析和感知的模型。同时，针对海量媒体数据，提出了基于复杂度的样本蒸馏方法，实现海量数据的精化。②在精准感知方面，针对社会认知表征多样、影响因素复杂等问题，研究多模态的社会认知挖掘理论。针对文本数据，提出多视图的文本表示方法，并构建多视图注意力机制实现从文本中抽取社会认知语义的能力；提出基于自步学习的多模态数据高效融合策略，稀疏样本情况下的通过整合多模态信息进行感知。③在可解释性方面，重点挖掘了异构多模态时序数据之间的隐式时序依赖关系，形成上下文敏感的时序状态关联元知识。提出了高效的异构时序协作感知框架，面向稀疏数据流实现状态的持续高效感知。同时，研究精神状态与情绪之间的因果关联，实现了复杂因果关系的抽取，可以为精神病的早期预测和精准干预提供支持。..依托上述研究成果，发表高水平学术论文9篇，其中在IEEE TDSC、ACM TOSN、ACM Ubicomp、Information Sciences等国际顶级期刊/会议上发表CCF A、B类论文7篇，申请国家发明专利6项，培养硕士研究生5人（两人获得国家奖学金）。同时，项目申请人获得陕西省自然科学奖一等奖1项，获得ACM西安新星称号。完成《计算社会学》教材1部，该教材预计于2023年8月由机械工业出版社出版。