面向多模态大数据的演进式深度增强学习方法

Deep learning seems to be the most popular method to deal with big data problems. Two main drawbacks, however, still exist. Lack of considering multimodal data will reduce the accuracy of decision making, and the networks are not flexible enough to handle variety of applications. Therefore, we propose evolutionary deep reinforcement learning targeting multimodal big data, which includes studying extraction methods for multimodal features of image/video data in terms of the pixel domain and the measurement domain respectively, then further satisfying the requirements of applications; studying fusion methods for multimodal big data based on their weights and correlations to match the networks; studying weights and architecture evolutionary methods for evolutionary deep reinforcement learning networks based on applications, and studying optimization methods for multimodal big data fusion, so that both networks and fusion methods can be jointly optimized to maximize the accuracy with minimum cost. This project aims to obtain optimized fused multimodal features via discovering the coherent correlations between modals, so that the networks can evolutionally optimize their weights and architecture, in order to achieve the dominating policy to satisfy the requirements of application. This project will provide more accurate and intelligent comprehension of image/video-based multimodal big data, and further to facilitate the development of multimedia technology and artificial intelligence.

深度学习是目前处理大数据的主流方法，然而这种方法并未考虑到大数据的多模态性质，难以实现准确应用决策，且学习网络不能灵活应对应用场景的不断变化。针对这两点不足，本项目提出面向多模态大数据的演进式深度增强学习方法，具体包括：研究从像素域和测量域上提取图像/视频数据多模态特征的方法，并选取能够匹配应用需求的特征；研究基于模态间相关性和权重更新的多模态特征融合方法，用于适配深度增强学习网络；基于应用驱动研究演进式深度增强学习算法，完成网络节点权重和网络结构演进；研究基于应用场景反馈的多模态特征融合优化算法，进而实现网络和融合特征的联合优化，最终以最小的代价满足应用精确度要求。本项目的研究通过挖掘模态间内在相关性得到多模态特征的最优融合，进而基于融合特征，针对不同应用需求演进优化学习网络，获得最优的行为策略，从而更加准确、智能地理解以图像/视频为主的多模态大数据，推动多媒体技术与人工智能的发展。

随着大数据时代的到来，以文本、图像、语音等为主的多媒体数据在数据量和数据多样性上均达到了很大规模。深度学习是目前处理这些媒体大数据的主流方法，如何利用深度学习来克服多模态数据存在的数据结构多样性、信息复杂性和应用场景的高动态性，是亟需解决的问题。针对以上几点问题，本项目主要基于多模态大数据智能应用场景，提出面向多模态大数据的演进式深度增强学习方法，具体包括：提出多模态信息特征的提取方法，从不同的数据域出发提取数据的时空信息，充分挖掘多模态数据的时域中相关性，使多模态特征能够适用于多种任务；提出多模态信息特征融合方法，学习构建多模态数据融合的共同空间，从多尺度特征构建合理的融合损失函数；提出基于多模态数据融合的车辆跟踪监测方法，通过融合车辆的视觉信息与速度信息，提高车辆目标车辆的检索效率；提出基于多模态数据融合的相关产品推荐方法，能够从多数据集角度以及异构关系图角度对图像与文本信息相融合，显著提高会话产品推荐的性能；提出基于深度强化学习的资源分配方法，将联合通信与计算问题建模为马尔科夫过程，学习到最优资源分配策略；提出多智能体强化学习方法，将多智能体概率博弈模型用于资源分配与数据融合；提出图神经网络的强化学习方法，利用图卷积网络进行多用户动态特征提取，为多用户提供最佳分配策略；提出量子启发式强化学习方法，通过时变马尔可夫决策过程联合优化资源分配中的时延、能耗和成本。本项目的研究以多模态大数据、强化学习、应用驱动演进式方法为核心，在不同层次逐步挖掘不同模态数据的时域和空域相关性，进行高效的特征融合与动态决策，可广泛用于多模态情感分析，多模态会话与商品推荐，多模态数据检索以及多模态无线资源管理系统中。