基于深度强化学习的推荐系统关键技术

In order to meet the challenges of the recommender systems, we intend to use machine learning and data mining methods to study the key technology of recommender systems based on deep reinforcement learning. The specific research contents include: 1) We propose a novel tag-based recommendation algorithm based on deep reinforcement learning. We used the tags to simulate user profiles to construct substantial personalized data, and combined simulated data and historical data to recommendation. 2) We propose a novel DRL-based recommender system. We formulate a recommender system as a gridworld game by using a biclustering technique that can reduce the state and action space significantly. 3) We develop a novel approach to incorporate them into the proposed deep recommender system framework, which incorporating them simultaneously is challenging since positive feedback could be buried by negative one. Through this project research, our research results significantly improve the recommendation performance.

针对推荐系统面临的挑战，我们拟采用机器学习和数据挖掘的方法，研究基于深度强化学习的推荐系统关键技术。其具体的研究内容包括：1）提出一种基于标签的深度强化学习推荐算法，利用标签模拟用户兴趣来构造非稀疏的个性化数据，并将模拟数据与历史用户访问数据相结合进行推荐；2）提出一种基于深度强化学习的双聚类推荐方法，使用可以减少state和action空间维数的biclusteingr技术，将推荐系统转化为一个二维网格游戏问题；3）提出一种新的推荐算法，使得模型可以自动学习用户的正向反馈和负向反馈信息。通过该项目的研究，能够提高推荐系统的性能。

近几年，随着云计算、大数据、物联网等技术的迅猛发展，越来越多的研究者们致力于构建融合多源异构数据的推荐算法，以提高推荐系统的性能和用户满意度的研究工作中，取得了一定的研究成果。深度学习（Deep Learning, DL）作为机器学习领域一个重要的研究热点，已经在图像处理、自然语言理解和语音识别等领域取得了突破性进展，已经成为人工智能的一个热潮，为推荐系统的研究带来了新的机遇。强化学习（Reinforcement Learning, RL）作为机器学习领域另一个研究热点，已经广泛应用于工业制造，仿真模拟，机器人控制，优化与调度，游戏博弈等领域。按项目申请书和任务书的计划进度安排，项目组完成了任务书所规定和要求的计划任务。具体为：（1）提出了一种基于图神经网络的门控循环注意力序列推荐模型（GGA），解决了传统序列推荐将序列数据看作成单向顺序依赖的序列，忽略了序列中数据的复杂的转换关系的问题；（2）提出了一种基于图池化循环注意力神经网络的推荐模型（GPGA），较好地解决了序列中存在的噪声信息干扰的问题；（3）提出了两种跨模态特征融合方法，分别是跨模态高层语义特征融合和跨模态全局特征融合。跨模态高层语义特征融合用来结合文本信息的话题特征和图像信息的语义特征，跨模态全局特征融合则用来融合文本信息的句子特征和图像信息的视觉特征，解决了多模态情感特征融合的问题。