融合实体特征和序列信息的用户行为建模方法研究

Modeling on user behaviors is an active branch in information retrieval and data mining. In this research area, sequential behaviors analysis is a hot issue. It is closely related with the research of basic applications, such as the recommendation systems and behavior prediction, raising attention and application in academia and industry. In this project, we focus on entity feature fusion and sequence modeling, combining with the newest research progress in deep learning and natural language processing. The main problems we investigate in this project are as follows: (1) Modeling on user features and behaviors. How to effectively model user features and heterogeneity behaviors based on modeling users sequential behaviors with recurrent neural networks. (2) Fusing item features. By adding rich project information, we can solve the problem of lack of ability of latent vector, and effectively deal with cold start. (3) Sequential behavior modeling. To better extract important features and long sequence dependence, we employ the attention and memory mechanism.

用户行为建模是信息检索和数据挖掘领域里较为活跃的研究分支，其中面向用户序列行为的建模成为了近年来的研究热点。它与推荐系统、行为预测等应用基础研究密切相关，在学术界和产业界受到广泛关注。本课题针对用户序列行为中的实体特征与序列建模这两块开展研究，引入深度学习、自然语言处理等领域的最新成果，深入研究以下三个方面的问题：（1）用户特征和行为建模，在循环神经网络建模用户序列行为的基础上，如何有效建模用户特征和异质行为；（2）项目特征的融合，引入丰富的项目特征信息，解决项目隐变量表达能力不足的问题，同时有效缓解冷启动；（3）行为序列建模，引入注意力与记忆机制，有效提取序列中的重要特征并且较好的把握长序列依赖关系。

用户行为建模是信息检索和数据挖掘领域里颇为重要的研究分支，它在推荐系统、行为预测等诸多领域有着大量的应用需求。但是针对用户行为序列建模过程中的序列分析技术，现有方法都面临着如何有效提取序列重要特征和如何解决长周期依赖两个重要问题。.本项目针对用户序列行为中的实体特征与序列建模这两块开展研究，引入深度学习、自然语言处理等领域的最新成果；深入研究以下三个方面的问题：（1）用户特征和行为建模，在循环神经网络建模用户序列行为的基础上，有效建模用户特征和异质行为；（2）项目特征的融合，引入丰富的项目特征信息，解决项目隐变量表达能力不足的问题，同时有效缓解冷启动；（3）行为序列建模，引入注意力与记忆机制，有效提取序列中的重要特征并且较好的把握长序列依赖关系。.其相关研究成果在国内外重要学术期刊和会议上发表学术论文共计20篇；论文被广泛引用并受到同行较好的评价，谷歌学术2021年年度引用超过1300次。申请国家发明专利6项。围绕“融合实体特征和序列信息的用户建模的一整套模型理论和算法研究”撰写一部学术专著《面向分类用户个性化需求的科技大数据精准服务》。研究成果中的图网络文本分类算法和特征交互图神经网络作为基准算法被华为昇腾Ascend、华为伏羲Fuxi发布，其中华为昇腾资助30万横向支持Texting和SR-GNN开源。