大数据环境下基于多源数据协同的个性化服务关键技术研究

It is the important method of personalized precise-service to solve the problems of information overload and resources lost in big data environment. Until now, the research for personalized service technologies based on multi data sources is also rarely. On the basis of our previous researches about cross-domain coordination mechanisms and personalized service technologies, the project proposes effective coordination mechanism of multi-source data based on supply chain coordination theory. An adaptive ETL tool is developed which can self-build the data extraction method according to the domain characteristics and item characteristics of each data source, and a dynamically updated user model based on dynamic preference logic is created by using of Scribe and multi-classifier fusion algorithms to realize the user information real-time processing and effective fusion. A novel collaborative filtering recommendation algorithm under multi-sources data coordination environment is presented which can effectively solve the cold start problem and data sparse problem of the current collaborative filtering algorithms. A personalized recommendation algorithm of multi-dimensional semantic vector space model is proposed by integrating the field scenario of each data source to multi-dimensional semantic model. A semantic intelligent and automatic integrated service merging technologies is proposed, which can provide one-stop personalized service for users. Finally, a personalized intelligent recommendation prototype system is design and implement based on multi-source data coordination. The research will be the new development of personalized precise-service theories and applications.

个性化精确服务技术正成为解决大数据环境下日益严重的信息过载和资源迷向问题的重要途径。目前，基于多数据源的个性化服务技术研究还很少。本项目拟在我们前期对跨域协同机制、个性化服务技术等研究的基础上，应用供应链协同理论，提出多源数据有效协同的机制；开发根据各数据源领域特征及项目特征自主构建数据抽取方法的自适应ETL工具，并应用Scribe和多分类器融合算法实现用户信息实时处理与有效融合，建立一种基于动态偏好逻辑的动态更新用户模型；提出一种多源数据协同环境下的协作过滤算法，有效解决当前协作过滤算法数据稀疏性和冷启动问题；将各数据源领域情景信息融入多维语义模型中，提出基于多维语义向量空间模型的个性化推荐算法；提出一种具有语义智能，能够实现自动融合的服务融合技术，为用户提供一站式综合服务。最后，设计并实现一个基于多源数据协同的个性化智能推荐原型系统。该项目研究是对个性化精确服务理论与应用的突破。

个性化精确服务技术正成为解决大数据环境下日益严重的信息过载和资源迷向问题的重要途径。本项目在我们前期对跨域协同机制、个性化服务技术等研究的基础上，提出多源数据有效协同的机制，重点解决了大数据环境下基于多数据源协同的个性化服务关键技术。.1、针对传统协作过滤推荐算法在相似性度量、处理稀疏数据上存在的不足，提出一系列大数据环境下改进的协作过滤算法。.2、针对文档中词汇突发现象，提出一种面向词汇突发的Dirichlet组合多项式连续时间主题模型；提出一种融合词向量特征的双词主题模型以处理短文本。.3、针对医院里的健康医疗数据高度复杂的问题，提出一个能够整合来自不同数据源的异构健康数据的临床支持决策框架，以更有效地利用健康数据，是大数据医疗数据下一种具有创新性的成果。.4、提出使用针对疫苗数据的数据挖掘协作算法以制定接种疫苗的个性化推荐系统。.5、根据电子病历数据中的类非均衡问题，提出一个将规则化的集成方法结合到聚集方法的多标签学习算法；通过分析标签特定特征的选择中存在的问题，提出了一种综合利用标签空间中的相关信息和特征空间中的相关信息学习标签特定特征的多标签分类算法（LSF-CI）。.6、提出了一种新的fb-kNN推荐算法，并将其应用诊断和治疗方案的推荐。.7、针对基于循环神经网络建模电子病历数据的局限性，提出一个综合双向循环神经网络的条件随机场的算法；为了识别实体和抽取关系，提出一种综合双向长短时记忆网络与CRF的方法。.该项目的研究具有前瞻性，应用大数据环境下的多源数据并深入研究多源数据协同下的协作过滤算法解决了传统个性化服务技术瓶颈，进而为用户提供个性化精准服务，具有十分重要的研究价值和实践意义，研究成果将是对相关理论与应用的突破。项目取得了一系列的研究成果：发表学术论44篇，其中SCI收录11篇，EI收录24篇；申请发明专利4项，获得授权发明专利2项、软件著作权2项；举办国际会议1次；培养研究生13人，已毕业10人。