支持互联网级应用的大规模数据库系统研究

With the development of Internet and computer technology in recent years, new Internet application systems continue to emerge, whose data generally have characteristics of variety, large-volume and high-growth. The gap between the demand of emerging Web applications and traditional database management system as well as the new NoSQL systems brings new search challenges to researchers and developers in data management field. To meet the needs of Internet application systems for large-scale data management, including scalability, availability, high performance, low cost and efficient implementation, there is an urgent need for us to explore new theory and methods for large-scale Internet data management, design new concepts, algorithms and techniques to address the problems existing in the current database management systems...In this project, we mainly focus on the key techniques for large-scale Internet data management systems, including system architecture design, data storage and organization, query processing technique and transaction management policy,etc. Based on this project, we strive for world-leading academic achievement in the aforementioned research areas, meanwhile implement high effective and reliable data management prototype system to support large-scale Internet data management and verify the new theory and technique proposed in the grant application.

近年来随着网络与计算机技术的发展, 新兴互联网应用系统不断涌现，其产生的数据往往具有多样性、海量性和高增长性等特点。传统数据库系统和新的NoSQL系统所表现出来与当前互联网应用需求之间的差距，给数据管理领域的研究和开发人员提出了新的研究课题。为满足互联网系统对大规模数据管理的需求，包括可扩展性、可用性、高性能、低成本和高效开发等，迫切需要我们探索大规模互联网新型数据管理系统的理论和方法，设计新的概念、算法和技术，来解决当前数据库管理系统中存在的问题。本项目申请针对此重要课题展开研究，具体研究内容包括数据库管理系统架构设计、海量数据存储和组织、海量数据查询处理、事务管理机制等。通过此项目研究，我们力争在上述研究领域取得国际领先的学术成果，同时在理论研究的基础上研制能够支持大规模互联网数据的高效可靠数据库管理系统，验证本项目研究中提出的新理论和技术。

为满足互联网系统对大规模数据管理在可扩展性、可用性和高性能等方面的需要，课题研究大规模互联网新型数据管理和分析的理论和方法，比如大规模数据存储和组织、查询处理和事务管理机制等。课题组在如下3个方面开展研究工作。在大规模数据的查询和事务处理机制方面，提出了一种新的结合数据处理和逻辑控制的高效执行优化方法，新的缓存管理方法提高数据访问效率，新的图节点相似查询方法，和新的并发事务处理机制。在大规模图数据管理技术方面，提出了新的分区感知的图计算引擎，大规模图数据动态划分方法，子图检测和列举方法。在社会化媒体数据的管理和分析方面，提出了位置内容感知的推荐方法，时序背景感知的用户兴趣建模和推荐方法，信息传播发现框架，动态数据实时分析方法。 ..基于上述研究进展，发表论文37篇，其中CCF A类论文21篇（包括 TODS 1篇、TKDE 2篇，TOIS 3篇，SIGMOD 9篇、VLDB 3篇、ICDE 2篇、KDD 1篇、AAAI 1篇）；获得专利授权6项；研究成果在腾讯公司得到应用，取得良好应用效果。在课题执行期间，培养博士9名（毕业6名）和硕士5名（毕业4名），其中两名博士论文获“北京大学优秀博士论文”，多名学生获得“微软学者”、“Google奖学金”、北京大学信息学院“研究生学术十杰”等荣誉。