基于GPU的搜索引擎数据组织和分布技术研究

As one type of many-core CPU, GPU has been used in many high performance computing applications. But GPU can not be applied widely for lacking of high throughput computing applications. Since there are millions of queries will be treated by search engine every day, search engine is computing and I/O intensive application. The object of this project is to optimize search engine I/O ability based GPU+SSD. We plane to do some works about data organization , data processing and data distribution . We will give a index compression algorithm which no online decompression; using search engine's log to improve the data distribution; hardware(GPU, SSD) aware cache algorithm. These are also the innovative ideas of this project. Since many cores are the future trend. our works will provide common technologies for internet enterprise.

作为一种新型众核处理器，GPU已经被广泛应用到高性能计算领域。但对I/O密集型应用，还缺少好的GPU示范应用。搜索引擎每秒需要处理成千上万个查询请求，是I/O和计算都密集的典型应用。课题工作的目标是在新的GPU+SSD硬件平台上，结合搜索引擎的特点，优化搜索引擎的I/O处理能力。具体来说，课题计划从数据组织、数据处理和数据分布三个方面着手：设计一种不需解压直接计算的索引压缩算法；设计利用搜索日志信息的数据划分方法；设计针对GPU和SSD等硬件特点的Cache算法。这也是课题工作的主要创新之处。众核处理器是CPU的未来发展方向，课题的工作成果可以作为众核平台上互联网应用的共性技术支持。

本课题针对搜索引擎这一典型的互联网应用，设计适合GPU等新硬件平台特点的搜索引擎基础数据结构和算法，以充分发挥GPU等硬件的计算、存储和I/O能力。针对上述目标，具体来说，课题研究了适合搜索引擎的基于上下文无关文法的索引组织方法，发表在SIGIR 2016；设计适合GPU的数据调度算法，发表在ICA3PP 2017、ICPADS 2017上；设计了面向SSD特征的搜索引擎list缓存算法，系列成果发表在SIGIR2013、TOIS 2014上。在课题研究期间，共发表相关学术论文17篇。其中，CCF A类会议或期刊7篇，CCF Ｂ类会议或期刊6篇。培养博士生２名，硕士生7名，完成了课题预期研究目标。