搜索引擎在线算法的GPU优化关键技术研究

搜索引擎服务是最重要的互联网服务之一，它必须能够在秒级内完成用户查询请求并返回给用户所需的结果。为了达到这一要求，最新、最好的IT技术都会被应用到搜索引擎中来。本课题的研究动机正是来自搜索引擎企业的实际需求：如何降低单个搜索服务器的CPU负载。针对这一问题，本课题的工作是研究一种CPU与GPU混合方法来优化搜索引擎在线算法，通过将大计算量任务迁移到GPU上来达到降低CPU负载的目标。在具体方法上，课题提出了适合于GPU的数据压缩、索引组织、批次处理和Cach等方法，并将其应用于归并计算、分数计算和TopK等大计算量算法，从而达到降低服务器CPU负载的研究目标。课题的成果不但能够直接应用于搜索引擎服务，而且对于有类似需求的计算密集型应用也具有重要的参考价值。

搜索引擎是最重要的互联网基础服务之一，它必须能够实现每秒处理成千上万的用户并发请求。为此，最新、最好的IT 技术都会被应用到搜索引擎中来。作为一种新型众核处理器，GPU已经被广泛应用到高性能计算领域。但对I/O密集型应用，还缺少好的GPU示范应用。本课题的研究工作是如何利用 GPU的高性能来解决搜索引擎在线服务的高计算负载问题。课题的主要工作包括：..1) 提出了适合GPU的搜索引擎索引求交算法及其组织和存储方式。.在谷歌、百度等在线上服务器部署SSD后，服务器的I/O能力大幅提高，但CPU的处理能力成为了系统新的瓶颈。如果能将部分计算任务迁移到GPU上完成，一方面可以加快处理速度，降低用户响应的等待时间；另一方面，可以释放更多CPU资源用于其他任务的处理，提高系统整体效率。课题工作的主要贡献是：发现了倒排索引分布的线性特征，并据此设计了适合GPU的线性回归索引求交和压缩算法。实验表明，该算法取得了最多22倍加速比。..2) 设计适合新型硬件架构的搜索引擎缓存算法。.课题研究的是GPU+SSD平台上List Cache机制的设计,希望通过有效的Cache算法，实现数据从“硬盘-内存-CPU”的传统流动方式到“SSD-内存-GPU”的转变。课题工作的主要贡献是：发现在SSD平台上，搜索引擎原有的最优List缓存算法不再是最优的。此外，之前的研究显示，Document Cache能有效提高性能，但我们的工作表明，使用SSD后，摘要Cache更能够显著提高系统性能。课题工作对相关领域研究的启示是：GPU、SSD等新的硬件平台上，原有的算法可能需要进行改进和调整。..3) GPU计算技术在其他领域的应用。.课题组除了将GPU计算技术应用在搜索引擎算法的优化方面以外，还与生命科学领域研究人员合作，将其应用到了生物信息学领域。主要贡献是：大幅加速了MrBayes的核心算法，使得原本需要使用集群计算机的计算任务在一台装有多GPU的PC服务器上就可以完成，实现了生物学家的“桌面超级计算”。..课题组在完成科研任务的基础上，产出了较为丰富的科成果：共发表论文15篇，其中CCF推荐A类会议论文2篇，B类会议论文4篇，SCI一区论文1篇，SCI二区论文2篇。完成博士学位论文1篇，硕士学位论文5篇。