查询响应时间预测中查询交互因素的研究

Predicting query response time is a fundamental issue for many tasks related to managing database systems. The accuracy of current models for predicting query response time is at most 30%. The latest researches suggest that to achieve high accuracy of prediction of query response time, query interactions have to be taken into consideration, in addition to modeling the process for executing the query. There exists uncertainty of query interactions. This project takes two steps to build a accuracy model. The first step is to determine the major factors and reveal the mechanisms of query interactions, which greatly affect the accuracy of prediction of query response time, through experimentally analyzing the statistics of the concurrent processes, which have to do with query execution time. The second step is to choose appropriate modeling techniques to modeling the factors and mechanisms revealed in the first step, and synthesize them into an accurate prediction model. Specifically, this project investigates two important issues: 1. Determine the amount of the change of resource requirements of a query caused by query interactions by combining analytical modeling techniques and experiment driven modeling. 2. Manage the uncertainty caused by query interactions by introducing random variables to describe the resource requirements, which allow the probability distribution theory applied. It is expected that the accuracy of the final model is improvement by 20%.

准确预测查询响应时间是许多数据库系统管理任务的基础。目前的各种预测模型受建模方法单一的限制，对影响查询响应时间的预测准确度的因素描述不够全面，导致预测准确度不高。最新研究揭示，准确预测查询的响应时间不仅要考虑该查询执行的过程，还需要考虑与其并发运行的其它查询对其执行的影响——查询交互。本项目试图通过实验，观察查询执行过程中并发执行的各种进程，特别是其它查询进程与查询执行时间相关的统计数据，找寻查询交互影响查询响应时间预测准确度的具体因素。在此基础上，针对不同的因素，选用恰当的建模技术，经过综合建立查询响应时间预测模型。本项目重点研究两个问题：1、查询交互的分类和度量方法。2、对并发执行的查询之间存在的交互作用，运用分析建模和实验驱动建模相结合的方法，定量研究查询交互所导致的查询对资源需求的改变，在模型中体现查询交互的作用，争取在预测准确度上有所突破。

准确预测查询响应时间是许多数据库系统管理任务的基础。数据库系统作为应用的后台，通常并发运行用户提交的查询，并发运行的查询共享资源，产生竞争或合作，被称为查询交互，是影响查询响应时间的主要因素。目前的主流预测模型没有或者不把查询交互作为主要因素，造成预测精度不够准确。项目试图以查询交互作为建模考虑的主要因素，研究建立查询响应时间预测的模型的方法。为此，项目主要开展了四个方面的研究：查询交互建模技术数综述、查询交互度量、查询响应时间建模和模型应用。.查询交互建模技术数综述：对各类预测查询响应时间建模的方法进行总结归纳，重点对涉及到查询交互因素的建模技术进行分析总结，为查询查询响应时间建模提供具体的研究指向。目前的查询交互建模技术大致分为分析模型和统计模型。分析模型依据查询计划及其操作的成本进行建模，通过简化资源争用细节，降低复杂度，模型的准确率难以提高；统计模型通过采集样本，拟合特定的模型函数，预先确定的模型函数、采样本的选取限制了模型的精度。这些模型的精度受限的原因是没有把查询交互作为主要因素纳入模型中。.查询交互度量：既然查询交互是查询响应时间建模的主要因素，查询交互度量是把查询交互纳入模型的必然要求。项目从最简单的查询交互——两个查询之间的查询交互着手，提出查询交互的度量方法，然后对该度量方法进行推广。提出Query Rating——一个查询受另一个查询影响的程度，以及Query Rating Vector——一个查询与其它查询交互的特征。以它们为基础实现对查询本身交互特性的度量，以及查询组合中总体查询交互程度的度量。.查询响应时间建模：在查询交互度量的基础上，采用统计建模的方法提出预测查询响应时间的统计模型及其样本优化采样方法；以查询组合查询交互相似性为基础提出预测查询响应时间的相似性模型。随着深度学习技术的发展，我们预计采样深度学习网络可以进一步提高预测查询响应时间的精度。.查询调度算法：采用提出的模型，提出了典型OLAP场景下的查询调度算法。在相似性模型基础上，提出可变查询组合情境下的查询响应时间预测问题：一个查询组合中的查询通常不会同时开始，同时结束，一个查询的执行过程会在若干个查询组合中进行。对此，运用相似性模型，提出查询响应时间的分段预测方法。.项目通过上述研究，达到了以查询交互为主要因素的查询响应时间的建模，提高了模型精度。