组合测试用例的生成及演化技术

As a complex logic system, software may be affected by many factors and the interactions among these factors. These factors may include system configurations, internal events, external inputs, and etc. Combinatorial testing is a practical software testing approach, which could detect the faults that triggered by the interactions among factors in software systems with small number of test cases. For the processes of software testing and software debugging, this project will study several problems in combinatorial testing, including the model of combinatorial testing, the test case generation techniques, the test case evolution techniques, the fault localization techniques based on combinatorial testing, and etc. These techniques could work as the following process: Firstly, generate and run combinatorial test cases. If there are failed test cases, we localize faults based on the results of combinatorial testing. Finally, utilize information, which obtained from the processes of privious testing and debugging, on the test case evolution in the regression testing. Here in the combinatorial testing-driven fault localization, additional test case generation and evolution help us to filter fault schemas and improve the precision of the results of fault localization. Therefore, combinatorial test case generation and combinatorial test case evolution may be circularly in the process of software testing and debugging. And such a cycle process will improve the quality of software iteratively.

软件系统是一个复杂的逻辑系统，很多因素都可能影响软件系统的正常运行。除了单个因素之外，这些因素之间的相互作用也可能对系统造成影响。组合测试作为一种科学、有效的软件测试方法，可以使用较少的测试用例有效地检测软件系统中各个因素、以及它们之间的相互作用对系统产生的影响。本项目面向软件测试和调试过程中的特定需求，对组合测试中测试用例的生成及演化技术进行深入研究，具体研究内容包括：组合测试模型、组合测试用例的生成、组合测试用例的演化、以及组合测试驱动的软件错误定位等。上述活动的主要流程为：首先生成测试用例集进行测试；若发现错误，则开展测试驱动的错误定位；测试和调试所得的信息可用于指导下一轮回归测试中测试用例的演化。其中，错误定位的核心问题又在于附加测试用例的生成和演化。在测试和调试的过程中，测试用例的生成与演化工作可能会循环反复进行，从而推动软件向质量提高的方向逐渐演进。

组合测试是一种重要的软件测试技术。本项目对组合测试技术进行了深入地研究，具体研究内容包括测试用例生成问题、测试用例演化中的优先级问题、测试驱动的缺陷定位及缺陷特征问题等。此外，通过对具体案例中软件缺陷所对应的极小故障模式分布规律进行研究，定量地分析了不同强度组合测试模型的在该案例中的错误检测概率。通过对以上四个方面问题的深入研究，确立了一套涵盖组合测试模型选择、组合测试用例生成、组合测试用例演化、测试驱动的缺陷定位等方面的组合测试方法论。主要的研究工作总结如下：.（1）组合测试模型。对固定强度组合测试在布尔规格测试中的错误检测能力进行定量分析，分别计算了强度为2、3、4的组合测试用例集对于不同类型错误的错误检测概率，其结果可为组合测试模型的选取提供参考。.（2）测试用例生成。针对固定强度组合测试中的高强度组合测试用例生成问题（组合覆盖强度>2），使用基于解空间树搜索的方法生成测试用例集合；针对新的可变强度组合测试模型中的测试用例生成问题，使用两种基于贪心策略的算法来生成测试用例集合。.（3）测试用例演化。针对测试用例演化中的测试用例优先级问题，对其度量标准问题进行了研究。指出现有度量标准存在的问题并对其进行扩展改进，并进一步针对一些非典型性的测试用例优先级应用场景提出了一些列新的度量标准。.（3）测试驱动的缺陷定位。提出一种用于描述缺陷所对应的输入域特征的概率故障模式模型，可更高效、更精确地定位缺陷所对应的的输入域特征。使用极小故障模式模型，对布尔规格测试中几种典型错误类型的输入域特征进行分析。