基于共同认知结构的测验等值研究

Equating is necessary for large scale assessment projects, such as National College Entrance Examination, TOEFL, GRE etc. The usually used equating designs are always based on common items or equivalent subjects. But the traditional equating designs have many weakness, for example, equating design based on common items can’t guarantee the security of the examination, and also has low efficiency. For the equating design based on equivalent subjects, there always exists exercise effects or fatigue effects.. Based on the analysis of the equating hypothesis proposed by Lord(1980), we proposed a new equating design method. The new equating design is based on common cognitive structure. Cognitive structure is a latent concept, it refers to the knowledge or skills that required by human beings when they solving problems, such as responses to the items in an examination. Relative to the items or subjects, cognitive structure is a latent and more robust trait. So it has the potential to guarantee the security of the examination, and also the robust of the equating results.. Reference to the methods under item response theory (IRT) and cognitive diagnostic assessment theory (CDT), this project will focus on study the equating design mode and parameter transformation mode based on the common cognitive structure. Also, we will study the main factors that affect the equating results.. Based on the common cognitive structure equating design method, we hope can find an valid way to equating not only the observed scores, but also the IRT parameters and CDT parameters.

等值是大规模测试评价项目中的必要过程。传统的基于测验内容和被试样本的等值设计模式存在如安全性、练习效应和难以获取等不足。通过对等值的基本假设进行分析，本研究试图探索基于共同认知结构的测验等值设计模式及其等值关系的计量学转换模式。. 认知结构是被试完成任务时应具备的认知成分和加工技能，是存储在头脑中的知识结构，是潜在的、精细的且较稳定的特质。基于共同认知结构的测验等值模式，将有可能为保证测验等值的安全性和精确性提供一条更加合理的途径。. 本研究借鉴项目反应理论关于等值的研究模式和认知诊断评价理论中的相关概念和技术，通过逻辑分析和模拟实验的方法，对基于共同认知结构的测验等值的理论、技术路线、等值媒介、计量学转换形式及各关键影响因素进行系统研究，以期在解决已有等值设计不足的基础上，实现题目参数、题目属性参数、被试水平参数、被试属性掌握模式参数、真分数和观察分数的有效等值。

测验是大规模学习诊断和评价的重要方法和手段，测验结果的可比较性是评价工作中的一个重要内容，等值的目的就是解决测验结果的可比较性问题。传统的测验结果比较方法需要通过共同题或共同被试来实现，这类方法的要求在很多实际评价工作中无法达到。本研究主要是基于共同认知结构基础上解决测验结果的可比较性问题。. 本研究的内容主要包括基于共同认知结构的测验结果比较方法的基本逻辑分析和影响因素分析、具体的实现方案和初步的应用效果。测验结果比较最基本的要求是评价了相同的心理特质，而以认知诊断评价理论为基础的潜在认知结构分析是一种从根本上解决测验结果比较问题的方案，只要不同测验测量了相同的潜在认知结构即可以进行比较。基于共同认知结构的测验结果比较方法是一种新的解决方案，新的比较方法需要结合认知诊断评价理论中的潜在认知结构分析方法和项目反应理论的测验分析方法。. 整体研究结果表明：首先，基于共同认知结构的测验结果比较方案提供了一种全新的、初步证明有效的途径。该方案是可行的、有应用前景的。其次，与传统的测验结果比较方法一样，基于共同认知结构的测验结果比较也需要保证测验之间的信度水平是一致的。测验间信度水平的一致性是影响基于共同认知结构测验结果比较合理性的最关键因素，题目数量、潜在认知属性数量和结构模式也是重要的影响因素。