基于潜变分析的动态认知诊断研究

Learning means change, and measuring the dynamic change from learning requires an appropriate measurement tool. Most of previous longitudinal research in educational measurement was proposed based on continuous latent variables. However, Cognitive Diagnostic Model(CDM) provides multidimensional and discrete latent variable. To analyze longitudinal data in CDM framework, Latent Transition Analysis(LTA), which initially developed to measure change in dynamic latent variables, was employed and CDM was treated as the latent class model of LTA. In this way, it’s possible to measure the dynamic growth on the multiple cognitive attributes according to the latent transition matrix estimated by the combination of LTA and CDM (LTA_CDM). This research proposed two methods of LTA_CDM, one based on attribute master pattern, the other based on single independent attributes mastery status. In this research, both Monte Carol simulation study and real-data study were planned. In the simulation study, we plan to investigate the accuracy of model recovery and rates of correct classification for both LTA_CDM methods under all different simulation conditions. In addition, we expected to find out the conditions where one method performs better than the other. In the real-data study, we will apply both methods to several different kinds of longitudinal data to demonstrate 1)how to find the typical learning path; 2) how to capture the change in individuals and groups among different time points; 3)how to test the intervention effects and covariate effects.

学习意味着变化，对这种变化的动态测量需要合理的测量模型。以往教育测量领域的成长模型大多是对连续潜变量的追踪研究，而认知诊断模型CDM中的认知属性是多维的，非连续性的潜变量。针对这一问题，本研究选用潜变分析LTA这种专门处理类别潜变量的纵向研究技术，将CDM作为它的测潜类别模型，通过潜变矩阵来检测追踪不同认知属性在学习过程中不同时间点上的动态变化。LTA和CDM的结合为认知诊断的动态研究提供了新的思路和方法。本研究提出了两种LTA_CDM的方法，基于属性掌握模式AMP的潜变分析和基于单个独立属性的潜变分析。通过系统化的模拟研究检验两种方法在各种模拟条件下的估算精度和诊断正确率，并通过比较发现两种方法各自适用的条件。同时，将LTA_CDM模型的两种方法分别应用于几个典型的纵向数据中，演示LTA_CDM如何发现典型性学习路径；如何捕捉学习中的个体和群体变化；如何检验干预效应和协变量效应。

本项目聚焦动态认知诊断，从以下三个方面展开研究：. 1）基于知识追踪模型的动态认知诊断.首先，收集整理知识追踪模型相关文献资料、分析综述知识追踪模型的国内外研究现状及在教育方面的应用，确定知识追踪模型不足之处及改进路线。然后，结合测量学的一些元素，改进了原始的知识追踪模型，包括加入遗忘参数的遗忘知识追踪模型，加入个性化初始概率和学习概率的个性化遗忘知识追踪模型，将学习者按前测表现分段的分段个性化遗忘知识追踪模型。接着通过训练数据集和测试数据集对这些改进模型的预测精度进行了估算和比较，发现改进的模型在预测精度上依次提升。尤其是个性化遗忘知识追踪模型较前面的模型预测精度提升得最多。最后，基于改进后的知识追踪模型，探索教学环境下的应用场景，主要包括学习者学习过程中的课时估算和预测学习者在各知识点上的未来成绩。.2）基于认知诊断模型的动态认知诊断模型.以对高阶认知诊断模型进行改良的纵向认知诊断模型测量学习者的学习增长。该模型的第一第二层与high-order DINA 模型完全一致，第三层假设学生潜在通用能力在不同时间点上的表现是多维正态分布(Multivariate Normal Distribution)，捕捉学生能力的纵向变化。模拟研究和真实数据的演示，验证了方法的有效性。.3）基于过程性数据挖掘的动态认知诊断研究.通过对计算机模拟情境下的日志文件的分析，诊断测试者在问题解决过程中的认知过程和策略。以医科生在计算机模拟情境下收集病人信息，完成诊断任务的过程性数据为例，通过对带有时间戳的日志文件产生的时间序列数据的分析，1）识别区分正确诊断和错误诊断的数据收集行为；2）发现正确诊断和错误诊断在数据收集行为路径上的典型差异；3）通过聚类分析发现不同行为特征、认知策略群体，及其在诊断正确性和诊断效率上的差异。