基于操作层面过程数据的深度联合认知诊断建模研究

Process data refers to human-computer or human-human interaction data with the time stamp that can reflect the process of problem-solving. Currently, using virtual assessments to capture the process data of students' responses and analyze the potential information contained in it is a new trend to measure the high-order thinking skills or domain-specific key competences in psychometrics. The applicant's previous study has found that the incorporation of item-level process data in cognitive diagnosis can improve the diagnostic accuracy of students' learning status, and play an important role in implementing accurate remedial teaching and promoting students' learning. On this basis, this study intends to explore the analysis method of operation-level process data. First, we will explore a standardized development workflow for cognitive diagnosis virtual assessment tool. Second, we will develop a deep joint cognitive diagnosis model that can jointly analyze multivariate operation-level process data such as operation processes and operation times in a unified scale. The implementation of this project is expected to provide technical support for the development of virtual assessment tools with cognitive diagnostic functions and theoretical support for the analysis of operation-level process data from the perspective of cognitive diagnosis. At the same time, the results of this study will also provide new perspectives for research in related fields such as educational data mining and learning analytics. The applicant's sufficient preliminary research preparation provides the basic guarantee for the successful completion of the project.

过程数据是指带有时间戳的能够反映学生问题解决过程的人机或人人交互数据。使用虚拟测评抓取学生作答的过程数据并分析其中所蕴含的潜在信息是当前心理计量学中测量高阶思维能力或学科核心素养的新趋势。申请者前期研究发现在认知诊断中引入题目层面过程数据可以提高对学生学习现状的诊断精度，对实施精准补救教学、促进学生学习具有重要作用。本项目拟在此基础上，进一步深入研究操作层面过程数据的分析方法：首先，探索标准化的认知诊断虚拟测评工具编制流程；其次，开发可在统一量纲下联合分析诸如操作历程和操作时间等操作层面过程数据的深度联合认知诊断模型。本项目的实施，预期将为编制具有认知诊断功能的虚拟测评工具提供技术支持，为从认知诊断视角分析操作层面过程数据提供理论支持。同时，项目研究成果也将为教育数据挖掘和学习分析等相关领域研究提供新视角。申请者较为充分的前期研究准备为顺利完成本项目提供了基础保障。

过程数据是指带有时间戳的能够反映学生问题解决过程的人机或人人交互数据。使用虚拟测评抓取学生作答的过程数据并分析其中所蕴含的潜在信息是当前心理计量学中测量高阶思维能力或学科核心素养的新趋势。鉴于已有研究缺乏对过程数据深入挖掘与分析，本项目从操作层面过程数据和题目层面过程数据两方面入手，提出了多种过程数据分析方法与模型。本项目重点研究了（1）操作层面过程数据的认知诊断分析方法；（2）多维测验中潜在加工速度的多维性探究及测量模型构建；（3）引入眼动数据的多模态认知诊断模型；和（4）纵向认知诊断测评数据的分析模型。具体而言，首先，针对操作层面过程数据——行动序列，本项目提出了基于题目扩张的诊断分类分析法。该方法实现了使用认知诊断模型分析单一虚拟测评题目中的行动序列数据。其次，针对心理与教育多维测评，本项目探究了潜在加工速度的多维性并提出了相应的联合模型。该模型实现了在多维测评中利用作答精度数据和作答时间数据对多维潜在能力和多维加工速度的同时性估计。再次，针对引入心理学实验仪器的技术增强型测评，本项目提出了一系列可联合分析题目作答精度、题目作答时间和眼动注视点数量的多模态认知诊断模型。该系列模型的提出拓展了联合心理计量模型的数据分析范围，丰富了认知诊断反馈的范围。最后，针对纵向认知诊断测评，本项目提出了一系列纵向认知诊断模型并探究了诸如缺失值和参数估计策略对诊断精度的影响。总之，本项目的研究成果为从认知诊断视角分析过程数据甚至是多模态数据提供了一定的方法学支持。