事件驱动的学习者行为认知与视频理解关键技术研究

Obtaining the individualized characteristics of learners is the key prerequisite for the realization of the student-centered, precision, individualization and intelligence education, while the behavior is an important basis for analyzing their individualized characteristics. However, in the past decades, it is very difficult to automatically understand learners' behaviors via the computer, due to the little variation, high similarity, frequent occurrence and individual differences of learners' behavior, as well as background disturbing. In order to solve this problem, we will study the key technologies of automatic cognition and understanding of learners' behavior with the introduction of the "event" concept in video description, and suggest some models and methods on cognitive and understanding of learners' behavior based on large data. Our research will focus on: (1) characteristics analysis of learners' behavior in the main learning scenes such as the traditional classroom and the laboratory, and the semantic representation of event triggered by a behavior; (2) event proposal methods based on the spatio-temporal salience and three-dimensional deep network model; (3) event-driven based behavior description with stacked deep recurrent network models; (4) evaluation and verification of key techniques of learners' behavior cognition and video understanding. The fruits of research will benefit to revealing the individualized and general characteristics of learners, which also provide theoretical basis and key technical support for the novel applications of individualized analysis, scientific evaluation and refined management in the modern education science.

获取学习者的个性特征是实现以学生为中心的精准化、个性化和智能化教育的重要前提，而行为是分析学习者个性化特征的重要依据。长期以来，由于行为的动作变化幅度小、相似度高、出现频繁，加之个体差异和背景干扰，使得利用计算机自动理解学习者的行为非常困难。针对此问题，我们拟引入视频描述技术中的“事件”概念，研究学习者行为自动认知与视频理解关键技术，提出基于大数据的学习者行为认知和理解模型及方法，具体内容包括：①传统教室、实验室等主流学习场景中学习者的行为特征分析与行为触发的事件表示；②利用时空显著性和三维深度网络模型，研究行为触发的事件建议方法；③基于事件驱动和堆叠深度递归网络模型的学习者行为描述方法研究；④学习者行为认知与视频理解关键技术的评估与验证。研究成果可用于揭示学习者的个性化特点和共性特征，为现代教育科学中学习者的个性化分析、科学化评价和精细化管理等新型应用提供理论基础和关键技术支撑。

获取学习者的个性特征是实现以学生为中心的精准化、个性化和智能化教育的重要前提， 而行为是分析学习者个性化特征的重要依据。本项目以学习场景中的学习者行为为研究对象，研究学习者行为认知及视频理解关键技术，内容及成果包括：.(1)构建标准化考场、教室及实验室场景下的学习者图像数据集、学习者人脸检测和识别数据集，提出基于SSD网络/SSD-DU网络的考生快速检测方法、基于轻量化深度网络的考场多目标实时视频检测方法、基于级联注意力模块与点监督机制的全卷积考场目标检测模型、实时人脸检测模型、实时人脸识别模型和基于人脸识别技术的学习场景实时身份认证方法等一系列模型，实现各类场景下不同尺度的学习者检测与人脸识别，为后续建立学习者行为描述模型奠定基础。.(2)构建教室及实验室场景下的学习者行为与姿势数据集，提出基于TC-SSAD网络的视频时序动作定位方法、双流完整性建模弱监督时序动作检测方法、学习场景中行为识别方法、自顶向下的姿态估计方法、拥挤场景中人体轨迹预测方法、基于Transformer动态场景信息生成对抗网络的行人轨迹预测方法和基于社交关系模型的学生课堂就座分布预测方法等一系列模型，实现学习者行为的识别、定位与检测、事件驱动的行为描述以及对学习者行为轨迹及社交关系预测，为后续基于事件驱动的学习者行为描述奠定基础。 .(3)构建标准化考场、教室、实验室场景的图像单句描述及密集描述数据集，提出基于CNN+LSTM的考试场景下学生行为描述方法、基于CNN+LL+LSTM的学生行为密集描述方法、基于YOLO+LSTM的学生行为密集描述方法、基于JEDDi-Net网络的事件驱动学生行为描述方法和基于改进BMN和BMT的视频密集描述生成模型等一系列模型，实现事件驱动的学生行为描述，为后续基于语义的学习者行为分析奠定良好的基础。.(4)基于上述学习者行为分析描述结果，完成学习者的个性化特征和共性特征的检索与可视化，为现代教育科学发展中学习者的个性化分析、科学化评价和精细化管理等新型应用奠定基础。