虚实融合学习环境中自然交互建模技术研究

Augmented Reality (AR) technology allows learners to see the virtual model objects in authentic world. This interactive method enhanced by virtual data not only provides new ways to educators to express learning objects , but also builds an autonomous exploration space with the most close to natural interactions for the learners, which is of great significance to teaching and learning..Our proposal focuses on the relationships between a variety of learning theories and learning environment based on AR technology. We analyze the interactive mechanism of the AR learning environment, and build an interactive model under the AR learning environment, exploring methods to build a seamless learning space. Meanwhile, we explore the significant factors needed to be considered when integrating AR into learning systems so as to make a breakthrough in bringing about the contextualization, immersion and natural interaction with learning media. As an interdisciplinary study, this research meets the requirements of the National Long-term Education Reform and Development Plan (2010-2020) "to renew teaching concepts and improve teaching methods". Achievements of this study can also provide an analytical method for human-computer interaction research in the three-dimensional virtual environment.

基于现实世界、由虚拟数据增强的增强现实展示手段给教育者提供了新的方式来表达学习对象，也用最贴近自然的交互方式为学习者搭建一个自主探索的空间，这对于学习领域很有启发意义。.本课题分析增强现实学习环境的交互机理，描述基于情境感知的可组装适应性学习元件，构建基于认知模型的自然交互及情境协作感知模型，探索无缝学习空间的构造方法，探讨将增强现实技术应用于学习系统要考虑的因素，期望使得学习媒体的情境化、沉浸感及自然交互性方面有所突破。本课题属于信息技术与教育技术交叉学科领域研究，符合国家中长期教育改革和发展规划纲要（2010-2020）“更新教学观念，改进教学方法”的要求，其研究结果也为三维虚拟环境中的人机交互研究提供一种分析方法。

基于现实世界、由虚拟数据增强的增强现实（AR）展示手段给教育者提供了新的方式来表达学习对象，也用最贴近自然的交互方式为学习者搭建一个自主探索的空间，这对于学习领域很有启发意义。.本项目基于三年的研究工作，探讨了情境认知理论和学习活动理论对使用AR 技术的虚拟学习环境的支撑作用，开展了AR 学习环境关键技术攻关，包括摄像机标定、基于尺度空间的高效稳定的特征点抽取及实时跟踪技术、支持可组装的学习元件约束建模、基于认知模型的人机自然交互建模和支持多用户教学的情境写作感知建模等，改善了目前通用的AR捕获算法在光照和交互方面存在的问题。具体说来包括：（1）提出支持元件组合的学习元件约束模型构建方法，同时提出支持元件组合的虚拟实验元件约束识别方法，最后形成基于约束模型的学习元件快速组合方法。（2）分析了交互对象和交互过程的特点，分析学习者的感知区域和交互意图，然后确定交互状态描述方法，并给出基于对象交互状态的学习元件指称归结方法。另外基于以上关键技术，以情境认知理论和学习活动理论为指导，构建了虚实融合学习环境平台及基于WebAR的学习资源创建工具，并在一线中小学进行了实证研究。.在本项目的支持下，课题组发表学术论文14篇，其中SSCI/SCI收录论文3篇，EI/ISTP收录论文9篇；申请国家发明专利2项；培养相关专业硕士生7名，皆已顺利毕业。