驾驶情境下基于驾驶员眼动行为的注意机制与模型研究

Existing attention mechanism modeling methods based on eye movements have the disadvantages of complex eye-movement data acquisition, poor precision of attention monitoring and so on, which limit its applications in intelligent driving assistance system. In this research, the principles and the key techniques of deep learning based gaze tracking are employed for studying the solutions to attention mechanism modeling problems in driving scenarios. The research focuses on the following topics: 1. Develop eye-movement video preprocessing method in driving scenarios, then, establish eye-movement video training dataset, which offers data platform for researches in the field of deep learning based gaze tracking in driving scenarios. 2. Develop gaze tracking method based on deep learning. We use the recurrent neural networks to explore the relationship between deep features and gaze directions, and fine-tuning is used to deal with the individual customization for different drivers' gaze tracking. 3. Develop the attention mechanism modeling methods under specific driving behaviors, and hence, the accuracy of attention monitoring will be improved. The aims of this research are to provide novel ideas for solving attention mechanism modeling for drivers and to pave the way for its future applications, which has theoretical significance and practical value.

现有的基于眼动行为的注意机制建模方法存在着眼动数据获取过程复杂、注意力监测准确度差等缺点，阻碍了该技术在智能驾驶辅助系统中的应用。本项目借助基于深度学习的视线跟踪理论及其关键技术，研究驾驶情境下驾驶员注意机制建模问题的解决方案，主要研究内容包括：1、研究驾驶情境下眼动视频的预处理方法，建立眼动视频训练库，为驾驶情境下基于深度学习的视线跟踪研究提供数据平台；2、研究基于机器学习的视线跟踪方法，利用循环神经网络结合上下文信息建立深度特征和视线方向之间的映射关系，并利用fine-tuning更新网络参数，实现不同驾驶员视线跟踪的个性化定制；3、研究特定驾驶行为下的驾驶员注意机制建模方法，以提高注意力监测的准确性。本项目的目标是为驾驶员注意机制建模问题提供新的解决思路，为驾驶情境下注意力监测技术的未来应用铺平道路，因而具有很好的理论意义和实际价值。

本项目对驾驶员眼动跟踪技术以及基于眼动行为的注意机制与模型开展了系统性的研究。立项以来，项目组按照计划书中的预定计划进行研究，取得的主要成果包括：研究中利用视频处理技术构建了驾驶情景下驾驶员眼动跟踪数据集，以此为基础对基于多通道卷积神经网络的驾驶员眼动跟踪进行了研究，提出了面向驾驶环境的眼动跟踪深度模型；研究中完成了驾驶环境下驾驶员眼动跟踪系统的设计，并基于眼动行为数据对特定驾驶行为的注意机制进行了研究分析；项目组成员基于深度学习对桌面式眼动跟踪技术进行了研究，得到了高精度的眼动跟踪深度网络模型；另外，项目组成员还在视频处理、驾驶员手势检测与识别方面进行了扩展性研究。在本项目的支持下，项目组在国内外期刊和学术会议上公开发表学术论文20篇；申请发明专利8项，其中已授权4项；培养硕士研究生7名，其中已毕业2名；多次参加国内外高水平学术会议，积极与国内外相关领域研究人员进行交流与合作。本项目在理论成果、技术成果、人才培养和国内外学术合作交流等方面均已完成了预期研究结果。