基于面部视频的疲劳状态分析与理解

疲劳状态分析与理解的目的就是要赋予计算机一定程度的对人类疲劳状态的感知能力。通过获取面部的各种特征信息，建立疲劳状态的计算模型，研究疲劳状态特征的分析、提取和理解的方法。该问题的研究对于促进信息技术在人类生活中更深入的应用具有重要意义。.本项目将在已有相关研究的基础上，着重针对非理想光照条件下的视频序列中疲劳状态识别问题展开理论和方法的研究，围绕视频图像光照的归一化处理，疲劳状态特征的表示方法，人脸高维数据降维和疲劳状态特征的提取方法，疲劳状态的多特征融合识别等关键问题，探索疲劳状态的计算模型和计算方法。尤其研究基于图像集合和具有动态、时序特性的驾驶员状态信息的表示、分析与识别，结合先验知识，研究疲劳信息在特征层和语义层融合识别的理论与方法，从而提高相应的技术与系统对于疲劳状态信息的处理效率和准确度。项目的最终目标是实现一个原型系统：基于视频信息的多光照条件下疲劳状态分析与识别。

多数已有的疲劳识别方法本质上利用疲劳的单个面部图像中的视觉特征进行识别，是基于空间信息的方法。这些方法没有建模疲劳的运动特性，对视频中一帧一帧的图像进行识别没有利用时间上的信息。. 本项目以人的面部视频为研究对象，从疲劳状态的面部表现特点和视频图像的时序相关性特点出发，研究了面部视频数据采集、处理方法，建立了面部疲劳状态的视频数据库；研究了疲劳状态的静态、动态特征表示方法，提出了多特征信息融合策略，构建了疲劳状态的多特征融合表示模型；利用视频信息的时序特性，提出了基于PCA的疲劳状态整脸时序表示特征，并采用HMM对时序特征进行分析和理解；发展了融合多种特征的疲劳状态时序特征表示、分析、理解的方法；构建了疲劳状态的动态、多尺度特征表示计算模型。. 本项目以基于视频的目标分析与理解中的关键基础问题为重点，以建立新的特征表示和分析方法为目标，在研究视频特点的同时，发展新的特征表示、融合、分析理解方法。本项目的成果不仅对面部视频中表情分析与理解的研究具有重要意义，而且能够发展具有一般意义的相关理论方法。. 经过三年的努力，已全面完成计划的各项任务。在国际国内期刊发表(含已录用)论文12篇，其中在国际期刊发表论文10篇，国内期刊发表论文2篇，SCI刊源7篇，在本领域的主流国际学术会议上发表论文6篇。培养硕士博士研究生8名。申请国家发明专利5项，其中授权3项。