基于认知机理和语义信息的交互式人脸检索

本课题旨在研究人机人脸认知机理、人脸图像语义信息分析和目标检索相关反馈技术，并应用于交互式人脸检索。本课题研究涉及到面向提高人机人脸认知一致性的特征表示、基于认知机理的相关反馈问答方式设计、基于语义信息的意识人脸检索、人脸语义信息相关性研究及应用、相关反馈模型设计、特征空间中测度理论等关键问题，属于信息科学和认知科学交叉性较强的研究课题。从理论角度而言，本课题深入研究人机人脸认知一致性、人脸图像语义信息表示和应用以及意识目标检索技术。从应用角度而言，本课题为人脸认知和交互计算提供了丰富的数据和算法，检索理论成果可以推广到人脸图像以外的其它意识目标检索应用中。本课题研究内容新颖，求解需要结合认知学知识进行理论和算法上的探索，对意识目标检索一类问题的求解和应用具有开创性和实用性双重意义。

本项目研究围绕交互式人脸图像检索展开。交互人脸检索参照意识脸像通过相关反馈和人机交互机制在大型人脸图像库中快速锁定目标。作为人脸图像检索的拓展，本项目依赖人机人脸认知机理、脸像语义信息和意识目标检索技术三方面研究，涉及了人机交互、图像理解和信息检索三个不同研究方向，属于信息科学和认知科学交叉性较强的研究课题。. 本项目研究过程中将主要研究内容凝练成了面向提高人机人脸认知一致性的特征表示、面向提高人机人脸认知一致性的图像测度分析、基于认知机理的相关反馈问答方式设计、人脸语义信息分类及相关性研究、基于语义信息的交互式人脸检索五个关键问题。本项目研究采取了由浅入深的研究方式，主要取得了以下成果：（1）采集了接近40000条由目标、候选集和用户反馈组成记录的人机人脸认知一致度数据集，这些数据不仅面向交互检索服务，而且在人类人脸认知能力分析中也具有重要价值。（2）通过大量人机认知实验，提出了人机认知一致度的量化方法衡量语义鸿沟。（3）提出了特征选择稳定性衡量的标准。（4）提出了基于稀疏表示的特征选择算法，并且应用到了人脸图像分析的多个识别任务中。（5）针对交互式人脸检索，提出了基于相关熵的测度学习方法和基于超图学习的测度学习方法，有效提高了人机人脸认知一致度。（6）提出了基于多任务学习的人脸图像属性分析，提出了基于原型学习的人脸图像属性表示，这些方法有效提升了人脸语义信息分类的准确性。（7）结合人脸属性、图像特征和特征测度研究了人脸语义信息相关性，并且把相关结论应用到了交互式人脸检索中，算法的收敛速度获得了显著提升。所实现的基于属性分析的交互检索系统在LFW子集（含3683人）上把随机浏览的平均检索次数从116次降为21次，加速比达5.50。（8）本项目在人脸面部特征点检测方面开展了研究，构建了一个规模超过30000幅图像的人脸面部特征点标定库，在研究过程中和相关应用产生交叉，为把本项目研究成果推向应用作准备。.本项目研究在理论成果、数据积累、系统原型、论文发表、专利申请、人才培养和学术交流合作等各个方面均达到了预期目标。本项目研究涉及到多学科交叉，为人脸认知和交互计算提供了丰富的数据和算法，对意识目标检索一类问题的求解和应用提供了有价值的积累。