基于演化学习的名人识别技术与名人库构建研究

This proposal proposes a novel semi-supervised approach to solve the problem of celebrity identification with the aid of video context by mimicking the behavior of “Baby Learning”. Firstly, a robust kernel multi-task joint sparse representation and classification method combined with the Conditional Random Field model is proposed to assign name to faces/face tracks extracted from the collected celebrity images. Then, we construct a baby learning or evolutionary learning model to do celebrity recognition. That is to say, given limited static images in the early period, the “baby” (computer) is able to build up a weak initial classifier, and when a certain viewpoint (frame) of a real object is confidently recognized, the whole object (video track) is included in the knowledge base (training set) such that the classifier can gradually evolve. The system is closely related to self-training, which, according to previous researches, suffers from “semantic drifting” caused by errors in labeling the unlabeled set. Unlike most previous researches of self-training which have focused on improving the accuracy in selecting the right sample, e.g. cotraining and active learning, this paper focuses on how to improve the error tolerance of the classifier. Instead of treating selected samples as labeled, they are considered to be related samples – an intermediate state between labeled and unlabeled. The concept of Related Sample is incorporated into the well-established maxmargin classifier in a simple but effective way. Finally, we also collected massive celebrity data to construct a massive celebrity dataset managed by HBase database.

目前，多媒体数据随着信息传播速度加快而急剧增加。在这些数据中，体现人们共同关注焦点的名人（影视明星、政治人物等）数据具有很重要的价值。本研究正是针对名人图片视频识别和分析挖掘，旨在提出一种新的基于稀疏表示和条件随机场的人物识别算法以及模拟婴儿学习过程的半监督演化学习模型。同时，针对训练样本有限问题，利用视频上下文信息来解决，并构建海量名人数据库。简而言之，通过模仿婴儿成长的学习过程，在婴儿成长初期，首先给定有限静态图片，建立初始弱分类模型。然后，基于该模型将数据集中获得较确定判别的数据加入到知识库（训练库）中。最后，结合新加入样本，重新演化获得新模型至收敛。具体而言，本研究首先研究如何利用有限样本和多模态稀疏表示方法及随机场理论来构建高效人脸识别算法。其次，利用上下文信息，提出一种新的学习模型（演化学习模型）。最后，利用上述模型，自动采集大量图片视频构建基于HBase的海量名人数据库。

目前，多媒体数据随着信息传播速度加快而急剧增加。在这些数据中，体现人们共同关注焦点的名人（影视明星、政治人物等）数据具有很重要的价值。本项目针对名人图片视频数据识别、名人数据库构建以及相关的应用开发问题，提出了一系列的算法、模型和应用。经过项目组全体成员的共同努力，圆满实现了预定计划。具体而言，通过本项目的建设，实现并完成了以下内容： 1）提出了一种新的基于稀疏表示和条件随机场的人脸识别方法，以及模拟婴儿学习过程的半监督演化学习模型。本研究首先主要研究如何从通用性考虑，利用上下文信息，提出一种新的模式识别学习方式和模型。其次，就具体应用而言，研究如何利用多模态特征，使用多模态稀疏表示方法和随机场理论来构建高效人脸识别模型。与此同时，除了考虑视觉特征外，还考虑音频特征，提出了利用音频特征基于核的多任务联合稀疏表示的人物识别方法。2）为了更好地解决标记数据稀少的问题，引入半监督学习思想。利用视频上下文信息，解决了名人识别和检索，用于在多媒体特征学习和异构数据关联挖掘方面进行了深入的研究。此外，构建了海量名人数据库，利用Spark大数据分析架构，对海量数据集进行处理，提出了新的高效名人识别方案。 3）面向多媒体环境下数据噪声、异构、关联等特点，结合多媒体计算和深度学习相关算法，提出了结合深度学习和传统机器学习算法的多种多媒体学习算法，包括，跟名人识别相关的，如显著区域预测、多媒体字幕识别、基于人物的服装搭配推荐等多媒体分析算法和相关应用。上述研究内容最终以论文、专注等多种形式呈现，包括：出版英文专著1部，发表包括IEEE Trans.期刊论文在内的中科院JCR分区二区和三区论文4篇，国际会议论文6篇，申请中国国家发明专利3项，培养本科生研究生若干等。