面向海量Web图像的层次式多任务物体识别方法研究

The problem of object recognition from massive web images is a hot topic in recent years, and more and more attention has been paid by academia and industry. Compared with the traditional classification methods based on the low-level visual feature, using the multi-layer neural networks and softmax classifier, and end-to-end learning the multi-level features can effectively improve the accuracy of object recognition. However, there are two questions remains: 1) only the high-level features of the network are used for the training of classifiers, and the hierarchical features of "coarse to fine" are not fully utilized to train the classifier. 2) The softmax classifier itself cannot describe the correlation among different objects well. Therefore, this project intends to study the hierarchical tree-structured object recognition method based on deep learning, which focuses on solving the hierarchical semantic learning problem of the tree structure object in the depth learning and the classification tree update problem which is suitable for the new object classes and the new examples. The research of this project will help to improve the semantic modeling and classification of web images.

海量Web图像中的对象识别问题是当下的研究热点问题，越来越受到学术界和工业界的普遍关注。相比于传统的基于底层视觉特征的分类方法，构建多层次神经网络和softmax分类器，端到端地学习多层次特征可以有效提高海量图像的识别准确率，但存在如下两个问题：1）只有网络的高层特征直接参与分类器的训练，未充分利用“由粗到细粒度”的层次式特征学习分类器；2）softmax分类器本身不能很好地描述不同对象间的相关性。因此，本项目拟研究基于深度学习的层次化的树型对象识别方法，着重解决深度学习上树型结构对象层次化语义学习问题以及适合新对象类别和新样本加入的分类树更新问题。本项目研究有助于提高Web图像的语义建模与分类水平。

围绕海量Web图像，本项目基于计算机视觉以及深度学习等相关领域知识，研究层次式视觉语义分析、理解与识别方法。针对图像数据的不完备问题，研究了多模态图像理解方法，通过引入其他模态数据，提高了图像语义理解的准确性，实现了语义标注丰富的个性化图像识别。针对大规模图像数据管理及识别困难问题，研究了结构化语义表达方法，通过在不同特征空间上建立大规模视觉对象树并合理利用类间相关性强弱关系辅助建模，提升了大规模图像分类效果。针对简单扩大深度神经网络尺寸不一定能有效地提升视觉识别性能问题，研究了基于本体驱动的大规模图像层次式分类技术，提高了深度网络的大规模视觉语义识别能力。基于图像识别，进一步探索了图像生成式模型，从隐私保护角度提升了Web级视觉识别方法的实用性。在项目执行过程中，项目组在多模态图像理解、结构化语义表达、层次式分类建模等相关算法方面积累了丰富的经验，可以为相关研究及应用提供支持。目前，部分研究成果已申请专利或发表在国内外高水平国际期刊及会议上，并已与部分企业开展了产学研合作。