图像细粒度识别的显著性特征学习算法研究

Fine-grained image recognition mainly focuses on the recognition of fine-grained sub-categories or attributes, e.g., the recognition of sub-categories of birds or human attributes. Contrary to the traditional image recognition problem, fine-grained recognition requires to investigate the salient or discriminative features from a large set of similar features to discriminate / describe the sub-categories or attributes. This project aims to develope novel machine learning algorithms to learn the salient features for fine-grained recognition. First, we will model and learn the mid-level templates of object poses and parts, and align the objects based on these templates. Then,we will learn a large set of fine features and select discriminative features for sub-categories or attributes. Finally, we will propose efficient parallel or stochastic optimization algorithms for the optimization of feature learning models over big image database. To achieve this, we will develop novel models based on the sparsity and deep learning approaches. Fine-grained image recognition is the basis for high-level image understanding, and also provides a research platform for feature learning methods in machine learning. It can be widely applied to video surveillance,species identification, artifical intelligence, etc.

细粒度图像识别主要关注对图像的细粒度类别信息或者属性信息进行识别，例如对鸟类的不同子类或人的不同属性进行识别。与传统图像识别问题不同，该问题需要在大量相似属性中发现不同细粒度类别或属性的显著性特征。本课题主要关注解决上述问题的机器学习基础算法。主要研究思路为：首先，建模和学习物体的中层姿态和部件模板，并进行姿态和部件对准；然后，研究物体的精细特征学习方法,挖掘描述细粒度类别或者属性信息的显著性特征；最后，面向大规模细粒度图像数据集，研究高效的并行和随机优化算法。针对上述研究思路，该课题将结合深度学习和稀疏性建模思想，学习和选择具有高判别能力的物体部件和显著性图像特征。细粒度图像识别问题研究为解决图像深层语义理解提供基础，为机器学习领域的特征学习研究提供新的方法和平台，并在安全监控、生物物种识别、人工智能等领域具有广泛应用。

图像细粒度识别和显著性特征学习是解决图像处理、分析与理解的重要基础，在国防、安检、机器人等领域具有重要应用。该项目整体按计划执行，一方面针对图像分类、人脸表情识别、地理图像精细分割、医疗影像器官精细分割问题，系统提出了物体关键部件建模、三维特征学习、深度(depth)与纹理特征融合、深度(deep)标签融合方法，以及半监督和无监督条件下的地理图像精细分割方法。除完成上述既定研究方向外，在项目经费支持下，还开展了模型驱动深度学习方法的初步研究工作，并应用于解决医学成像、图像恢复等反问题。主要研究内容与成果可概括如下三方面：（1）图像显著性特征学习及其在精细识别与分割中的应用。（2）图或者流形结构上深度特征学习及其在3D识别中应用。（3）模型驱动深度学习初探及其在图像处理反问题中的应用。在项目执行期内，共发表论文15篇，中国发明专利两项，其中在顶级国际会议(CVPR, AAAI, ECCV, MICCAI)上发表论文5篇，IEEE T-PAMI, IJCV，IEEE TIP等国际期刊上发表论文9篇。积极参加领域顶级国际会议，例如NIPS, CVPR, ECCV等；与法国国家信息与自动化研究院、美国约翰霍普金斯大学开展合作研究，显著提升了研究团队的学术影响力。上述研究成果为国防卫星图像识别、三维图像识别、医学辅助诊断领域提供一系列基础模型和方法，具有重要应用价值。