基于卷积神经网络+递归神经网络的物体关键点定位方法研究

Object key points detection is to automatically localize the key points for the object. For example, given a facial image, feature points are mainly located around facial components such as eyes, mouth, nose and chin. Object key points detection is closely related with many core computer vision tasks, such as face recognition, object tracking, pose detection, and 3D face modeling. It has a broad impact on both society and economy and can be used for retrieval, security system and so on. Due to the complexity of the image, e.g., osculation and low resolution, it is a quite challenging topic. In this project, we propose a novel framework for object key point detection based on a deep convolutional neural network (CNN) and recurrent neural network (RNN). 1) Our project proposes a complete, end-to-end framework, which combines the advantages of CNNs and RNNs in one unified framework. We also study the fast training algorithm for the network. 2) We propose to study the fine human image analysis based on the proposed key points detection method, (e.g., face alignment and pose estimation). 3) We study the image retrieval based on the proposed key points detection framework, (e.g., clothing retrieval, shoes or bags retrieval). Finally, our project intends to achieve a breakthrough in the task of the object key points detection, and obtains world-class research achievements.

物体关键点定位被用于自动找出物体的关键点 (例如，找出人脸图像中眼睛，鼻子和下巴等位置)。该任务是众多计算机应用的关键技术，如人脸识别，物体跟踪，姿态估计等。精确的物体关键点定位是一个对社会和经济有广泛影响的重大基本问题，可以应用到商品搜索、安保等系统中。实际的应用中，由于图像数据的复杂性，如遮挡，低分辨率等等，给精确的物体关键点定位带来了巨大的挑战。本项目拟研究基于卷积神经网络+递归神经网络的物体关键点定位方法及其应用，包括1）针对关键点定位问题的特点，拟提出一种基于卷积网络+递归网络的深度神经网络架构，并研究相应的网络模型训练算法；2）拟研究基于关键点定位的精细人像分析技术（如人脸对齐、姿态估计）；3）拟研究基于关键点定位的相似物体搜索技术，及其在商品搜索（如衣服、鞋子、包包的搜索）中的应用。最后，拟在关键点定位上取得突破，发表具有国际领先水平的研究成果。

物体关键点定位被用于自动找出物体的关键点 (例如，找出人脸图像中眼睛，鼻子和下巴等位置)。该任务是众多计算机应用的关键技术，如人脸识别，物体跟踪，姿态估计等。精确的物体关键点定位是一个对社会和经济有广泛影响的重大基本问题，可以应用到商品搜索、安保等系统中。实际的应用中，由于图像数据的复杂性，如遮挡，低分辨率等等，给精确的物体关键点定位带来了巨大的挑战。本项目研究基于卷积神经网络+递归神经网络的物体关键点定位方法及其应用，包括1）针对关键点定位问题的特点，提出一种基于卷积网络+递归网络的深度神经网络架构，并研究相应的网络模型训练算法；2）研究基于关键点定位的精细人像分析技术（如人脸生成）；3）研究基于关键点定位的相似物体搜索技术，及其在商品搜索（如衣服搜索）中的应用。最后，在关键点定位上取得突破，发表具有国际领先水平的研究成果。