基于深度跨层卷积神经网络的舰船目标细粒度识别方法研究

Ship target recognition is a popular and challenging problem in the field of image processing and pattern recognition. In this proposal, we studied the problem of ship target recognition based on deep convolutional neural network, aiming to improve the performance of ship target recognition, and providing an effective solution for weakly supervised target recognition. The main content includes: 1) through collecting and labelling, we would build a large scale ship dataset, and to verify the practicality of the dataset, we would provide baseline results for relative tasks based on deep convolutional neural network; 2) by introducing the cross-layer connection and optimal feature selection strategies, we would investigate the ship target detection method based on deep cross-layer convolutional neural network; and through comprehensive analysis of different cross-layer connecting and feature selection strategies, we intend to provide an optimal cross-layer model for ship target recognition; 3) based on the optimal cross-layer convolutional neural network model, we would build a multi-task learning deep cross-layer convolutional neural network for fine-grained ship target recognition, and output the ship target segmentation results. This work will provide important technical supports for the application of deep learning method in ship target recognition, and have important implications in improving the performance of maritime early warning and reconnaissance systems.

舰船目标的自动识别问题是海洋监测和海军装备系统迫切需要解决的问题，也是模式识别与图像处理领域的研究热点和难点。为提高舰船目标识别性能，解决标注样本有限情况下舰船目标识别问题，本项目将开展基于深度跨层卷积神经网络的舰船目标识别方法研究。研究内容包括：1）收集、整理、标注已有数据，建立大规模舰船数据集，并利用已有深度卷积神经网络模型进行基准实验，验证该数据集的实用性；2）引入跨连和特征优选策略，建立基于深度跨层卷积神经网络的舰船目标识别框架；通过大量实验分析跨连方式和特征优选方式对模型的目标识别能力的影响，从而确定用于舰船目标识别的最优跨连模型；3）在最优跨连模型的基础上，构建基于多任务学习的深度跨层卷积神经网络结构，实现舰船目标细粒度识别，输出舰船目标分割结果。本项目研究成果将对深度学习方法在舰船目标识别中的应用起到重要的技术支撑，对提高现代海上武器系统的预警、侦察等性能具有重要意义。

舰船作为商业活动和军事行动的重要载体，海上舰船目标的检测、分割、与识别对于海洋监测、海上交通管理、维护海洋安全具有重要的作用。本项目开展基于深度跨层卷积神经网络的舰船目标细粒度识别方法研究，从数据集构建、深度学习模型设计、深度学习理论研究等方面开展基于深度学习的舰船目标识别相关技术研究。本项目的主要研究内容及取得的重要结果包括：1）构建了一个包含43类35万幅舰船目标的舰船图像数据集，并从中选取部分数据集进行了像素级和边界框的标注，用于开展舰船目标识别、分割、检测等单任务及多任务的基准实验；2）在深度卷积神经网络基础上进行跨层网络模型设计，提出了一种基于深度跨连卷积神经网络的目标识别框架，通过特征筛选及不同层次的特征融合策略，提升识别性能；3）在跨连卷积神经网络基础上，引入多任务学习，提出了一种基于多任务学习的跨层卷积神经网络模型，实现标注样本有限情况下的检测目标识别、分割、检测，提升舰船识别精度；4）在多任务卷积神经网络基础上，引入注意力机制，对特征进行选择，进一步提升模型性能；5）通过引入Inception模块和AM-softmax，提出了基于特征融合双线性模型的细粒度图像识别方法；此外，为了更好的理解深度卷积神经网络模型的原理、提升模型的性能，本项目开展了深度卷积神经网络架构自动搜索优化方法、轻量型卷积神经网络结构设计方法研究，同时对深度神经网络最优极值点的存在问题进行了理论研究。. 在项目支持下在包括Information Sciences，Neural Networks, Knowledge-based Systems, Pattern Recognition Letters等重要期刊发表SCI论文7篇，EI会议论文2篇，中文核心期刊论文1篇；申请发明专利5项；培养博士生2名，硕士生7名，博士后出站1名，参加国内外学术会议5次。本项目从数据集构建、模型设计、理论研究等方面对深度学习方法及其在海面舰船目标识别应用中的相关问题开展了广泛研究，研究成果对于促进深度学习技术在海洋监测、海洋交通维护和海军装备系统中的应用提供了重要的数据支撑和技术参考，同时对于深度学习理论的进展也能起到一定的促进作用，可以为其他目标的自动识别技术提供参考，具有重要的理论意义和应用价值。