融合视觉注意和深度学习的赤潮藻显微图像分析与识别

The microscopic image recognition of common red tide algae has important scientific and practical significance to China's marine ecosystem, environmental monitoring, marine fishery production and other aspects. At present, the red tide algae identification based on computer vision is applied widely. However, there are some challenges, such as limited algae species resources, the difficulty of extracting biological detailed features and the classifier’s poor representational capacity of multiclass recognition. Inspired by the biological visual attention mechanism, this research applies the deep learning theory and divides the identification of red tide algae into four gradual processes: precise segmentation, feature extraction, feature fusion and deep learning. And three scientific problems are discussed in this study: (1) precise target segmentation without losing biological characteristics; (2) significant features extraction and processing based on hierarchical visual attention model; (3) the extraction of algae species’ invariant features and the model construction based on the deep learning theory.. Through the fusion of hierarchical visual attention model and deep learning theory and with the guide of biological expert knowledge, the innovation of the research is to imitate the advanced visual perception and cognitive process of artificial microscopy and to solve the multiclass recognition of microscopic image of red tide algae. This research is likely to achieve rapid and accurate identification of red tide algae and provide new ideas and theoretical basis for the establishment of red tide real-time monitoring and early warning system.

中国海域常见赤潮藻显微图像识别对我国海洋生态系统、环境监测和海洋渔业生产等诸多方面具有重要的科学和现实意义。目前基于计算机视觉的赤潮藻鉴定方法应用广泛，但存在藻种库单一、生物细节特征难以提取、分类器对多类识别问题表征能力差的难题。本课题在生物视觉注意机制的启发下，应用深度学习理论，将赤潮藻显微图像识别分解为精确分割、特征提取、特征融合、深度学习四个渐进识别过程，研究三个科学问题：（1）不丢失生物形态特征的细胞目标精确分割；（2）基于层次化视觉注意机制的显著性特征提取和加工；（3）基于深度特征学习理论的藻种不变特征提取和识别计算模型。. 该项研究通过融合视觉注意模型和深度学习结构，加以生物形态专家知识引导来模拟生物学家人工镜检的高级视觉感知和认知过程，解决多类别赤潮藻显微图像识别问题，这一研究有望为实现赤潮藻快速准确鉴定，建立实时赤潮监测和预警体系提供新的思路和理论依据。

赤潮藻是海洋生态系统中非常重要的浮游微生物，依据藻细胞的生物形态学特征通过人工镜检进行分类和计数是目前公认的藻类监测方法，然而该方法存在专业水平高、分类人员断层、耗时费力等问题而无法应用于大量样品及原位实时快速分析。本项目针对多类别、多形态的赤潮藻显微图像，由生物形态专家知识引导，通过融合视觉注意模型和深度学习结构，开展了不丢失生物形态的细胞目标精确分割、显著性检测、多特征融合、基于深度学习的藻种识别方面的研究。. 项目组围绕赤潮藻显微图像分析取得了以下进展：（1）在基础数据资源建设方面，采集和收录了来自40种中国海域常见赤潮藻的3682张显微图像，整理收录了其生物学信息及人工模式图像库；另外收集和整理了国内外相关机构发布的浮游生物图像数据集共100多类超过300多万张图像；在海洋生物学家的指导下，归纳了40种中国海域常见的有害赤潮藻名录及其生物形态学分类方法，为后续利用生物视觉特征进行分类提供了依据。（2）基于初级视皮层视觉注意模型检测生物形态感兴趣区域，研究保留微弱形态细节的细胞目标精确分割方法。提出了一种自适应顶刺区域分割方法；采用基于约束标记的分水岭变换对藻种图像分割，在保留横、纵沟显著性区域前提下精确分割藻种目标；基于灰度方向角模型，将方向性作为新的边缘分组测度，构造方向特征图激励函数，检测具有同方向特性的显著性边缘，在保留角毛细节特征的前提下精确分割藻种目标。（3）在显著性检测方面，为了充分抑制非显著性区域，突出显著性区域，提出了一种基于自适应谱分析的显著目标检测算法；提出了一种结合视觉显著性与短语的图像检索方法；将自底向上的视觉感受野多通道多尺度早期视觉特征与自顶向下的赤潮藻人工分类形态特征相融合，所生成的显著图能更好的保留细胞特征。（4）在特征提取和识别方面，通过人工设计有效特征进行多特征融合和构建深度学习分层模型两类方法进行藻类图像识别，实验表明深度学习在大规模多类别藻种生物图像识别上表现突出。. 基于上述工作，项目组在本领域期刊上发表SCI论文2篇、EI论文3篇，北大中文核心期刊2篇，申请国内发明专利1项，联合培养相关方向硕士2人（已毕业），参加国内外学术会议和研讨学习班6次，参加开展相关国内外学术交流4次。