基于深度集成学习的多模态肺结节检测研究

Lung cancer is one of the most malignant tumors with the highest cancer morbidity and mortality worldwide. Given the complexity and heterogeneous of lung medical images, single-mode lung medical imaging has certain limitations in the characteristic expression of pulmonary nodules. Over-fitting easily occurs because the size of lung medical imaging is generally small. Single deep neural network model has problems of high variance, low deviation, and being sensitive to parameters, which can easily affect the predictions. It is imperative that deep learning algorithms based pulmonary nodule detection model needs to be established in terms of the current theoretical development and application requirements. The major research contents include: (1) Develop the pulmonary nodule detection method of multimode feature fusion, integrate the diverse and complementary information of multimode images, to fully characterize the intrinsic properties of pulmonary nodules; (2)Build multi-scale input pattern recognition and prediction model for pulmonary nodule detection, and effectively explore the consistent imaging features most relevant to the disease, to adapt to the differences of individual and nodule size; (3)Construct a convolution neural network model of multisource heterogeneous based knowledge transfer learning, to advance the learning performance of deep learning model for small-scale lung images; (4)Develop a classification method based on deep ensemble learning for lung nodules by weighting the contributions to the integrated prediction of multiple neural network models, to improve the detection performance of the proposed model.

肺癌是世界范围内癌症发病率和死亡率最高的恶性肿瘤之一。鉴于肺部医学影像的复杂性和异质性，单一模态的医学影像在肺结节特征表达上具有一定的局限性。肺部医学影像数据样本量普遍偏小易造成模型训练过拟合。单个深度神经网络模型具有高方差、低偏差、参数敏感等问题，易对预测结果造成影响。因此，当前的理论发展和应用需求都迫切需要在深度学习的基础上发展新的肺结节检测方法。本项目的主要研究内容包括：（1）发展基于多模态特征融合的肺结节检测方法，融合多模态图像获取的差异性和互补性信息，全面刻画结节的内在固有特性；（2）构建多尺度输入肺结节预测模型，有效挖掘适应个体和结节尺寸差异的与疾病最相关的一致性影像学特征；（3）构建基于多源异构知识迁移的深度学习模型，提高面向小规模肺部影像的深度学习模型的学习性能；(4)发展基于深度集成学习模型的肺结节分类方法，自适应加权多个神经网络模型对集成预测的贡献，提高模型检测性能。

鉴于肺部医学影像的复杂性和异质性，针对传统基于肺部医学影像的计算机辅助检测/诊断系统的局限性，在互联网图像大数据的驱动下，面向肺结节精确检测和诊断难点、肺部医学图像数据量偏小、多尺度特征提取和多模态数据融合等问题，研究和探索适用于目标任务的基于深度学习模型的新的算法和模型。具体研究内容包括：（1）利用深度学习网络的特征自学习能力，基于迁移学习理论，研究并提出基于残差网络的深度特征提取和肺结节分类模型，减少传统特征提取工作量及样本量不充足和人工干预的影响，提高分类精度。（2）针对肺结节精确诊断难点，将肺结节良恶性分类问题类比为细粒度分类任务，同时结合卷积注意力机制的优势，提出基于注意力机制特征提取的细粒度肺结节良恶性分类模型，模型在区域建议模块和监督模块的相互作用与指导下提取信息量最大的区域进行特征表达，作为诊断依据。（3）鉴于多头自注意力机制的局部信息建模和长程信息建模能力，研究并构建基于多头自注意力机制的肺结节良恶性分类模型，模型能够同时提取图像的局部和全局特征，且更加关注重点区域，抑制无效信息。（4）为了减少周围组织对结节良恶性判定带来的干扰，研究设计了一种基于多模式特征融合网络的肺结节良恶性分类方法，以此来挖掘更多有价值的重要特征，提升算法分类性能。（5）围绕项目研究目标结合实际应用需求，还提出基于深度学习的空间注意力叠加和多层特征融合方法、提出了一种面向新型冠状病毒的多尺度自动检测网络、提出了一种面向开集图像分类的归一化最大边缘损失等一系列新的理论和方法，进一步扩展了相关研究内容和应用领域。这些研究工作为计算机辅助医学影像诊断的进一步发展进行了理论和方法上的探索。