基于多模态MR数据辅助的鼻咽肿瘤CT图像分割

In this proposal, we focus on the segmentation of nasopharyngeal carcinoma in medical images, and propose to use multimodal MR data to complete the auxiliary segmentation of CT images. Using the complementary information among multimodal images, the combination of multimodal data fusion and sparse model can provide a novel idea for the segmentation of nasopharyngeal carcinoma. First, we will extract multi-scale intensity features and texture features according to the regions of nasopharyngeal carcinoma and surrounding tissues, to enhance the spatial expression of multimodal tumor images. Based on the features extracted from the previous step, the feature graphs of multimodal MR and CT images will be constructed and a data fusion algorithm based on feature graph projection will be proposed, which lays the foundation for constructing reasonable sparse segmentation model. In order to strengthen the correlation of atoms in feature dictionary and label dictionary in sparse model, we will propose a multi-layer Partial Least Squares (PLS) sparse model segmentation method. In addition, to take advantage of the large number of available modality-missing samples, we will propose a semi-supervised learning method, which is trained by using the complete modal samples and the missing modal samples, to improve the robustness of the segmentation algorithm.

本项目针对医学影像中的鼻咽肿瘤分割问题，提出利用多模态MR数据，完成对鼻咽肿瘤CT图像的辅助分割。利用多模态图像之间的“信息互补”，将多模态数据融合与稀疏模型相结合，为鼻咽肿瘤图像的分割提供了一种新思路。首先，依据鼻咽肿瘤区域及周边组织提取多尺度灰度特征和丰富的纹理特征，强化多模态肿瘤图像的空间表达；基于上一步骤提取的特征，构建多模态MR和CT图像的特征图，并设计基于特征图投影的数据融合算法，为构造合理的稀疏分割模型奠定基础；为加强稀疏模型中特征编码字典和标签字典中原子的相关性，提出基于多层PLS稀疏模型分割方法；此外，针对部分模态缺失情况，提出一种基于半监督学习的稀疏模型分割方法，同时利用完备模态样本和缺失模态样本联合地对稀疏模型进行训练，提高分割算法的鲁棒性。

鼻咽肿瘤是一种常见的头颈部恶性肿瘤，从医学影像中精准地将鼻咽肿瘤分割出来在临床中具有重要的意义，尤其可以帮助鼻咽癌患者精准制定其放化疗计划。然而，通过医师手动分割鼻咽肿瘤是一项十分耗时且带有一定主观性的工作。本项目重点研究了如何利用人工智能技术从医学图像中自动且精准地分割出鼻咽肿瘤。然而，鼻咽肿瘤具有边界模糊、个体差异性较大，与周围组织灰度值接近等特点，因此鼻咽肿瘤自动分割是一项极具挑战的任务。本项目围绕着鼻咽肿瘤自动分割这一任务，重点开展了以下研究：1）为了有效挖掘并融合多模态医学影像信息以提升分割精度，提出基于多任务学习的全卷积网络多模态鼻咽肿瘤分割方法；2）针对鼻咽肿瘤分割难度大、可用训练样本少，同时避免传统卷积操作引起的细节信息损失等问题，提出了基于多视角卷积神经网络和3D图割优化的鼻咽肿瘤分割方法；3）针对鼻咽肿瘤多模态数据中普遍存在的部分模态缺失情况，提出基于联合字典学习的多模态鼻咽癌肿瘤分割方法；4）针对分割任务中常见的三维医学影像上下文信息利用不充分问题，提出基于层间上下文融合的迭代多路分割方法。本项目的研究成果显示，我们所提出的鼻咽癌分割方法能够充分利用不同模态影像之间的互补信息，灵活地学习鼻咽肿瘤区域显著的判别特征及其全局的空间结构关联关系，其分割精度达到了国际较为领先的水平。