基于深度学习的多模态神经影像融合分析与脑疾病诊断

Brain diseases have been becoming a great threat to human health in today's society, thus their early diagnosis and early warning are particularly important. With the development of neuroimaging technologies, more and more imaging information, such as MRI and PET, are available and potentially useful for brain disease diagnosis. It is still a great challenge on how to compute and analyze the available imaging information for deep understanding the structral and functional changes related to brain diseases and improving the brain diseases diagnosis. The conventional image processing and pattern recognition methods cannot perform well to reduce the effect of noise and to handle the large-scale imaging data. This project will investigate new methods on the key problems of multimodal neuroimages fusion analysis for brain disease diagnosis, such as multi-scale feature extraction, effective feature selection and classification by fusion of mutiple features etc.. Firstly, based on deep learning theory, this project will propose to build multi-layer deep learning networks to extract the mutli-level feature representations of the multimodal neuroimages which will potentially have complicated structure. Then, the information on the features spatial structure and correlattions etc. will be incorperated into the structured grouping sparse coding for building the feature selection model, to select the most discriminative and interpretable features. Finally, this project will invesitigate the classification methods based on multi-task joint learning to combine the multimodal and imcomplete neuroimaging features. The results of this study will be further validated on the clinical diagnosis and treatment in the sixth people's hospital of Shanghai Jiao Tong University.

脑疾病已成为当今社会越来越困扰人们的一种疾病，因此早期诊断和预警显得尤为重要。随着神经影像技术的发展，可用于脑疾病诊断的影像信息越来越多，如MRI和PET，如何对已有信息进行计算分析、深入理解脑疾病导致的结构和功能变化，提高临床诊断效果，已成为目前面临的主要问题。传统的图像处理和模式识别方法对噪声比较敏感、不能有效处理和分析大规模图像数据。本项目针对面向脑疾病的多模态神经影像融合分析的关键问题，如多尺度特征提取、有效特征选择和多特征融合分类等，开展新方法研究。首先基于深度学习理论，通过构建多层深度学习网络，深入挖掘具有潜在复杂结构的多模态神经影像的多层次特征表示；然后利用特征的空间结构和关联性等信息，构建反映其结构组稀疏的特征选择模型，选取对疾病最具判别力和解释性的特征；最后研究基于多任务联合学习的分类方法，整合多模态不完整影像特征。研究结果将在附属第六人民医院的临床诊断和治疗中进一步验证

阿尔茨海默病（AD）和轻度认知障碍（MCI）等脑疾病已成为当今严重困扰人们的一种疾病，目前还没有效的治疗方法，只能通过干预延缓病情进展，因此早期诊断尤为重要。随着影像技术的发展，可用于脑疾病诊断的影像信息越来越多，如MRI和PET，如何对已有信息进行计算分析、深入理解脑疾病导致的结构和功能变化，提高临床诊断效果，已成为目前面临的关键问题。传统的影像特征提取和识别方法主要基于手工设计的特征，需要很多手工干预的处理步骤，不能有效利用大规模影像数据。本项目针对多模态神经影像计算分析和脑疾病诊断的关键问题，研究了基于稀疏编码和深度学习的新方法，并对这些方法的理论和应用进行了较充分的研究和分析。.首先针对高维神经影像的特征选择，提出了基于分层树状结构组稀疏学习的方法，该方法选取的特征不仅是结构性稀疏的、对脑疾病影响的区域更具解释性，而且提高AD和MCI诊断准确率，研究成果发表于SCI期刊Neuroinformatics2014年第12卷第3期第381-394页；其次针对MRI特征提取，提出了结合卷积神经网络和自编码网络的影像特征学习方法，能有效融合不同深度网络模型得到的互补信息、提高AD分类准确率，研究成果发表于IEEE IST2017会刊（EI检索）；然后针对PET影像特征提取，提出了组合二维卷积和循环神经网络的特征学习方法，提高AD和MCI诊断准确率，研究成果发表于IEEE IST2017和MLMI2017会刊（EI检索）、并扩展成期刊论文投稿到国际SCI期刊Frontiers in Neuroinformatics（审稿中）；最后针对MRI和PET神经影像融合分析，提出了级联三维卷积神经网络多模态联合深度特征学习方法，通过级联卷积网络多层次多尺度地学习多模态影像特征以及联合特征表示，研究成果发表于CISP-BMEI2017和ICDIP2017 会刊（EI检索）、并扩展成期刊论文投稿到国际SCI期刊Neuroinformatics（已录用）。本项目研究的多模态神经影像计算分析方法不需要严格的图像配准和分割等处理步骤，是基于数据驱动的特征学习和分类方法，减少人工参与过程，研究结果在附属第六人民医院的临床诊断和治疗中进一步验证，对脑科学研究和脑疾病早期诊断和预警、治疗具有重要的应用前景。本项目资助下在国内外期刊和会议上共发表论文14篇，录用2篇，培养研究生5名。