多模态乳腺肿瘤图像的特征提取与分级诊断

Doctors usually encounter the difficulty that different breast images captured by different devices (i.e. ultrasound, X ray and magnetic resonance imaging) provide different grading diagnoses for one patient, which brings great inconvenience to decide the treatment plan. Current researches focuse on single-mode breast tumor image analysis or pathological section image analysis, which cannot meet the application requirements of precise diagnosis and preoperative noninvasive examination. To address this problem, we will integrate breast ultrasound, X ray and magnetic resonance imaging multimodal images to obtain accurate grading diagnosis of breast tumors. We first design tumor image feature descriptor for feature extraction, which conforms to the diagnostic criteria of clinical breast imaging. Then the idea of "iterative optimal feature fusion and selection" is proposed to design the model to obtain the optimal fusion strategy and the most discriminative key features of multi modal images. Finally, we use the new idea of "key feature sharing learning" to design shared convolution neural network, trying to improve the accuracy of multimodal breast tumor image grading diagnosis. The project will provide new theories, methods and practical experience for the accurate grading diagnosis of multimodality breast tumor based on artificial intelligence, and make important contributions for doctors to reduce excessive medical care and misdiagnosis.

临床医生常常面对同一患者乳腺影像学检查（即超声、X射线、核磁共振）分级诊断结果不一致的难题，这给医生为患者制定治疗方案带来了极大的困扰。而现有的研究主要关注单模态乳腺肿瘤图像分析或病理切片图像分析，根本无法满足临床精准诊断与术前无创伤检查的应用需求。为了解决这个问题，本项目拟融合乳腺超声、X射线、核磁共振多模态图像进行研究，以获得乳腺肿瘤的精准分级诊断。我们首先设计符合临床乳腺影像学诊断评判标准的乳腺肿瘤图像特征描述子进行特征提取，然后提出“迭代最优特征融合与选择”的思想来设计模型以获得最佳的多模态图像融合策略与最有鉴别力的关键特征，最后利用“关键特征共享学习”的新思想设计共享卷积神经网络，力图不断提高多模态乳腺肿瘤图像的分级诊断精度。该项目的研究将为基于人工智能方法的多模态乳腺肿瘤图像精准分级诊断提供新的理论、方法和实践经验，为临床医生减少过度医疗与漏诊误诊的发生做出重要贡献。

临床医生常常面对由不同乳腺图像源而得出不同影像学（即超声、X射线、核磁共振）分级诊断结果的难题，这给医生为患者制定治疗方案带来了极大的困扰。而现有的研究主要关注单模态乳腺肿瘤图像分析或病理切片图像分析，根本无法满足临床精准诊断与术前无创伤检查的应用需求。为了解决这个问题，本项目拟融合乳腺超声、X射线、核磁共振多模态图像进行研究，以获得乳腺肿瘤的精准分级诊断。我们首先设计符合临床影像学诊断评判标准的乳腺肿瘤图像特征描述子进行特征提取，然后提出“迭代最优特征融合与选择”的思想来设计模型以获得最佳的多模态图像融合策略与最有鉴别力的关键特征，最后利用“关键特征共享学习”的新思想设计共享卷积神经网络，力图不断提高多模态乳腺肿瘤图像的分级诊断精度。该项目的研究可为基于人工智能方法的多模态乳腺肿瘤图像精准分级诊断提供新的理论、方法和实践经验，为临床医生减少过度医疗与漏诊误诊的发生做出重要贡献。.经三年的研究，在本项目的支持下，我们共发表了学术论文14篇，收集了三个数据集共近30000张多模态乳腺肿瘤图像数据，在图像标定、图像分割、图像识别与检索方面取得了一系列进展。在基础研究方面，我们首先对多模态乳腺肿瘤图像特征提取与分级诊断的研究进展进行了全面的回顾，然后系统地收集了乳腺超声、X射线、核磁共振等多模态图像，汇集了保安中心医院近10年的典型案例，并进行了大规模的标注，前后耗时近两年。接着提出了基于深度网络的乳腺肿瘤超声图像分割与特征融合方法TFNet，精度达到87.7%；提出了DL-UNet算法对乳腺肿瘤/结节进行分割，取得了98%的精度；提出了小目标分割算法对X光下乳腺内的小结节进行分割与提取，精度超过了50%（该任务极具挑战）。此外，该系列方法还拓展到了乳腺肿瘤图像标注、人脸图像标注、大规模图像检索与识别上，取得了较高的分类与检索精度。项目培养了三位优秀研究生，他们全部申请到境外著名大学的全额奖学金攻读博士学位。