冠状动脉CT影像机器理解与深度分析

The core technology of computer diagnosis is the automatic procedure and understanding of medical images. This project utilizes the theoretical methods of medical imaging and deep learning, researches the machine understanding and deep analysis of coronary artery’s CT medical image, and aims to solve the following problems: 1.Improve the convolutional neural networks model to extract multi-attribution features of coronary plaque and stenosis degree, deeply analyze medical imaging features of coronary atherosclerosis; 2.Explore the correlation degree between medical imaging features of coronary artery’s CT medical image and clinical events to build the severity prediction model of coronary atherosclerosis by combining historical coronary CT images and electronic patient records and utilizing cluster analysis and correlation analysis; 3.Improve the hybrid method which combines data parallelism method with model parallelism method, and effectively increase the efficiency of interpreting coronary CT images based on computational clusters. This project utilizes the coronary CT images from the attached hospitals of Jilin University to build a standard database of coronary CT images, obtains the deep learning and correlation analysis model and methods of coronary CT image features, designs and implements a prototype system to interpret coronary CT images and predict the development of coronary artery disease. This project has a bright future to make a great contribution in improving the machine interpretation and depth analysis of coronary CT images and be applied to clinical diagnosis.

医学影像的自动处理与解析是计算机自动诊断的核心技术。本项目利用影像学与深度学习理论方法，针对冠状动脉CT影像展开机器理解与深度分析工作，拟解决以下关键问题：1 改进卷积神经网络学习模型，获取冠状动脉血管斑块和狭窄程度的多属性特征，深度挖掘冠状动脉血管粥样硬化的影像特征；2 结合历史CT影像和电子病历数据，利用聚类与关联分析，探究冠状动脉CT影像特征与临床事件的关联度，建立冠状动脉粥样硬化病情发展预测模型；3 基于计算集群，改进数据并行与模型并行并存的并行化方法，提升冠状动脉CT影像的自动处理效能。本项目利用吉林大学多家附属医院的冠状动脉CT影像数据，旨在建立一个标准的冠状动脉CT影像数据库；获取CT影像特征的深度学习和关联分析模型、方法；设计与实现一套冠状动脉CT影像机器理解与病情预测的原型系统。本项目有望在冠状动脉CT影像机器理解上取得突破进展，并应用于临床诊断中。

本项目基于深度学习理论，针对冠状动脉CT影像数据展开了机器理解与深度分析工作，同时进行了多项扩展研究。项目组重点进行了以下研究工作：1 联合医院开展了大规模医疗数据收集工作，建立了涵盖冠心病、眼科疾病、肺部疾病等多种疾病的综合性数据库，其中包含冠心病综合病例数据8000例、糖尿病视网膜CT影像数据1451例、肺栓塞CT影像数据8792例、颈椎病变CT影像数据1700例。2 提出与改进了多种卷积神经网络架构模型，利用多模态特征融合、多尺度特征融合、混合域注意力机制等关键技术提升了网络的学习能力与检测性能。提出了基于多重主动Shift模块的轻量级网络架构，使得将深度学习模型嵌入移动设备成为可能，同时，项目组改进了模型训练架构，使其支持在计算集群中进行训练，实现了数据并行与模型并行并存的并行化模型训练架构，在多GPU并行协作的条件下，神经网络模型的学习与检测效率均得到大幅提升；3针对医疗领域，将提出的神经网络架构应用到多种疾病的检测与病灶分割中，完成了基于CT、MRI影像的冠状动脉钙化斑块检测、冠状动脉血管分割、肺结节检测、颈椎病变识别、眼底影像硬性渗出检测、皮肤癌分类识别等多种计算机辅助诊断任务。此外，针对新型冠状病毒肺炎疫情，项目组基于新冠肺炎患者的肺部CT影像，利用深度学习技术构建了智能新冠肺炎检测框架，有效解决了核酸检测方法检测时间长、检测结果滞后等问题，提高了新冠肺炎诊断效率。4 建立了联合冠状动脉CT影像数据与历史病例数据的关联学习模型与原型系统，实现了针对冠状动脉粥样硬化的病情发展预测，并应用到临床诊断中，为医生实施个性化诊断与治疗提供了依据；5 项目组在卷积神经网络架构研究的基础上进行了多项扩展性研究，实现将提出的网络模型应用在时空域人体行为识别、X光限制品监测、马拉松运动员号码识别、目标跟踪、自然图像识别等多种场景，加深了项目组对深度学习技术的理解，助力开展更深层次的深度学习研究。