面向大规模医学图像及诊断报告的跨模态检索关键技术研究

In recent years, with multi-modal medical information explosion, how to use their inherent characteristics to establish associations to realize mutual retrieval of cross-modal information has great analysis value and potential in application. In view of the characteristics of multi-modal medical information and the limitations of the present study, this project intends to study the indexes and methods of evaluation for image saliency, and the methods of super-pixel segmentation, sub-region feature extraction and sub-region merging, in order to form a segmentation method of regions of interest for medical images based on saliency evaluation. Researching on feature fusion and vectorization methods for diagnostic reports with paragraph vector model, and the method of reduction dimension based on deep and sparse auto-encoder including its regularization and noise item addition methods is to form a text feature extraction method of diagnostic reports using paragraph vector model. A cross-modal similarity matrix construction method based on two-stage clustering as well as objective function definition and parameter optimization in cross-modal hash function learning are also studied for forming a cross-modal hashing method for medical images and diagnostic reports. The research aims at not only improving the consistency of feature description of medical images and diagnostic reports, and the semantic expression ability of feature vectors of diagnostic reports, but providing an effective and inexpensive training data (cross-modal similarity matrix) automatic construction method. Thus the study results as a whole are expected to form key technologies of cross-modal images and texts retrieval in the medical field.

近年来，多种模态的医疗信息爆炸式增长，如何利用其内在特性建立关联，以实现跨越模态的信息相互检索，极具研究价值和应用前景。针对多模态医疗信息特点和目前研究的不足，课题拟研究图像显著性评价指标与评价方法，研究超像素分割、子区域特征提取和子区域合并方法，形成基于显著性评价的医学图像感兴趣区域分割方法；研究基于段落向量模型的诊断报告特征融合方法和向量化方法，研究基于深层稀疏自编码器的降维方法及其正则化方法和噪音项添加方法，形成基于段落向量模型的诊断报告文本特征提取方法；研究基于二阶段聚类的跨模态相似矩阵构建方法，研究跨模态哈希函数学习中的目标函数定义和参数优化方法，形成面向医学图像及诊断报告的跨模态哈希方法。研究旨在提高医学图像与诊断报告特征描述一致性，提高诊断报告特征向量的语义表达能力，提供有效且廉价的训练数据（跨模态相似矩阵）自动构建方法。研究成果整体有望形成医疗领域图文跨模态检索关键技术。

近年来，多种模态的医疗信息爆炸式增长，传统的检索方法已不能满足需要，如何利用其内在特性建立关联，以实现跨越模态的信息相互检索，引起了研究人员的关注。项目开展了基于显著性评价的医学图像ROI分割方法、基于段落向量模型的诊断报告文本特征提取方法、面向医学图像及诊断报告的跨模态哈希方法、原型系统与应用四个方面的研究工作。取得的成果有助于解决医疗领域跨模态检索中特征提取与降维、训练数据获取、语义关联等问题，以促进医疗大数据的深层次利用。.在医学图像分割方面，提出了医学图像显著性评价方法、肺部CT图像结节检测方法、X射线手骨图像分割方法、基于改进UNet++的视网膜血管分割方法、基于特征选择与残差融合的肝肿瘤分割模型；针对特征提取与分类，提出了基于多层面二阶特征融合的肺结节特征提取方法、基于多层聚焦Inception-V3卷积网络的细粒度图像分类模型、基于多模型融合的肺结节分类方法、面向肺结节多语义特征分类的不确定性多任务损失方法。.在诊断报告特征提取方面，设计了诊断报告向量化表示与降维方法，提出了基于双向LSTM-CRF的诊断报告特征提取模型、基于门限卷积变分自编码器的综合特征表示方法、基于多阶段最大化注意力的证据句提取方法，针对跨模态信息交互获取，提出了基于上下文感知的多模态交互网络、基于自对比学习的优化方法。.在跨模态哈希学习方面，设计了跨模态相似矩阵构建方法，提出了基于生成式对抗网络的跨模态哈希编码学习模型、深度强相关哈希学习方法、空间金字塔池化哈希网络模型、面向中文医疗文本的相似问题检索方法。.项目还完成了实验原型系统构建。.项目发表期刊学术论文19篇（SCI 收录4篇，EI 收录3篇），获发明专利授权10项，培养硕士研究生21名。