基于多模态关联图模型的医学媒体数据挖掘关键技术研究

In recent years, with the continuous development of modern medical health field, the amount of its related data is in the rapid growth and medical health big data is formed. Medical media is one of the most important part in the medical health big data. It includes a variety of multimodal information that is related to the patients,such as medical image, diagnosis data, digital medical record, etc. How to efficiently extract those implicit knowledge or other patterns not explicitly stored in the medical media is becoming a hot research topic in the fields of medicine and computer science. According to the multimodality features of medical media, this project focuses on the high efficient and high accurate medical media mining problems with direction of medical domain knowledge. This project plans to put forward the multimodality correlation graph model to express the correlation of the medical media, and examine the use of domain knowledge to guide the establishment of the new correlation graph model. With the guidance of domain knowledge and based on the new graph model, this project will propose the frequent similar subgraph mining algorithm, medical media classification algorithm, medical media similarity retrieval algorithm, mining visualization algorithm, as well as medical media mining system framework.

近年来，随着现代医疗健康领域的不断进步，与其相关的数据在急速增长，形成了医疗健康大数据。医学媒体数据是医疗健康大数据的重要组成部分，它包含了多种与患者相关的医学图像、诊疗数据、电子病历等多模态信息。如何从这些数据中高效的挖掘出那些隐含的知识或模式，用以辅助诊断和共享医学经验，成为跨医学和计算机科学等领域的研究热点。本项目将针对医学媒体的多模态特性，集中研究领域知识指导下的高效高准确度的医学媒体挖掘问题，拟提出多模态关联图模型来表达医学媒体数据的关联关系，研究利用领域知识指导新型关联图模型的建立，研究在领域知识指导下，基于多模态关联图模型的医学媒体频繁近似子图挖掘算法、医学媒体分类算法、医学媒体相似性搜索算法、医学媒体挖掘可视化算法以及多模态医学媒体数据挖掘系统框架等。

随着医疗卫生事业现代化的不断发展，医学媒体数据（包含相关文本、CT图像、MRI图像等）正越来越多的应用于对病人病情的诊断以及预测等方面，并起到了显著的效果。本项目针对研究目标，很好的完成了预期的研究任务，主要工作体现在以下方面。针对医学媒体数据集的特点，提出了多模态关联图模型来表达医学媒体，有效利用领域知识来指导关联图模型的建立，基于新的关联图模型，提出了高效的频繁近似子图挖掘算法、相似性搜索算法、分类算法、聚类算法和可视化算法等，提高了医学媒体挖掘的效率、准确率和挖掘知识的质量，取得一系列基于多模态关联图模型的医学媒体挖掘的基础研究成果。.本项目的成果体现在以下几个方面：(1)在国内外重要学术期刊和学术会议上发表论文30余篇；(2)获得授权专利5项；(3)培养本科、硕士和博士研究生30余人。本项目的研究任务验证了已有的医学领域知识，并提供了未经医生发现的知识、构建了医学领域知识库、构建了分类模型、提供了相似性搜索方法，为辅助医生诊断和提高医学经验共享能力提供了理论基础和技术支持。