病理图像检索与辅助诊断关键技术研究

With wide application of digital pathology slide in clinical diagnosis and telemedicine, content-based pathology image retrieval technique has become an important tool for medical computer aided diagnosis (CAD) . However, it is still not effectively developed at present due to the high-volume and complex feature of pathological image. Our project aims to utilize digital pathology slides with multiple staining as research subject, and study novel theories and methods of pathological image retrieval and aided diagnosis. We will firstly research pathological feature extraction methods based on stain component and multiresolution derived by visual attention model, and then use topic model to mine latent context semantic features of pathological image, and simultaneously apply sparse coding based on different local embedding to reveal the high-level features of pathological image. Therefore, the semantic gap problem of image retrieval can be addressed. To further improve the adaptive learning ability of retrieval model, based on preliminary researches on pathological feature, we will make use of deep learning to build a deep retrieval model for pathological image. It can learn pathological features layer by layer, and finally form a distributed feature representation, which can accurately characterize pathology image and thus improve the retrieval accuracy and provide reference cases and help for doctor's diagnosis. Our project is a frontier and basic research in the intelligent medial image information field, and our research results are of important theoretical significance and practical value for pathological aided diagnosis.

随着数字病理切片在临床诊断和远程会诊中的广泛应用，基于内容的病理图像检索技术将逐渐成为医学辅助诊断的重要工具，但由于图像数据量大、特征复杂，该技术目前仍未得到有效发展。本课题旨在以多重染色的数字病理切片为对象，研究病理图像检索与辅助诊断新的理论与方法。课题首先研究基于染色成分和视觉注意驱动的多分辨率病理特征提取方法，再利用主题模型挖掘病理图像潜在的上下文语义特征，同时利用不同局部嵌入的稀疏编码模型揭示病理图像的高层特征，解决图像检索过程中普遍存在的"语义鸿沟"问题。为进一步改善检索模型的自适应学习能力，本课题在前期病理特征研究基础上，建立一种基于深度学习的病理图像深度检索模型，逐层学习病理特征，最终形成分布式特征表示，实现对病理图像的精确描述，提高检索准确率，为医生诊断提供参考病例和帮助。本研究属医学图像信息智能化领域的前沿和基础性问题，研究成果对病理辅助诊断具有重要的理论意义和实用价值。

基于组织切片的病理学诊断方法是癌症诊断的“金标准”。基于数字病理图像的癌症辅助诊断方法可以有效提高医生的诊断精度和工作效率。基于内容图像检索是病理图像辅助诊断的有效方法之一，近年来得到快速发展。该方法利用图像处理、模式识别方法提取未知病理图像的特征，依靠特征在病理数据库中检索出在图像内容上相似的历史病例，返回给医生作为诊断参考，帮助医生形成更加可靠的诊断意见，同时帮助医生积累诊断经验。基于内容的病理图像检索的应用效果依赖于病理图像特征的描述能力。本研究以病理图像辅助诊断方法研究对象，具体研究病理图像特征提取方法和病理图像数据库检索方法。取得研究成果包括：.1、以多重染色的数字病理切片图像为检索对象，深入研究了面向病理图像检索的特征提取及建模理论和方法，提出能够描述病理图像细胞核模式及其空间关系的特征描述子，并与图像纹理特征相结合，提出病理图像低层特征提取方法；.2、研究基于主题模型的病理图像高层语义构建方法，提出基于主题模型的面向上下文语义的病理图像检索建模方法，在乳腺癌亚种数据集上的检索度精度达到91%，检索时间为0.41秒。.3、研究基于稀疏约束的病理图像特征提取方法，提出基于稀疏自编码的病理图像细胞核特征学习方法及全切片分析模型，建立病理学先验指导的病理图像深度学习特征提取框架，该特征在乳腺癌亚种分类任务中分类精度达到96.4%.4、研究病理全切片数据库的检索方法，提出病理全切片数据库多尺度检索目标索引方法，以及适用于多尺度查询图像的相似性度量方法，解决了病理图像检索的实际应用问题。.本研究部分成果已应用到实践中，基于主题模型的病理图像检索模型、基于深度学习的病理全切片图像分析模型已完成软件开发，并嵌入到切片在线浏览与管理平台MoticGallery，病理医生可以上传待诊断的数字病理切片，软件在云端完成计算，将计算结果返回给病理医生，实现病理图像的辅助诊断。