多源多模态图像特征融合研究及在自闭症早期诊断中的应用

Image feature fusion, a common scientific issue and hot research point in fields of image processing, computer vision, pattern recognition and so on, is an effective means to describe the characteristics of target objectively, comprehensively and accurately, which has a wide prospect. However, the extracted feature fusion still cannot meet the actual requirements with the existing feature fusion methods due to the lack of a unified theoretical framework.. To this end, this project will focus on increasing the representational and discriminant power of fusion feature and carries out research on the feature fusion on multi-source and multi-modality image. This involves the following study: the nonlinear dimensionality reduction of data; high-quality image construction; feature fusion model construction and its application in the early diagnosis of autism. The key of the study is how to incorporate the class information and the correlation information of between two models and two sources into the multi-task learning framework, and then built a feature fusion model of the multi-source and multi-modality image, to ensure the good discrimination capability of the extracted feature fusion and comprehensive and accurate description of the target characteristics. The difficulty of the study is how to measure the correlation between two models and two sources.. The research will provide new approach and theory for image feature fusion and technical support for the early diagnosis and etiology analysis of autism and find wide application of the feature fusion technique to fields of medical diagnosis, environmental monitoring, and target tracking, etc.

图像特征融合是客观、全面、准确描述目标特性的有效手段，是图像处理、计算机视觉、模式识别等领域的共性科学问题和研究热点，应用前景广阔。然而，目前的特征融合方法尚缺乏统一的理论框架指导，抽取的融合特征仍无法满足实际需求。. 为此，项目以增强融合特征的表示能力和判别能力为目标，研究多源多模态图像特征融合问题，主要内容包括：数据的非线性降维；高质量图像构造；特征融合模型构建以及在自闭症早期诊断中的应用。研究的重点是如何将类别信息、模态之间以及数据源之间的相关性信息整合到多任务学习框架中，构建多源多模态融合模型，确保抽取的融合特征判别性较强，能够全面、准确的描述目标特点；难点是模态之间、数据源之间的相关性度量。. 项目研究将为图像特征融合提供新的理论和方法，为自闭症的早期诊断和病因分析提供技术支持，推进图像融合技术在医疗诊断、环境监测、目标跟踪等领域的应用

图像特征融合是客观、全面、准确描述目标特性的有效手段，是图像处理、计算机视觉、模式识别等领域的共性科学问题和研究热点，应用前景广阔。然而，目前的特征融合方法尚缺乏统一的理论框架指导，抽取的融合特征仍无法满足实际需求。为此，项目以增强融合特征的表示能力和判别能力为目标，研究多源多模态图像特征融合问题，主要内容包括：1) 数据的非线性降维；2)高质量图像构造；3)多视角特征提取；4）特征融合模型构建及在医学影像等领域中的应用。. 项目组按照申请书指定的研究计划，围绕研究内容开展了研究，取得系列重要成果，主要包括：1）提出KPCA参数的优化思路以及增量学习算法，能够快速高效地去除数据的非线性噪声；2）提出了多种超分辨图像重建（复原）方法与低光照增强方法，显著改善了图像的质量；3）构建了多个高阶静息态脑网络，用于挖掘脑区之间深层次的连接关系；4）分别从特征层、决策层角度，提出多个特征融合方法并用于自闭症辅助诊断和股票趋势预测。. 在本项目基金资助下，我们共发表和录用了38篇高质量论文，其中SCI检索28篇，获批1项发明专利，2项软件著作权，搭建了脑疾病辅助诊断原型系统1个。. 项目组的研究为图像特征融合提供了一些新的理论和方法，为自闭症的早期诊断和病因分析提供技术支持，推进了图像融合技术在医疗诊断、智慧金融、机器视觉等领域的应用。