云环境下近红外光谱大数据智能分析和多维特征建模算法研究

Near infrared spectroscopy is a fast, non-destructive and easy to operate green detection technology, widely used in food, pharmaceutical and petrochemical industries. It is difficult for traditional spectral analysis method to cope with the geometric growth of spectral data and the complexity of data types in cloud environments. In order to improve the quality and efficiency of analysis, in this project, first the efficient preprocessing and multivariate correction methods of massive spectral data is researched, and we reduce the spectral perturbation and make multiple corrections by using Big Data analysis. Then, we explore the Big Data-driven intelligent analysis method of near-infrared spectroscopy, and reveal the new mechanism of dimensionality reduction clustering analysis of the stochastic spectrum, the multiple linear regression and the representative sample selection. Then, we research the multi-source information fusion mechanism and near-infrared spectroscopy multi-dimensional feature modeling algorithm, explore of the method of the consistency of homogeneous heterogeneous model and model migration integrating with deep learning thought. Finally, we research the near infrared spectroscopy data collection, cooperative computing and public sharing mechanism in the distributed environment by using the block-chain technique, and construct the architecture model of near-infrared spectroscopy cloud platform. We analyze and verify the effectiveness of the proposed model and algorithm with food safety fast NDT(Non Destructive Testing) as the entry point. This study will provide a new idea and research reference for modeling and intelligent analysis of near infrared spectroscopy in cloud environment.

近红外光谱分析是一种快速、无损且易操作的绿色检测技术，广泛应用于食品、制药与石化等行业，传统光谱分析难以应对云环境下光谱数据几何级增长及数据类型复杂带来的挑战。为提升分析质量和效率，本项目首先研究海量光谱数据的高效预处理与多元校正方法，应用大数据分析削减光谱扰动并对之多元校正。然后，探寻大数据驱动的近红外光谱大数据智能分析方法，揭示随机光谱的降维聚类分析、多元线性回归及代表性样品优化筛选新机理；随后，研究时空关联的多源异构光谱信息融合机理及近红外光谱多维度特征建模算法，融合深度学习思想探寻同质异态模型一致性稳定及模型迁移方法；最后，结合区块链技术研究分布式环境下近红外光谱大数据汇集、协同计算与开放共享机制，构建近红外光谱大数据云平台架构模型，以食品安全快速无损检测作为切入点对所提模型与算法的有效性进行分析与验证。本课题研究将为云环境下的近红外光谱大数据建模与智能分析提供新思路与研究参考。

本课题针对近红外光谱数据量几何级数增长、光谱数据类型复杂以及边缘测协同计算需求大等带来的挑战，围绕海量光谱数据的预处理与多元校正方法、基于深度学习的近红外光谱大数据智能分析和云环境下近红外光谱多维度特征建模算法等展开深入研究。.首先，在海量光谱数据的预处理与多元校正方面，课题组结合餐饮食材检测、人体静脉血管识别以及水果糖度检测三大应用场景，研究并构建一整套近红外光谱原始数据汇集、清洗、预处理以及多元校正流程和方法，目前已经汇集了1.53亿条近红外光谱数据。同时，针对近红外光谱大数据的特征，融合大数据分析技术削减光谱扰动并对之多元校正，有效提升了复杂环境下的近红外光谱质量和一致性。.第二，在基于深度学习的近红外光谱大数据智能分析方面，针对海量数据、多场景下的近红外光谱特征，对光谱大数据进行高效降维聚类分析，采用机器学习方法和蒙特卡罗随机实验对特征参量进行智能分析。通过将光谱进行小波变换,再计算小波逼近和细节光谱的分形维数，以分形维数为特征进行谱图检索。同时，设计光谱检索算法和检索策略以提升光谱检索速度、匹配精度和可靠性，并研究建立了一种支持增量式更新的大数据驱动的自动校正模型可对参数进行快速增量式更新。.第三，在云环境下近红外光谱多维度特征建模算法研究方面，针对餐饮食材检测、人体静脉血管识别等复杂应用场景下的近红外光谱数据特征，结合同质异态模型一致性稳定方法，研究基于深度学习的特征析取算法，对高维数据进行分类并简化已有模型的复杂性，提升检测精度不高和鲁棒性。为进一步提高样品成分测定的精度以及稳定性，以近红外光谱大数据为基础，研究并实现了基于标准样品在不同仪器上的差异建立新的模型转移方法。.最后，结合餐饮食材检测和人体静脉血管识别应用场景，研究并构建一个开放共享的近红外光谱大数据云分析平台，该平台可满足海量多源异构光谱数据汇集、光谱大数据分布式存储以及光谱大数据网络协同计算的要求。