基于可逆变换的高维数据无损降噪机理研究

Noise is the main obstacle to increase the resolution of high-dimensional data, so high SNR data acquisition and denoising become the research hotspots. Coded measurement can significantly improve the SNR of data but with difficulty in signal coding, and denoising data processing based on lossy estimation of data will cause information loss, hard to weight the denoising performance and over smooth. This project plans to study a lossless denoising data processing theory for high-dimensional data, based on the achievements of coded measurement research. The main idea can be described as: utilizing reversible matrix to make the element feature more reliable and accurate with no information lossless. The main research contents are included as below: research the noise distribution characteristics in reconstructed results of reversible transformation, study on the lossless denoising mechanism based on reversible matrix, solve the boundary of denoising performance realized by reversible matrix transformation, explore the compatibility between reversible transformation lossless denoising and existing denoising methods. The implementation and achievement of this project will rich coded measurement denoising theory, and provide brand new lossless denoising theory for hyperspectral classification, handwritten character recognition, object identification in multidimensional night vision images, etc.

噪声是当前高维数据进一步提升精细度的主要障碍，高信噪比数据采集和高维数据降噪已成为信息技术的研究热点。物理编码测量降噪效果明显但编码实现困难，同时数据处理降噪是基于对原数据的有损估计，从而会造成部分信息丢失，降噪性能和过渡平滑难以取舍。针对这一点本项目拟基于编码测量研究成果，探索一种基于可逆变换的高维数据无损降噪理论，其核心思想是利用可逆变换实现高维数据特征更准确、稳定表达，完成高维数据无损降噪，优势是易于与传统降噪方法兼容，可靠的进一步降低数据噪声。本项目主要研究内容包括：分析可逆变换结果的噪声分布特性、研究可逆变换无损降噪机理、求解可逆变换实现信噪比提升的边界及条件、探索可逆变换无损降噪与传统降噪方法兼容特性。本项目的研究及其成果对丰富编码测量降噪理论具有重要意义，可为高光谱目标分类、手写字符识别及多维夜视目标探测等提供新型无损降噪理论与技术支撑。

噪声抑制是一项传统又广泛的研究课题，除了传统的图像、声音等数据需要可靠的降噪技术外，高维光谱数据、GNSS信号等测量信号也需要稳定的降噪技术。由于图像和声音等数据具有较强的空间相关性和局部冗余，因此利用局部特征构造滤波器来降噪成为自然的选择，比如均值滤波器、维纳滤波和自编码网络等。但是这类降噪技术，必然会带来数据的丢失，也就是有损降噪。本项目探索了一种基于可逆变换实现高维数据无损降噪的方法，通过最大化类间的距离实现数据降噪，主要研究了一下几项研究内容。首先研究了数据降噪的评价标准，摒弃了传统的信噪比定义，重新利用类间距离作为信噪比的评价标准，这样的评价标准与分类精度直接相关。其次，研究了不同可逆变换下的信噪比定量评价形式，本项目提出利用瑞利商作为可逆变换的性能的评价指标，进而获得了可逆变换信噪比提升的上下界。然后，本项目研究了可逆变换与传统降噪技术的兼容性，由于无损降噪技术通过估计最大化类间距离来实现降噪目的，该方法具有良好的兼容性。研究结果显示本项目成果与传统的BM3D、维纳滤波等降噪方法具有良好的兼容性，可以在这类降噪技术基础上进一步提高数据性能。最后，除了传统的图像、光谱数据外，本项目的方法也在GNSS信号分类中得到了验证。通过本项目的成果，正在与香港理工大学开展GNSS信号分类的无损降噪技术应用研究。本项目提出的无损降噪在PIE的人脸数据集中，可以提高5%的分类精度，而在GNSS信号中可以达到10%的分类精度提升。另外，基于本项目的成果，开发了可见光、红外图像无损增强技术，可以显著改善受到雾气、抖动影响的图像质量。