运动小目标鲁棒超分辨率重建模型研究

This project studies the super-resolution reconstruction model of small moving objects. First, an edge structure indicator based on scatter matrix is constructed, which can characterize the local structure feature dynamically. On this basis, we build a local structure adaptive image prior model that can preserve and enhance the edges while suppressing the noises. Then, we construct a multiscale feature vector based on the structure characteristics of different scale, and further build a multiscale feature robust fidelity model by considering efforts of parameter error to reconstruction model. The proposed fidelity model can be tuned adaptively in accordance with the level of the parameter error, which can increase the fidelity of the reconstruction model and robust to the error of parameters. By considering the spatial-temporal relevance of the parameter error levels in image sequence, a robust space-temporal variational reconstruction model is constructed by integrating the structure adaptive image prior model and the multiscale feature robust fidelity model. The space-temporal control parameter can be choosing adaptively according to the pace-temporal distribution of the level of parameter error, and therefore can increase the ability to preserve and enhance edge structure and robust to the parameter error.

本项目围绕解决运动小目标超分辨率重建模型展开研究。首先，通过构建一种基于散布矩阵的边缘结构指示符，动态表征图像的局部结构特征，在此基础上，建立一种局部结构自适应图像先验模型，实现边缘结构保持和增强的同时抑制噪声。其次，根据不同尺度所具有的结构特性，构建多尺度特征向量，进一步考虑参数误差对重建模型的影响，建立一种考虑参数误差的多尺度特征鲁棒保真模型，该保真模型能够根据参数误差的水平自适应进行调节，从而在提高重建模型保真度和对参数误差的鲁棒性。最后，通过考虑图像序列间参数误差水平的时空相关性，集成结构自适应图像先验模型和多尺度特征鲁棒保真模型，建立鲁棒时空变分重建模型，能够根据参数误差水平的时空分布对时空控制参数进行自适应调节，提高重建模型边缘结构的保持和增强能力以及对参数误差的鲁棒性。

在交通监控场景中，由于摄像机拍摄距离比较远或摄像机分辨率低，通常拍摄到的图像分辨率比较低，难以从图像中分辨出违法车辆或肇事逃逸车辆的车牌信息，从而为案件的侦破造成困难。超分辨率重建就是利用低分辨率图像序列来重建一帧高分辨率图像，使得重建后的图像包含更多细节特征。目前，国内外研究者主要关注静止车辆或慢速运动车辆的超分辨率重建进行研究，但在实际交通监控场景，车辆通常运动较快，涉及的是快速运动目标的超分辨率重建问题，本研究围绕该问题中的运动估计和重建模型展开研究。. 边缘结构是图像的重要视觉特征，超分辨率技术主要目的是重建出更多的图像边缘结构信息。为此，本报告提出一种基于边缘结构指示符的自适应超分辨率重建方法，提高重建模型对边缘结构的保持和恢复能力。通过综合考虑几何距离、灰度以及梯度信息，构造一个具有更强表征能力的三边散布矩阵，在此基础上，构建边缘结构指示符，实现边缘结构特征的表征。进一步，提出一种基于边缘结构指示符的自适应超分辨率重建模型，先验模型中的范数参数由边缘结构指示符自适应控制。通过对车辆的车牌进行仿真和实际实验，与现有主流方法相比，能够重建出更多的车牌字符信息，并将其应用于车牌识别系统中，可以提高车牌识别率。. 由于运动参数估计通常会存在误差，特别是针对快速运动目标的运动参数估计。为了提高重建模型对运动参数估计误差的鲁棒性，本报告提出一种基于非局部先验模型的鲁棒超分辨率重建方法。前期研究表明，运动估计误差对重建的影响，可以看作向图像中引入噪声。首先对图像去噪模型中的非局部先验模型改进，并将其应用到超分辨率重建中，提出一种鲁棒性更好的超分辨率重建模型，实现保持和增强图像边缘结构的同时提高对运动估计误差的鲁棒性。通过仿真和实际实验验证了所提出方法的有效性、优越性和实用性。