多视频时空超分辨率重建技术研究

随着医学、天文、军事以及视频监控等领域中对高分辨率视频需求的增加，如何提高视频成像的分辨率就成了一个迫切需要解决的问题。一个具有广阔前景的方法，就是采用多视频超分辨率重建技术从多个低时空分辨率的视频重建出一个高时空分辨率的视频。现阶段，国内外对多视频超分辨率重建技术的研究还处于初级探索阶段，亟待更深入地研究。本课题的主要创新点是：1.提出一种新的多视角多视频对齐算法，以实现较大几何位置差别条件下的多视频对齐。2.提出一种新的时空重建方法，突破多视频时空联合重建倍数的限制，进一步提高视频时空重建倍数。3.针对多视频重建，提出一种新的正则化模型，将此正则化模型与我们提出的时空重建算法结合，以有效地抑制重建视频的"鬼影现象"。4.对离焦模糊退化模型参数和运动模糊退化模型参数进行估计，同时研究将成像系统的退化模型应用到多视频重建中的方法。

随着医学、天文、军事以及视频监控等领域中对高分辨率视频需求的增加，如何提高视频成像的分辨率成了一个迫切需要解决的问题。一个具有广阔前景的方法，就是采用多视频超分辨率重建技术从多个低时空分辨率的视频来重建出一个高时空分辨率的视频。多视频超分辨率重建过程中需要解决多个关键技术，包括多视频时空配准、提高重建倍数、去“鬼影”提高重建质量、退化模型估计等。其中时空配准是多视频超分辨率重建中的一个重要前提条件，各个视频间的时空对齐精度将直接影响到重建效果。本研究利用平面轨迹的交比不变性，实现了视频的精确配准。同时为了增加项目研究的实用意义，本研究融合宽基线匹配和时空正则化超分辨率重建方法，有效地提升了大视角视频的配准精度。多视频超分辨率重建倍数的限制也是亟待解决的问题，大多数多视频重建算法所需的低分辨率视频个数需要不小于时空重建倍数的乘积。但通常能够获得的低分辨率视频个数是有限的。为了有效提高多视频超分辨率重建的倍数，本研究在融合各视频间冗余信息的基础上，再结合各视频自身的帧间信息，有效地提高了视频的重建倍数。在静态图像重建中，因为只存在空间上的超分辨率重建，所以得到的重建视频不存在时间上的振铃现象。而在多视频的重建中，除了空间上的振铃现象，也会存在较严重的时间上的振铃现象（也称为“鬼影现象”）。本研究对正则化约束进行了深入的研究，较好地抑制了“鬼影”，有效地提升了重建效果。多视频超分辨率重建中涉及到对退化模型的估计，如果能对低分辨率图像在成像过程中的退化函数进行较准确的估计，将会进一步提高重建图像的质量。本研究对图像复原进行了深入研究，提升了退化模型估计的准确性。在采集低分辨率视频的过程中，由于外界环境及设备的限制（如：噪声、云雾），采集到的视频质量往往不够理想，这可能会对最终的超分辨率重建结果产生较大的影响。本研究对采集到的视频进行了有效的预处理，进一步地改善了最终的重建效果。本研究将视频超分辨率重建、图像处理、模式识别、计算机视觉、压缩感知理论和技术应用到多视频超分辨率重建研究工作中，既有重要的基础研究意义，又有潜在的实际应用价值，这也是本研究课题的特色。本研究已发表和录用论文28 篇，其中SCI 7篇，EI 13 篇。已投稿的论文4篇。已授权发明专利1项，另申报发明专利4项，出版专著1部（部分资助）。研究内容无调整和变动，达到了预期目标。