基于块的动态场景曝光融合算法研究

Exposure fusion becomes an important research area in computer photography, which improves the digital imaging device the capability on dynamic range. Extensive researches have been done in exposure fusion, but most focuse on the static scenes. Ghost and blurring artifacts are introduced by applying these methods. To address this problem, there are two kind of exposure fusion methods for dynamic scenes: the registration-based and the ghost-detection-based methods. These methods work only for the scenes with the simple background and the small motion, and cannot handle the complex background and the large motion. So, this project proposes the design of context model based on the longitudinal similar patch and the fuzzy matrix based on the reliability, combining which the horizontal patch match method is also studied. Then, exposure fusion is implemented based on the longitudinal similar patch and the horizontal similar patch. In this study, the relations between patches and their reliability are fully exploited, and the advantages of the patch-based methods in handling the complex background and the large motion are taken, so that a realistic fused results can be obtained. The research of this project will provide new clues for computer photography for dynamic scenes, and will enrich the theory of image and video processing theory and methods.

曝光融合是计算摄影中最重要的研究内容之一，它提高了数字成像设备在动态范围上的处理能力。虽然曝光融合在国内外已经有广泛的研究，但大部分只针对静态场景进行处理，将这些方法直接应用于动态场景会产生鬼影和模糊效应。针对该类问题，目前有两种动态场景的曝光融合方法：基于配准和基于鬼影像素检测的曝光融合方法。这两种方法对于背景简单和具有较小运动的场景具有很好的处理效果，但不能处理包含复杂背景和运动的场景。因此，本项目提出设计一种基于纵向相似块的上下文模型，建立基于可信度的模糊矩阵，并结合上下文模型和模糊矩阵研究横向块匹配的方法，然后根据纵向相似块和横向相似块实现曝光融合。该方法有效利用图像块间的关系，以及基于块的图像处理方法在具有复杂背景和运动的场景的处理上的优点，使融合效果更好。该研究能为计算摄影中动态场景的其他图像处理方法提供一种新的解决思路，并丰富了图像\视频处理理论和方法。

曝光融合是计算摄影中最重要的研究内容之一，它提高了数字成像设备在动态范围上的处理能力，而动态场景曝光融合的研究具有广泛的应用前景。本项目在前期研究的基础上，旨在从不同的角度开展动态场景的曝光融合算法的研究。本项目深入研究多曝光图像横向和纵向相关性特征，并结合到曝光融合中，提出一系列动态场景的曝光融合方法，主要研究内容和成果包括：（1）利用空间结构在不同曝光图像间保持稳定的特性，提出结合空间结构信息的快速块匹配算法，大大提升融合的效率。（2）在利用强度在多曝光图像间对应关系时，提出基于局部强度线性相关性的块匹配算法。（3）利用低秩矩阵补全模型在背景恢复上的优势，将其作为纵向相关性约束条件加入到曝光融合中，提出基于视网膜理论和低秩矩阵补全的曝光融合方法。（4）针对传统的低秩矩阵补全模型在曝光融合中容易产生鬼影和边缘噪声的缺陷，提出基于双向结构相似性和加权低秩矩阵补全的曝光融合方法，提出基于全变分约束和低秩矩阵补全的曝光融合方法，提出结合局部空间约束和低秩矩阵补全的曝光融合方法。理论分析和实验结果表明本项目提出的方法对去除鬼影，恢复细节是有贡献的。本项目的研究成果为计算摄影中动态场景的其他图像处理方法提供一种新的解决思路，并丰富了图像\视频处理理论和方法。而且本项目部分算法已经写在一项与医学成像有关的专利中，能为医学图像处理领域提供一种新的研究思路和技术支持。