自然纹理的对称正则化优化方法及其应用研究

Internet provides people with ubiquitous natural texture sources. How to automatically extract high quality symmetrized texture exemplars from internet texture images becomes a crucial issue for improving the texture synthesis effects, and has become a challenge in computer graphics. This project will focus on symmetry regularized optimization methods for natural textures and its applications. We will propose a novel symmetry regularized optimization framework for natural texture images. To handle the randomly distributed lighting, deformation and scale fields within natural texture images, we will present symmetry regularized optimization methods for lighting, deformation and scale fields, respectively. We will break the limitation of traditional methods in extracting exemplars from texture images with non-uniform lighting, deformation and scale distributions. Based on the interconnected lighting, deformation and scale of natural textures, we will present a lighting, deformation and scale fused global optimization method to improve the flexibility and diversity of the exemplar extraction. In addition, we will demonstrate several symmetry-aware texture synthesis applications, including texture replacement, texture inpainting, texture abstraction and compression. This project will realize automated extraction of symmetrized texture exemplars and symmetry-aware texture synthesis. Also, we will potentially improve the state-of-the-art texture techniques from pixel-based, patch-based or feature-based optimization to symmetry-aware semantic optimization.

网络环境为人们提供了触手可及的自然纹理素材，如何从网络纹理图像中自动提取对称正则化程度较高的理想纹理样图，从源头上提高后期纹理合成应用的效果，是研究人员面临的新挑战。本项目研究自然纹理的对称正则化优化方法及其应用，将系统地建立自然纹理的对称正则化优化理论框架。针对自然纹理随机变化的光照、形变和尺度分布，分别给出纹理光照场、形变场和尺度场的对称正则化优化方法，突破传统只能从光照、形变和尺度变化较小的纹理图像中提取样图的局限；基于纹理光照、形变和尺度的耦合性，提出整合光照、形变和尺度的全局对称正则化优化方法，提高样图在光照、形变和尺度定制上的灵活性和多样性，并实现对称感知的全局优化纹理合成应用(包括纹理替换、纹理修复、纹理抽象与压缩等)。本项目将实现从纹理样图自动提取到纹理合成应用的全局对称感知，从而将传统纹理技术从像素级、方块级和特征级的优化控制拓展到对称感知的语义级优化控制。

近年来，由于海量图像数据存储和传输成本的大幅降低，以及图像搜索引擎技术的突飞猛进，人们可以非常便捷地从网络环境中获取大量的自然纹理图像，为人们利用纹理合成技术进行各种后期制作提供了触手可及的纹理素材。然而，由于从网络中获取的自然纹理图像通常拍摄于特定场景下，它们的纹理单元大都具有随机分布的光照、形变及尺度变化，因而往往不能直接作为理想的纹理样图来进行后期纹理合成应用。为了有效利用网络纹理图像，进行各种艺术化再创作，人们通常需要对纹理样图进行人工的选择和编辑。因此，如何从网络环境中大量存在的自然纹理图像中，自动且快速地获取理想的纹理样图，从而更有效地完成后期纹理合成和艺术化再创作，是摆在计算机图形学研究人员面前亟需解决的问题。本项目研究了自然纹理对称正则化优化方法及其应用。我们系统地建立了自然纹理的对称正则化优化理论框架。通过分析自然纹理随机变化的光照、形变和尺度分布，我们分别给出了纹理光照场、形变场和尺度场的对称正则化优化方法。从而，我们有效地突破了传统方法只能从光照、形变和尺度变化较小的纹理图像中提取样图的局限。通过深入研究纹理光照、形变和尺度的耦合性，我们还提出了整合光照、形变和尺度的全局对称正则化优化方法。我们从而有效地提高了样图在光照、形变和尺度定制上的灵活性和多样性，并最终实现了对称感知的全局优化纹理合成应用，包括纹理替换、纹理修复、纹理抽象与压缩等。通过本项目的实施，我们成功实现了从纹理样图自动提取到纹理合成应用的全局对称感知，从而将传统纹理技术从像素级、方块级和特征级的优化控制拓展到对称感知的语义级优化控制。本课题组从立项开始，严格按照项目任务书计划推进各项研究内容。研究过程中，我们始终围绕着明确的研究目标，时刻保持思路清晰，时刻保持研究方法科学有序，时刻保持经费使用合理规范，最终在项目合同期内，项目组圆满完成预期目标。我们共发表论文12篇，其中SCI期刊5篇（其中JCR 1区2篇，2区2篇），EI国际会议7篇，获得发明专利1项，软件著作权3项，培养硕士毕业生4名，获得国际会议最佳论文奖1项。.