基于数据驱动的纹理元素分析、合成与编辑技术研究

Analysis, synthesis and editing of textures and materials in photographs and videos is a challenging task, playing a significant role in computer graphics, computer vision and digital multi-media industries. Its main difficulties include: traditional mathematic models or parameterize processes cannot describe the variety of texture elements and the complexity of their properties consistently and accurately; it is hard for existing algorithms to provide control mechanism to the procedure of synthesis and editing; since textures always cover large-scale and high-dimensional data, its calculation is expensive and time-consuming. Therefore, this proposal plans to construct the training database composed of texture samples by combining methods in machine learning, and to extract and generate statistical models for texture elements from input images and/or video sequences by employing data-driven based matching approaches so that the synthesis and editing operations are efficient and controllable. Then we attempt to implement high performance computations through improving search strategies, designing reasonable data structures and investigating hardware acceleration techniques, and to use simple and friendly sketch-based interaction interface to help collecting samples. In summary, this project aims to seek the universal representation of texture elements based on the methodology of data-driven, which can be applied to effectively accomplish many synthesis and editing tasks on textures and materials under large scale and complex scenes contained in photos and videos with high performance.

照片及视频中纹理元素的分析、合成与编辑技术是数字媒体方向的关键技术之一，具有重要研究价值。其难点在于：传统数学模型或参数化过程无法统一而准确地描述纹理元素的多样性及其属性的复杂性；现有算法很难为合成与编辑过程提供可控机制；纹理数据的规模性和高维度性使得高效计算变得耗时而困难。针对上述难点，本项目拟结合学习的思路，构建纹理元素样本库及其特征数据集，采用基于数据驱动的匹配方法获取输入图像或者视频序列中纹理元素的分类及对应的特征集标定；并以此生成纹理元素类别及属性分布控制图，指导后续的编辑与合成过程；通过改进搜索策略、设计合理的数据结构和研究硬件加速技术以实现高性能计算；并拟利用友好简单的交互平台实现样本采样的预处理工作。本课题旨在借助数据驱动模型寻求纹理元素的通用表达方式，直观高效地控制和完成复杂场景下纹理元素的编辑与材料外观的细节模拟。

纹理广泛地存在于自然世界中，它是人们描述和区分真实对象不可或缺的因素。纹理及纹理技术的科研工作始终是计算机图形学、计算机视觉、模式识别等众多领域的研究重点之一。. 目前国内外研究人员已经在纹理技术相关工作中取得了许多优秀成果。但是大部分的纹理合成与编辑方法依然偏向于处理各向同性性质的纹理。好的纹理样例如何产生、是否有更通用的方式表达纹理、怎样的标准可以评价纹理和纹理的表达方式、能否从复杂图像场景中分析纹理模式、之后这些分析与评估工作能用于哪些任务、针对巨大量的数据如何改进相似度搜索的效率等问题依然有待解决和探索。因此，本项目主要针对纹理元素的普适性表达，这种表达方式在复杂自然场景外观重建与编辑中的应用以及高效计算这三个方面展开。 . 项目提出了基于纹理性系数的可合成方式和一个用于推荐合适合成方法的分类器，实现了纹理的通用表达框架；提出了高阶可能性约束下基于双边网格的图像视频分割方法用于协助纹理元素的采集；提出了基于控制映射图的编辑方法，解决了复杂场景材料外观的分类合成问题；提出了基于网格顶点的随机搜索方法，达到了5-10倍的速度提升，并拓展到卡通纹理元素的自动生成。项目资助发表论文12篇，其中SCI收录9篇，EI收录2篇，EI会议收录1篇。培养研究生6名，其中4名已毕业，2名在读。项目投入总经费26万元，支出11.6348万元，结余14.3652万元，包括因财务结算冻结的1.4000万元，实际结余12.9653万元。剩余经费仍按预算用于本项目研究后续支出。