基于图像和视频的卡通与动画数字化造型理论与方法研究

According to a given image (or video sequences) and cartoon samples produce an accurate creation of cartoon is an interesting computer graphics research topic that has important theoretical value and a wide range of applications in animation industry. Two-dimensional (2D) cartoon spaces meets the manifold hypothesis. However, the nonlinear higher-dimensional structure of the cartoon sample space lead to not only the expensive cost of producing big mass of samples, but also the sparse density of the space. In this case, it is impossible to create enough samples and to do the interpolation on the manifold directly. In order to solve this problem, we introduce the spatial transformation and mapping function of high-dimensional manifold, which allows us to do interpolation and texture synthesis under the guidance of 2D cartoon manifold. Combining manifold alignment with Bayesian model, we establish the mappings between manifolds space and the corresponding constraint, which can greatly increasing precise of the matching of synthesis, and to avoid the ill matches. And, ultimately, with the help of 3D model's transition, we obtain the optimal coupling, matching, and synthesis.

根据给定的图像（或者视频）和二维卡通造型样本集自动产生相应的精准卡通造型在动漫创作等领域有着重要的理论价值和广泛的应用前景。二维卡通造型的特征空间符合流形假设, 然而因为其样本空间的非线性高维结构必然造成大规模样本建模的成本昂贵以及样本空间的密度稀疏；从而导致我们无法在该流形上建立采样足够密集的样本集并直接在流形空间插值。本课题通过引入高维流形空间的数据转换与映射关系，使得我们可以在足够密集的三维流形数据指导下对二维卡通造型开展空间几何形态的插值和纹理合成。通过流形对齐理论与方法与贝叶斯模型相结合来建立流形空间之间的映射以及相应的约束关系，从而可以大大提高匹配与合成的精准性，有效避免由于语义不明确而造成的匹配与合成的病态结果。并且可以最终实现借助三维模型的过渡来完成输入给定图像和平面卡通造型样本集之间的最优耦合、匹配与合成。

2013年度，本课题项目按照计划书的进展基本顺利，但是鉴于研究内容所涉及的工作量比预计的更大，以及国际会议的投稿期限（例如：SIGGRAPH 2014的截稿期为2014年1月22日，而SIGGRAPH ASIA 2014 的截稿期在2014年5月份左右；论文被录取或者被拒绝的通知大约是在截稿期的3个月之后）等；本课题研究成果的最终体现（即：学术论文发表和专利申请等）会推迟到2014年中下旬。目前正在开展的主要课题是“基于图像的漫画生成”，这项工作采用机器学习策略，通过训练计算机向人类艺术家学习，来绘制不同风格的漫画。..“基于图像的漫画生成”的技术路线主要分为三个步骤，即.1..使用Kinect和数码相机提取用户骨骼数据和深度数据，并对数据进行预处理；.2..通过检测和计算人物的轮廓和3D骨骼模型数据来驱动预先建立的标准3D人体模型；通过数据处理和耦合得到符合用户形态的个性化3D人体模型；.3..对上述得到的个性化3D人体模型进行3D空间到2D空间的边缘提取和精确映射，并获得3D模型身体部分的控制锚点。在2D数据库中，对身体各部分进行匹配检索得到相应的差值样本集合，使用B-样条插值算法对二维数据进行精确计算和纹理合成，生成符合用户形态的2D人物漫画。.4..对于非人物对象，通过分析每一对样本数据 (图像+彩色漫画) 上物体之间的边缘、色彩、结构等关系，提取相应的特征并建立从图像到漫画的先验知识表达和映射函数；..目前已经初步完成的工作包括：.1. 分别建立了人物漫画和色彩漫画样本库，以便于开展机器学习的算法训练;.2. 通过交互标注建立图像样本、2D人物漫画样本、以及3D人物模型之间的几何、色彩、纹理等的对应关系； .3. 通过交互标注建立图像与彩色漫画样本之间的几何、色彩、纹理对应关系；.4. 提出了与上述研究相关的机器学习和图像绘制技术路线，相关的算法实现工作也正在按照计划执行；预计在2014年上旬能够完成全部的工作；.5. 准备把研究论文投稿到2014年的SIGGRAPH/ASIA或者与本题目相关的其他图形学会议上，2014年中旬会有最终结果。.