基于深度学习的数据驱动三维动画生成方法研究

With the development of various 3D animation technologies, the number of the database of 3D animations is growing, which provides sufficient data for the data-driven 3D animation generation. Deep Learning techniques have been successfully applied to generate various temporal sequential data, such as text, dialogue, etc. However, due to the noise, redundancy and the large size of 3D animations, Deep Learning algorithms cannot be directly applied to generate 3D animation data. This project is proposed to alleviate the challenges by adapting Deep Learning models for 3D animation generations. In specific, the goals of the project are: (i) to devise a dynamic feature descriptor to measure the deformation of triangles in 3D animations, which enables to measure the similarities between 3D animations by comparing the corresponding dynamic feature descriptors, (ii) to propose a modified deep neural network model for the data-driven generation of 3D animations, including the coding and decoding methods of 3D animations for efficient processing and the 3D animation synthesis from network outputs.

随着三维动画制作技术及其生成方法的多样化发展，日益增多的三维动画数据集为研究便捷化的数据驱动三维动画生成技术提供了充分的数据储备。深度学习算法已经在近期诸多学术研究中被证明具备生成文本、对话等时序数据的效能。然而，原始三维动画中的噪音、冗余信息，以及过大的数据尺度，成为制约深度学习算法应用于三维动画生成的瓶颈。本项目从三维动画网格面片出发，分析和量化面片形变量从而设计三维动画动态特征描述符，进而通过比较三维动画描述符设计三维动画相似度的计算方法；基于已有的三维动画数据集，融合深度学习算法，提出三维动画的编码、解码方法，使得深度学习算法能够高效处理大尺度的三维动画数据并提取行为信息用以驱动给定的三维网格，最终实现数据驱动的三维动画生成算法。

在此项目的资助下，我们在三维动画分析、处理与数据合成等方面开展了深入研究，也在其他相关图形图像领域展开了研究和探索。近三年时间内，在此项目的资助下，共在国际学术期刊、会议中发表论文8篇（含CCF推荐的SCI期刊论文4篇）。此外，还有多篇受此项目资助的论文处于已经投稿或基本完成且正在投稿的状态中。在本次项目研究工作中，项目组成员以有效的沟通逐步取得了良好的工作进展，最终完成了相关工作，达到了研究目标。..在已经发表的论文中，8篇发表在本领域前沿（CCF推荐目录）国际学术期刊、会议当中，包括ACM多媒体期刊（ACM-TOMM）、计算机视觉（TVC）、交互式3D图形学与游戏（I3D）、计算机动画与社会代理（CASA）、多媒体工具与应用（MTA）等，完成了原定的在国际主要学术期刊及会议中发表论文6篇的目标。..基于研究和实验结果，项目成员共同撰写、发表学术论文，撰写项目研究报告。所发表的论文涵盖了三维模型特征表示、模型编辑、动画行为分析和三维动画自动合成等领域。特别地，在三维动画数据处理与合成这一领域，我们发表了4篇SCI期刊论文，分别发表在ACM TOMM， TVC和CAVW中；此外，还在多媒体工具与应用（MTA）及其它相关高水平国际学术会议中发表多篇相关论文。同时，基于所述研究成果，我们已获授权软件著作权2项；已申请实用新型专利3项。..在实际研究过程中，我们经历了许多探索的过程，实际的工作并没有完全按照一开始所制定的研究路线所进行。但是，总体的研究框架与计划书中所写的基本一致。..在此项目的资助下，项目组成员多次参加国内外的学术会议，去报告我们的研究成果并且进行学习和交流；培养了6名硕士研究生，其中，3名硕士生已经毕业，其他3名硕士生将陆续在两年内毕业。..项目执行期间，我们对于经费进行了合理支出。所有的经费开销符合原定的预算。