语义驱动的个性化虚拟人重建技术研究

In the project, the problem of personalized human (also called as avator) reconstruction would be thoroughly researched. For the imperfect data captured by the low-price devices, we try to find the new solutions to reconstruct the virtual shape (appearance and body) and implement the personalized body-driver (controller-free) functionalities by using semantic/prior information, where the semantic-driven means we build the personalized virtual human to mostly approximate the real data under the semantic constraints. The main feature of our semantic-driven researching is the robustness of personalized human reconstruction results, especially under the following conditions: imperfect coarse data with higher noise, due to the low-price Kinect captures and less-constrained capturing senario out of the laborartory. So, our project is trying to make the contributions on the basic and fronter researching topics, such as the semantic analysis of 3D model, and virtual human reconstruction, and propose the novel personalized human reconstruction algorithms. Consequently, the project could find the technical foundations to further push virtual human wide applications.

本项目致力于解决虚拟人（也称为化身）的个性化重建问题，针对低成本设备获取的不完美数据，利用语义信息（先验知识等），建立个性化的虚拟人外形（外貌与形体）和体感驱动，在满足先验知识等语义信息的前提下尽可能地逼近真实数据。该方法基于语义驱动进行虚拟人的个性化重建，虽然受低成本Kinect设备和采集条件的限制，处理的不完美原始数据精度更低、具有更强的噪音，仍然能够实现可靠的虚拟人重建。本项目力争在语义分析、虚拟人重建领域做出基础性和前瞻性的贡献，以形成具有创新特点的虚拟人个性化重建方法，为虚拟人的广泛应用奠定坚实的技术基础。

虚拟人的个性化建模是指：虚拟人不仅具有人个体的外形特性，而且具有个体的行为特性。那么，对虚拟人进行个性化建模，不仅要逼真地建立人的几何外形；更要由人方便地控制虚拟人的人体动作，驱动虚拟人发生相应动作变形。.近年来，国际前沿研究提出了融合高层次语义信息（如先验知识）等来克服低层次原始数据的缺陷，原始数据信息提供先验知识的验证基础，先验知识有效指导、消除原始数据信息带来的不确定性。.本项目致力于解决虚拟人的个性化建模问题，针对低成本设备获取的不完美数据，利用先验知识（即语义），建立个性化的虚拟人外形和动作变形，在满足先验知识等语义信息的前提下尽可能地逼近真实数据。.本项目严格按照计划书展开研究，深入研究了个性化虚拟人模型的创建问题。本项目的研究成果在于语义驱动的个性化虚拟人重建新型方法。在核心算法研究取得突破，代表性成果在计算机图形学领域顶级期刊《IEEE Transactions on Visualization and Computer Graphics》（简称TVCG）发表学术论文2篇。此外，在应用系统的开发方面做出贡献，努力推动了个性化虚拟人重建系统走出实验室，真正走向应用，代表性成果在《Computer-Aided Design》、《the Visual Computer》、《Graphical Model》等计算机图形学著名期刊发表学术论文6篇。.本项目完成了预期研究目标，在语义驱动的个性化虚拟人重建问题上，总计发表和录用学术论文18篇，其中：SCI检索的国际期刊9篇、EI检索12篇。申请发明专利3项、全部授权。.在人才培养方面，毕业博士研究生3人、硕士研究生2人。.简而言之，通过本项目的研究，提出了解决语义驱动的个性化虚拟人重建问题的新方法，并为三维虚拟人的后期处理和应用提供关键技术。