面向虚拟试衣的视觉特征建模与优化研究

Because of the difficulty of obtaining a relatively accurate model of human body and clothing, it is difficult for the virtual fitting users under the network environment to find a satisfied and fitted garment. Considering the single-view images are readily available from the web, this project intends to optimize and represent the visual features for virtual fitting from a series of fuzzy, incomplete data from a single-view image, it can be a great aid to virtual fitting. The major research issues are as follows. Firstly, the method of representing the visual features of the human body in the virtual fitting is put forward, and the accurate 3D body model and posture in virtual fitting are reconstructed to obtain the realistic effect with different human models and postures. Then, the representation and parameter estimation model for visual features of garment appearance are established to realize the fine-grained semantic parsing for garment styles. It can estimate and analyze the accurate garment model from single-view images. Finally, the dynamic features of virtual clothing are combined to be optimized and processed, and the realistic results of virtual fitting are captured by physical-based cloth simulation. Through the solution of the above key problems, the theory and method of the representation of the body characteristics in virtual fitting, the semantic analysis of the visual features of garment appearance and the joint optimization of the dynamic characteristics of virtual garment is established, the problems of clothing fit, outfit aspect and realistic effect in the application of virtual fitting are solved, and the users' experience in virtual fitting is improved, so that the visual features for single-view images are better to apply to the virtual-real fusion and interoperability under the network environment.

由于网络环境下不易获得相对精确的人体和服装模型，使虚拟试衣用户难以挑选到满意、合身的服装。考虑到单视点图像易于获取，本项目拟从单视点图像一系列模糊、不完整的数据中重建和优化面向虚拟试衣的视觉特征，以辅助网络环境下的虚拟试衣。首先，设计虚拟试衣中人体特征表示方法，准确重建虚拟试衣中不同体型和姿势下的三维人体模型；然后，建立服装外观视觉特征语义解析模型，识别和描述服装的款式、颜色、风格，实现细粒度的语义理解；最后，研究虚拟服装动态特征优化与评价，并基于物理特性的织物模拟弥补单视点图像中缺乏的三维物理约束。通过上述关键问题的解决，建立虚拟试衣人体特征模型、服装外观视觉特征语义解析模型以及虚拟服装动态特征优化与评价理论与方法体系，以提高虚拟试衣用户的穿着体验，满足网上试衣、购衣中服装合身、款式搭配及着装真实感的应用需求，使单视点图像视觉特征更好地适用于网络环境下的虚实融合与互操作。

由于网络环境下不易获得相对精确的人体和服装模型，使虚拟试衣用户难以挑选到满意、合身的服装。为此，考虑到单视点图像易于获取，项目建立了一套面向虚拟试衣的视觉特征建模及优化方法理论与技术体系，以提高虚拟试衣用户的穿着体验，满足网上试衣、购衣中服装合身、款式搭配及着装真实感的应用需求，从而适应网络环境下的虚实融合与互操作。主要工作包括：（1）针对虚拟试衣中视觉特征感知关联性强、非结构化明显、形式多样复杂的问题，提出了基于单视点图像的视觉特征重建方法。通过从单视点图像中恢复虚拟试衣场景下的三维人体和姿势以及重建服装外观的形状、款式、风格、等视觉特征，有效降低网络环境下获取视觉特征的成本，实现不同人体和姿势下的试衣效果。（2）针对单视点图像中没有的三维物理约束，提出了虚拟着装中动态视觉特征的优化方法。对真实感服装恢复中的视觉特征进行联合优化和处理，采用精确的基于物理特性的织物模拟恢复具有高视觉质量的服装，对服装的面料、褶皱、人体、姿势、款式等进行联合优化，实现虚拟着装的真实感。（3）针对服装复杂多样导致时尚风格难以量化的问题，结合时尚元素和风格特点，建立了一套虚拟试衣中服装的搭配效果的评价体系，以满足时尚风格感知的服装生成需要，为互联网服装消费场景中的个性化服装定制、着装搭配、虚拟试衣等应用场景提供实用的优化策略。. 通过上述研究，研究从一系列模糊、不完整的信息中对虚拟服装的视觉特征进行建模与优化的方法和技术，取得了虚拟着装中人体特征表示模型、服装外观视觉特征语义解析模型以及虚拟服装动态特征优化与评价等阶段性研究成果，完成了预定的目标和任务，为虚拟试衣的应用推广与发展提供理论与技术支持。. 本项目资助发表相关学术论文16篇（其中SCI收录1篇，EI收录8篇），授权发明专利2项，申请并公开专利3项，专利转让2项，登记计算机软件著作权2项。依托项目研究，培养青年教师2名、毕业硕士生13名、在读博士1名。