面向创作的音乐与舞蹈的关联计算模型

This project aims to build the computational music-dancing correlation model for the creative authoring of animation and games. It introduces the texture space which can express the time varying dynamics of temporal data sequence and establishes the integrated music-dancing correlation model based on the unified computation architecture. It evaluates music and dancing art-pieces in terms of multi-dimensional attributes including novelty, style similarity, etc. and the algorithmic idea of texture synthesis will be employed to choreograph music-motion in the texture space based on the integrated music-dancing correlation model. It will also investigate real-time music-motion choreography by the integrated use of the situated AI, precomputing technique and online shortest path method. This project will provide the computational model and cutting-edge technology for the creative media industry.

本项目拟面向文化创意产业中的编舞与配乐等创作需求，探索建立音乐与舞蹈的量化计算关联模型。引入可表达时变动态特性的纹理空间，并基于统一的计算框架，建立一体化的音乐与舞蹈关联计算模型。面向艺术家的创作需求，对编舞和配乐的作品从新颖度、匹配度等多个维度上进行分析与评价，并基于音乐与舞蹈一体化关联计算模型，借鉴纹理合成的算法思想，提出新的基于纹理空间的编舞与配乐方法。另外，也将针对即兴创作需求，综合运用现场反应式人工智能、预计算和在线最短路径方法，来探索具有实时计算能力的在线编舞和配乐方法。该项目不仅对计算机动画、数字化艺术、多媒体计算、以及多通道感知等应用基础理论和学科交叉有学术贡献，也将为我国的文化创意产业提供计算模型和应用技术支持。

本项目面向数字艺术创意产业中编舞与配乐等创作需求，结合近年来以Neural Arts为代表的深度机器学习方法在艺术创作领域的相关研究与应用，融合多模态数据之间的协同分析方法，在深度学习框架与特征空间上探索建立具有一定通用性的音乐与舞蹈关联计算模型。面向深思熟虑、反复推敲的创作方式，提出基于深度学习的多维度编舞与配乐评估方法，研发数据驱动的音乐与舞蹈的一体化编排。同时，综合运用人工智能方法，结合公开数据集和自行构建的CAPG音乐舞蹈基准数据集，探索了基于深度学习的音乐舞蹈关联计算模型和舞蹈动作预测算法，研发了计算机辅助编舞的原型系统，初步实现了音乐驱动的舞蹈编排功能。本项目面向数字创意产业和艺术创作的应用需求，提供了基于深度学习方法的多模态数据之间的关联计算模型和协同分析方法。本项目不仅对计算机动画、数字化艺术、多媒体感知等应用基础理论和交叉学科有学术贡献，还有望为数字创意和艺术创作的智能化应用提供了方法和途径。