动态纹理视频识别关键技术研究

The key technology for dynamic texture(DT) recognition is to extract the invariant features of DT sequences, i.e., the features are invariant under different conditions (including 3D and scale transformations, and various illumination conditions), which is a hot and difficult problem in the research field of computer vision and pattern recognition, and has been widely used in video sensing and object recognition. Noticed that "self-similarity" and "randomness" are two core structural characteristics of DT sequences, based on the pixel intensity, temporal brightness gradient, normal flow and Laplacian transform, the core structural characteristics of DT sequences are studied from different views, and the spatio-temporal multifractal spectra are designed to describe the invariant features of DT sequences on both spatial and temporal domains. Spatio-temporal multifractal spectra consist of two components: One is the volumetric multifractal spectrum component that captures the stochastic self-similarities of DT sequences as 3D volume datasets; the other is the multi-slice multifractal spectrum component that encodes fractal structures of DT sequences on 2D slices along different views of the 3D volume, especially the structural features of DT sequences in temporal domain. By studying the invariant features of DT sequences under various conditions, we strive to obtain theoretical breakthrough in the research for invariant feature of DT sequences, and to achieve the efficient recognition and classification of DT sequences.

动态纹理视频识别的核心是提取其不变性特征（在各种运动条件(包括3D、尺度和不同光照)下保持不变的特征），这是计算机视觉和模式识别研究领域的一个热点和难点，在视频感知和目标识别等方面有着广泛的应用。针对纹理视频自相似性和随机性的结构特点，本项目拟基于灰度、时间亮度梯度、法向流和Laplacian变换等从不同角度刻画纹理视频的本质结构，并构建时空重分形谱描述纹理视频在空间和时间方向上的不变性特征。时空重分形谱包含两个方面：一个是立体化重分形分析，主要研究纹理视频在三维情形下的统计自相似性；另一个是多切片重分形分析，主要探索纹理视频在不同二维切片上的自相似结构，特别是纹理视频在时间方向上的结构特征。通过研究纹理视频特征在各种条件下的不变性，力争在纹理视频不变性特征研究方向取得理论突破，并实现对动态纹理视频的高效识别和分类。

动态纹理视频识别的核心是提取其不变性特征（在各种运动条件(包括3D、尺度和不同光照)下保持不变的特征），这是计算机视觉和模式识别研究领域的一个热点和难点，在视频感知和目标识别等方面有着广泛的应用。针对纹理视频自相似性和随机性的结构特点，本项目基于灰度、时间亮度梯度、法向流和Laplacian变换等从不同角度刻画纹理视频的本质结构，并构建时空重分形谱描述纹理视频在空间和时间方向上的不变性特征。时空重分形谱包含两个方面：一个是立体化重分形分析，主要研究纹理视频在三维情形下的统计自相似性；另一个是多切片重分形分析，主要探索纹理视频在不同二维切片上的自相似结构，特别是纹理视频在时间方向上的结构特征。通过研究纹理视频特征在各种条件下的不变性，在纹理视频不变性特征研究方向取得理论突破，并实现对动态纹理视频的高效识别和分类。.在本项目支持下，培养博士后1名，毕业博士5名，毕业硕士9名。共发表论文19篇，其中SCI检索论文10篇（包括2篇IEEE TIP, 2篇PR, 1篇Computer Graphics Forum, 1篇CVIU），CCF-A类会议论文4篇（2篇CVPR，ICCV(oral 论文)和IJCAI各1篇），获授权发明专利3件，受理发明专利6件，获软件著作权2个，并获2015年度广东省计算机学会科学技术奖一等奖1项，2016年度广东省计算机学会优秀论文奖一等奖2项。.本科研团队和亮风台（上海）信息科技有限公司开展产学研合作，双方签署了合作项目“基于GPU的视觉数据处理平台的设计与开发”，并成立了“华南理工大学-亮风台视觉大数据研发中心”，亮风台公司对以上成果进行了完善和转化，开发了增强现实相关产品和系统，取得了良好的经济和社会效益。