融合多级语义表达的体育视频事件分析

In recent years, video semantic analysis technology has become one of the hot research fields due to its efficient information processing and intelligent regulatory capabilities on large-scale video data. With the rapid development of China's internet industry and the continuous growth of network data volume, scientific management and intelligent analysis technology of sports video data need to be further optimized and upgraded urgently. Recently, more and more attention has been paid to the deep learning based video analysis technology, however, the low extraction precision of video details and aliasing of multi-level semantic information problems restrict the development of deep learning based video understanding algorithms. This project intends to study the extraction and fusion method of multi-level semantic information in sports video, explore the implicit correlation between semantic at different levels, and strengthen the model's semantic understanding ability on macro group behaviors. Utilizing the idea of hierarchical feature fusion, individual posture characteristics and the group movement pattern features are extracted respectively and integrated in the spatial domain and the time domain to establish the bottom-up multi-layer semantic fusion model and understand the semantic events in sports videos. This research provides technical support for intelligent sports video analysis and broad prospects in the application of video retrieval, personalized video recommendation and professional tactical analysis.

视频语义分析技术凭借其高效的信息处理和大规模视频数据智能化监管能力，成为近年来热点研究方向之一。随着我国互联网产业的快速发展以及网络数据量的持续增长，体育视频数据的科学化管理与智能分析技术急需进一步优化与升级。近些年来，基于深度学习算法的视频分析技术得到了越来越多的关注，但视频细节提取精度低，多级别语义信息混叠等问题一直制约着在基于深度学习的体育视频语义理解算法的进一步发展。本项目拟研究体育视频中多级语义信息的提取与融合途径，挖掘各级别语义之间隐含的相关性，加强深度学习模型对于宏观群体行为的语义理解能力。利用分层特征融合的思想，分别对个体姿态特征与群体运动模式特征进行提取，最后将各级别特征在空间域和时间域进行整合，建立自底向上的多层语义融合模型，对体育视频中的语义事件进行理解。项目研究为智能化体育视频分析提供技术支撑，在视频检索与个性化推荐、专业战术分析等领域具有广泛的应用前景。

视频行为识别是计算机视觉领域的热点研究方向之一，在视频智能化分析、监控视频异常行为检测和人机交互等领域有广阔的应用前景。除空间域表观特征外，视频数据还包含丰富的时间域运动信息。运动信息与行为之间具有较大的关联性，是行为识别算法中广泛采用的数据形式。视频中的运动信息包括全局运动和局部运动。目前的行为识别算法大多采用光流估计来获取帧间运动场，其本质上获得了一种全局和局部运动相互叠加的混合运动。实际上，全局和局部运动处于不同的语义空间。全局运动表达了镜头的运动，体现了拍摄者的意图；局部运动由前景中的人或物体运动产生，与行为之间存在较强的关联性。因此，全局和局部运动独立化建模在行为识别任务中是很有必要的。.提出了全局运动估计算法，基于统计分析的全局运动估计算法、基于迭代优化的全局运动估计算法和基于神经网络的全局运动估计算法。实验证明，三种算法具有不同的侧重点：基于统计分析的算法运算速度较快，可基于少量的数据实现快速全局运动估计；基于迭代优化的算法具有较强的鲁棒性和准确性，可以有效避免非全局运动分量对全局估计产生的影响；基于神经网络的算法具有较高的运算效率，可以嵌入到光流估计深度网络的末端，实现从视频帧到全局运动的端到端计算。.提出了一种基于局部运动模式的行为识别算法。首先，提出了一种基于时空域阈值的局部运动估计算法，通过空间域和时间域两阶段优化，有效抑制场景中的非局部运动分量，从混合运动中分离出局部运动。随后，结合局部运动估计，提出了一种基于局部运动模式的行为识别算法。实验证明，在行为识别任务中，局部运动模型在准确性和收敛性方面均优于混合运动模型。.提出了一种融合全局和局部运动模式的群体行为识别算法。首先，基于全局和局部运动估计算法分离混合运动中的全局和局部运动。随后，采用双流3D卷积神经网络实现全局和局部运动模式特征的提取与融合。在此基础上，结合场景关键视觉区域的特征变化规律，进一步提出了一种融合运动模式和关键视觉信息的篮球语义事件识别算法。实验证明，全局和局部运动模式具有互补性，融合全局和局部运动模式并结合视频关键视觉信息可以有效提升算法的篮球语义事件识别性能。