基于混合属性分析的人体行为识别方法研究

The action attributes are usually defined manually, and therefore human-defined attributes cannot guarantee the complete description of all visual information for an action class. To overcome the subjectivity of human-defined attributes, this project plans to utilize hybrid attributes (data-driven attributes and human-defined attributes) to recognize human action. We focus on the following three aspects. First, we study the algorithm to generate data-driven attributes, and propose context-constrained fuzzy clustering algorithm. We expect that data-driven attributes not only complement for human-defined attributes, but also capture the spatio-temporal relationships. Second, to make full use of semantic features of hybrid attributes, we propose an attribute-constrained weak supervision multi-task learning method, which simultaneously builds the relationship among low-level features, data-driven attributes, human-defined attributes and class labels. Finally, we investigate the classification problem of a hybrid attribute-based method for action classes without training samples and explore zero-shot learning strategy under multi-task learning framework. The proposed algorithm can fully mine the semantic information, which enhances the practical usage of attribute-based methods.

行为属性需要人为定义，因此很难保证完全描述行为类别的所有视觉信息。针对人为定义属性相对主观的问题，本课题拟研究利用混合属性（数据驱动属性和人为定义属性）对人体行为进行识别。我们拟在以下三个方面开展研究。第一，研究数据驱动属性的生成方法，拟提出语义约束模糊聚类方法，使数据驱动属性既与人为定义属性互补又能考虑特征点之间的时空关系。第二，为了充分利用混合属性的语义特征，拟提出属性约束弱监督多任务学习方法，建立底层特征、数据驱动属性、人为定义属性和行为类别之间的关系。第三，针对混合属性方法中无训练样本类别的分类问题，拟研究多任务学习框架下的零样本学习方法。该研究学习得到的模型可以充分挖掘语义信息，帮助提高属性方法的实用性。

人体行为识别是视频分析的核心问题，目前已成为模式识别和计算机视觉的研究热点。鉴于该领域在视频检索、智能监控、无人驾驶、人机交互等方面广阔的应用前景，学术界和工业界对精准的人体行为识别技术的需求日加迫切。本项目针对这一问题，经过三年的研究，提出多个创新性的技术方法。在混合特征学习方面，提出基于多个连续虚拟视觉通路的融合算法、基于交叉域提升的融合算法、学习判别迁移稀疏编码算法、对偶主成分分析算法；在语义信息学习方面，提出基于语义池化的行为识别算法、基于局部随机稀疏编码的行为识别算法、学习完备判别局部特征算法、基于方差池化算法；在异常行为检测方面，提出基于紧致低秩稀疏学习的异常行为检测算法、基于一致性稀疏表示的异常行为检测算法。以上三方面提出的所有算法均在公开数据集上进行了验证，实验结果超过同期先进算法。本项目发表论文19篇，其中SCI检索18篇，申请国家发明专利7项。培养硕士研究生4名。