基于人-物互信息模型的HOI行为异常侦测机制研究

Although psychology studies have demonstrated that Human-Object interactivity plays an important role in human behavior recognition, this research area hasn't been explored thoroughly. According to the human abnormal behavior detection problem, A new method based on human-object mutual information is proposed in this project. .The project includes three main jobs: 1)By deeply analyzing the feathers of human, object, geometry and symbiosis relationship, taking the confinement of rigid body and kinetics of the human body into account, the human-object interbehavior self-adaptive model will be constructed based on hierarchical random field. 2)Based on the atom pose dictionary, the prior marginal distribution for joint location is studied with the confinement of space and kinetics. Considering active learning, sample pool optimal model is constructed with the parameters being adjusted through the feedback of information centroid reinforcement model which effectively shield the learning process from plenty of feedback noises. 3)To imitate the natural thinking pattern of human, the distance between actions, poses and objects (APO Distance) of different samples are discussed to represent the abnormal quantization of action. Upon the APO Distance, a new mechanism of HOI Abnormal Activity Detection is built..This research project will help to enrich and develop the basic theory of human behavior understanding. It provides a new scope for the academic research of abnormal human behavior detection.

心理学研究证明人-物交互作用在人体行为识别中具有非常重要的作用，但鲜有研究者在该方向做深入研究。本课题以人体异常行为识别问题为研究对象，提出了一种新的基于人-物互信息的异常行为侦测方法。主要工作包括：1）深入分析人-物共生关系，综合考虑人、物外观特征、几何特征，共生特征，引入刚体约束及人体动力学约束，融合多元信息，基于分层随机场思想构建人-物交互行为自适应表达模型；2）基于主动学习机制，引入原子动作字典，研究人体关节空间位置先验边缘分布特性及空间、动力学等多元约束，基于信息质心强化模型，反馈调整模型参数，完成样本池优化模型构建及新样本的分类策略智能调整；3）模拟人的自然思维模式，研究不同样本间行为、动作、目标物体之间的"距离"以表征行为的异常度，构建一种全新的APO距离异常行为度量机制。本项目研究有助于丰富和发展人体行为识别与理解的理论研究体系，并为异常行为侦测研究提供了全新的研究方向。

人体行为识别在视频监控、人机交互、视频重建等领域都有广泛的应用。尽管在过去十多年间，研究者们在这个领域取得了很多令人瞩目的卓越成就，但是不可否认的是，精确的人体行为识别依然是一个极具挑战的难题。.人体动作——作为人体行为的基本组成单元——其本质是一个多刚体铰链结构。从单目摄像机中提取复杂的铰链结构的人体动作本身就是一件困难的任务。相对于传统的图像而言，深度图像恰恰具有了传统图像难以捕捉的空间信息，伴随而生的3D骨骼跟踪技术为人体行为识别的研究提供了新的视角。.本课题结合了传统的彩色摄像机与深度摄像机的优势，基于RGB信息和深度信息及对应的人体骨骼信息，针对人物交互行为的人体行为识别，展开了深入的研究。本课题的工作可以分为两个部分：1）针对物体的研究及2）针对人体运动的研究。.首先，课题组针对人物交互行为中物体识别问题，提出了基于AWF-AP和Graph Cuts的前景图像分割方法及基于多尺度特征提取的图像配准算法，在此基础上采用基于核函数匹配的空间金字塔物体识别方法，对物体进行分类识别。其次，课题组还深入研究了多种目标跟踪方案，主要解决目标尺度变化、光照变化、对象姿态变化、目标遮挡等复杂环境下移动目标的鲁棒跟踪问题，为视频中的人和物体的运动分析与跟踪识别奠定基础。接着，课题组针对人物交互行为中的人展开了全面的研究。第一，课题组针对手势进行深入的研究，着重研究了基于深度信息的手势自动分割，并提出了基于优化轮廓的手势识别方法和基于同心深度分布直方图特征的手势识别方法。第二，引入结构随机森林，构建了高精度的人脸姿态检测、遮挡检测与人脸特征点定位检测模型。为人体异常行为检测提供有效鉴别信息。第三，针对人体骨骼，分析各关节对行为的贡献熵，构造每种行为不同的兴趣关节群；基于兴趣关节在各个子空间内的高斯分布概率，提出了骨骼上下文特征直方图特征。最后，结合前述各项工作，课题组分别提取行为特征及关联物体特征，引入傅里叶时分金字塔方法，构建时间维度多尺度特征，基于多核分类器，实现人物交互行为识别，并对样本空间密度进行统计分析，结合人体运动学原理，完成异常样本检测。.本课题着重研究人物交互环境中的行为识别问题，但实际研究工作覆盖了图像的预处理、图像分割、物体识别、目标跟踪以及人体行为识别等等多个领域。该课题的研究成果对人体行为识别方向的研究具有积极的启发作用，对工程实践具有一定借鉴意义。