基于深度学习的时序3D深度图动作语义理解

Based on color,shape or depth information from two eyes, human visual system obtains the abstract understanding of object and its activity through the analysis process of brains. Machine learning can immitate this process and occupy an important role in intelligent surveillance, human-machine ineraction and video analysis. This project propose to combine depth images with traditional video data and use deep learning to imitate the multi-layer neural network of human brain to understand the human behavior in a long hybrid sequence. The research topics and novelties are: 1) using deep belief netword to realize the process of unsuperviored learning; 2) combine traditional colorful video data and 3D depth image in a competitional netword to immitate the visual perception of human brains. 3) for input sequences of hybrid media, use multi-layer self-taughter netword to hybrid, detect cut, abtract concepts and recognition. Based on this precess of perception, recognition and memory, this system can not only improve the learning ability and recognition skill in computer vision, but also can be extended to broader areas such as touch or hearing.

人类视觉系统基于眼睛获得的色彩，形状以及深度等信息,通过人脑的分析来获得对物体及动作的抽象语义。而通过机器学习来模拟这一过程对于智能监控，人机交互，视频检索等方面有重要的作用和意义。为此，本项目提出利用深度图和传统视频数据相结合，并使用深度学习来模拟人脑的多层神经元传递过程来实现对于人体动作不断变化过程中的动态语义理解。 研究内容及创新点体现在：1）用深度信念网实现对人体姿态从底层特征到抽象认知的多层无监督学习过程 2）将传统彩色视频数据和立体深度数据结合来构成多源竞争网络来模拟大脑皮层的视觉感知 3）通过对输入流在时间序列上的多层自学网络来模拟神经系统对于人体行为获得，分段，抽象，识别和理解的逐步认知过程。 这一基于感知，识别，记忆过程的系统不但可以提供机器视觉上高效的学习机制和识别能力，还可以进一步扩展及结合听觉，触觉等等多方面信道。

人类视觉系统基于眼睛获得的色彩，形状以及深度等信息,通过人脑的分析来获得对物体及动作的抽象语义。而通过机器学习来模拟这一过程对于智能监控，人机交互，视频检索等方面有重要的作用和意义。为此，本项目提出利用深度图和传统视频数据相结合，并使用时空特征抽取，视频流主题时序变化，以及多层信念网来模拟人脑的多层神经元传递过程来实现对于人体动作不断变化过程中的动态语义理解。.本课题结合人体动作的特征和动态流程，针对现有方法改进视觉特征的提取，学习模型的优化以及融合等实现对于动作的认知，其研究内容及创新点体现在：1）研究时序描述子作为视觉单词模拟人体视觉系统对于时空深度的感知，挖掘传统2D平面信息所无法提供的线索，并将之作为行为识别的高层语义的底层描述之一 2）多层次深度学习所得的局部和全局视觉描述提高感知系统中对于动作变化的空间估计准确度，模拟大脑多层次分析方式来获得人体姿态感知系统。 3）应用深度网络来实现对于时间轴数据的分析，结合其时序变化信息用在行为建模中，从而实现动作识别中获得，分段，抽象，识别和理解的逐步认知过程。这一基于感知，识别，记忆过程的系统不但可以提供机器视觉上高效的学习机制和识别能力，还可以进一步扩展及结合听觉，触觉等等多方面信道。