基于ＭＰ时频特征的电影音频场景语义推理研究

With the increasing of movies every day, in order to analyze,index and organize more and more vast movie data, making it esaier for people to retrieve wanted information, it become more and more urgent to analyze and understand movie content.Aiming at the problems of audio event change detection been not payed attention to and scene semantic been not effectively processed in the movie content analysis and understanding tactics, this project mainly explores practical methods , four major problems will be studied: 1) time frequency feature extraction, 2) audio event change detection , 3) audio event identification，4）scene semantic inference. Focusing on aforementioned four problems, this project aims to recuperate the defects in the current tactics of movie audio processing. The content includes hot topics in speech and audio signal processing, pattern recognition and understanding, etc., all of which have particular challenge in theory and the important base of study and development audio content analysis and understanding system in application. In addition, it plays an important role to improve system practicability and to speed up the information industry development of our country. Three papers indexed by EI , two papers indexed by SCI, are expected to publish and one patent will be declared.

随着电影的日益增加，为了更好地分析、索引和管理越来越庞大的电影数据，方便人们快速检索到自己想要的信息，对电影进行内容分析和理解变得越来越迫切，针对目前电影音频内容分析与理解策略所存在的音频事件改变检测没受到重视、场景语义推理没被有效处理等问题，本项目主要探索电影音频内容分析与理解的实用方法，重点研究以下四个方面的问题：1）时频特征提取；2）音频事件改变检测；3）音频事件识别；4）场景语义推理。旨在通过上述四个问题的研究，弥补当前电影音频处理策略所存在的缺陷。 本项目的研究内容是语音及音频信号处理、模式识别与理解等领域的研究热点，理论上具有一定的挑战性，在应用上是研发音频内容分析及理解系统的重要基础。同时，对提高音频处理系统的实用性，加快我国信息产业的发展具有重要作用。预期发表EI索引论文3篇、SCI索引论文2篇、申报专利1项。

随着电影的日益增加，为了更好地分析、索引和管理越来越庞大的电影数据，方便人们快速检索到自己想要的信息，对电影进行内容分析和理解变得越来越迫切，针对目前电影音频内容分析与理解策略所存在的音频事件改变检测没受到重视、场景语义推理没被有效处理等问题，本项目主要探索电影音频内容分析与理解的实用方法，重点研究以下四个方面的问题：1）时频特征提取；2）音频事件改变检测；3）音频事件识别；4）场景语义推理。旨在通过上述四个问题的研究，弥补当前电影音频处理策略所存在的缺陷。. 经过三年多的研究，本项目的主要研究工作已经基本完成。本项目研究已经达到预期目标，对预期研究的四个问题都开展了较为深入的研究工作，并提出了相应的解决方案，大部分工作以论文的形式公开发表在国内外的学术期刊或国际会议上，小部分工作以专利的形式申请了只是产权保护。截止目前为止，本项目已资助完成论文23篇（含1篇ICASSP2017已录用和1篇IET Signal Processing论文目前小修改后录用）（1篇SCI外文期刊论文和11篇EI论文）、申请国家发明专利2项，部分资助培养4名博士生研究生。本项目的研究可以用于对电影音频信号进行很好的处理，帮助人们更好地分析、索引和管理越来越庞大的电影数据，方便人们快速检索到自己想要的电影信息，对我国信息产业的发展具有推动作用。