面向智能监控的高效视频分析和编码方法及芯片可实现性研究

集智能分析和高效编码于一身的高清晰度智能监控摄像头已成为敏感场所安全防范和重大事件应急管理的迫切需求，而研制新一代智能视频监控摄像头所面临的关键技术挑战则主要来自于对高清监控视频的高效编码表示和智能内容分析。本项目针对视频监控中的智能分析、高效编码方法及其计算复杂度和可实现性问题，从分析模型与方法、编码框架与算法、可实现性验证三个层次开展研究工作，重点突破监控视频自适应背景建模、基于视觉显著性的感兴趣对象提取、预定义安防事件的快速检测与索引、基于背景的高效监控视频编码算法、面向智能视频监控的三层编码框架、芯片多目标优化模型及方法、以及两层芯片高效流水线结构等方法和关键技术，建立一套集监控视频智能分析、高效视频编码和智能监控摄像头芯片流水线结构为一体的方法与技术体系，从而为新一代高清智能监控系统提供核心技术。

视频监控摄像头不断增加，大数据中监控视频数据占70%以上，如何传输/存储这些数据和如何使用（靠人眼已无法处理）成为下一代视频监控应用面临的问题。项目针对上述两个问题，围绕面向智能监控的高效视频分析和编码方法及其可实现性问题，从分析模型与方法、编码框架与算法、可实现性验证三个层次开展研究与开发工作。重点研究了监控视频背景建模、基于视觉显著性的感兴趣对象提取、预定义安防事件的快速检测与索引、基于背景的高效监控视频编码算法、面向智能视频监控的三层编码框架、芯片多目标优化模型及方法、以及两层芯片高效流水线结构等方法和关键技术，建立了一套集监控视频智能分析、高效视频编码和智能监控摄像头芯片流水线结构为一体的方法与技术体系，并在自主研制的高清视频编码芯片中得到了验证，从而为新一代高清智能监控系统提供核心技术。.项目执行四年以来，已完成项目计划中的研究任务，取得的研究进展包括：.1）在分析模型与方法方面，研究了面向智能监控摄像头的监控视频快速分析算法。提出基于视觉显著性的对象提取方法并用于感兴趣对象提取中，提高对象分割中显著先验的可信度，提升非法闯入等三类事件的检测精度和召回率。提出了定点化的背景建模算法，降低背景建模的复杂度； .2）在编码框架与算法方面，研究了高效视频编码方法。提出基于背景帧自适应更新的高效监控视频编码算法，与现有编码算法相比效率提升50%以上；提出了面向智能视频监控的三层编码框架，大幅降低海量监控视频后期检索和分析的复杂度和代价，相关技术已被IEEE 1857标准采纳；.3）在芯片可实现性方面，研究了两层芯片高效流水线结构。提出了计算资源约束下的动态搜索窗控制算法和基于率失真优化的模式选择流水线，大幅提高芯片系统吞吐率。提出了背景建模帧级和视频编码宏块级的两层流水线结构，极大提高智能摄像头芯片的分析能力和编码性能；.4）芯片可实现验证方面，研究了集监控视频智能分析、高效视频编码和智能监控摄像头芯片流水线一体化结构和方法。提出的算法和结构在自主研制的高清视频编码芯片中得到验证，该芯片已量产商用，充分验证了所提技术的芯片可实现性。.上述相关成果已发表在IEEE TCSVT、IEEE TMM等国际期刊和国际会议上，本项目累计发表论文27 篇（期刊论文5 篇），申请国家发明专利6 项（已授权3项），各项研究成果指标均已达到或超过了项目任务书的要求。.