基于视觉特性的视觉感知分析与视频编码优化

With the progress of research and understanding for human visual system, how to incorporate human vision characteristics to investigate optimized video coding techniques becomes challenging and important. This project will conduct in-depth research based on modeling human vision characteristics, including: (1) eye gaze information analytics and visualization to reveal the visual property; (2) based on the saccade target theory, the visual attention mechanism is formulated by considering the four factors that influence human visual attention, foveaperiphery resolution discrepancy, visual memory, oculomotor bias and inhibition of return (IOR). (3) based on control theory, the corresponding rate control algorithm is designed to smooth the video subjective quality. This project will explore the new theory and method of human visual property modeling, make important contributions to the high efficiency video coding, and advance our understanding in perceptual optimization for HEVC/H.265.

随着对人类视觉系统的研究和了解，如何结合人类视觉系统特性优化视频编码技术显得尤为重要。本项目将针对人的视觉感知特性及其应用进行系统的研究，研究内容包括：（1）对眼动跟踪数据进行分析和可视化表达，从而揭示数据所反映的视觉注意特性；（2）以眼跳目标理论为基础，考虑中央凹分辨率差异、视觉记忆、动眼偏好和返回抑制等影响视觉注意的因素，通过多种因素的有机融合模拟视觉注意机制；（3）基于卡尔曼滤波方法，设计码率控制算法来获得稳定的编码视频质量。本项目将探索新的人眼视觉特性建模的理论与方法，为高效视频编码的码率控制算法做出重要的补充，同时为高效视频压缩的视觉优化提供更深入的认识。

随着高清视频的普及以及各式移动设备的飞速发展，视频的种类多样化、数据量爆炸式增长，提升视频服务的用户体验显得尤为重要。如何结合类脑视觉认知机理将智能化视觉信息处理引入视频编码技术中，优化视频主观质量，充分改善用户的观看体验已经成为当前视频编解码技术的研究热点。本项目的研究目标是：（1）基于眼动跟踪数据分析，研究人类视觉注意机理；（2）建立模拟人类视觉注意模式的视觉注意算法；（3）将基于人眼视觉特性的优化融入新的视频编码框架。本项目旨在通过结合人眼视觉特性的理论研究，优化视频编码主观质量，提升用户体验。.在项目中，主要研究内容包括：（1）基于时空特性的眼动数据分析；（2）基于模拟视觉注意机制的视觉特性建模；（3）基于控制理论平滑质量的感知视频编码算法。.本项目取得的主要成果包括：（1）针对人眼视觉注意模式建模分析、模拟人眼视觉注意机制的视觉特性建模、感知视频编码算法等核心问题，在理论与技术方法等方面取得一定突破，代表性工作获得国内国际同行的认可；（2）在相关领域国际期刊上发表论文29篇，其中包括图像视频领域顶级期刊IEEE TPAMI/TIP/TMM/TCSVT等。在图像视频处理以及人工智能领域发表包括ICME/ICIP/CVPR/AAAI/IJCAI在内的会议论文13篇；（3）项目执行期间申请并获批专利1项；（4）项目执行期间提交国内标准AVS提案45项，其中9项被采纳；提交国际标准VVC提案22项，其中3项被采纳；提交JCTVC (HEVC) 提案1项并被采纳；提交FVC提案6项。（5）项目共培养博士研究生7名，硕士研究生2名。