面向高刷新频率的视频帧速率变换算法

高端平板显示器工艺的快速发展带动其刷新频率于2009年初达到200Hz，视频帧速率变换已经势在必行。帧速率变换算法是视频后处理（Post Processing）算法流水线中的一个重要模块，它的主要功能是通过插值把原有视频源的帧速率调整到显示器的刷新频率。本项目针对传统算法容易产生的视频跳动（judder）、模糊（blur）、运动物体的光晕（Halo）以及遮挡效应，面向硬件IC实现，研究并实现一种高性能、低复杂度的帧速率变换算法，该算法包括能够剔除无效帧的电影模式识别算法、保持运动向量场平滑连续性的运动估计算法以及区域区分的自适应运动补偿型插值算法。该项目的完成为我国高端平板显示与HDTV IC的发展奠定坚实的算法理论基础。

视频帧速率变换算法是视频后处理算法流水线中最为复杂的模块之一，它的主要功能是通过插值把原有视频源的帧速率调整到显示器的刷新频率。随着各种高性能显示设备的飞速发展，大量视频格式标准并存，更高刷新率和更高分辨率仍是显示设备的发展方向。而帧速率上变换技术用于实现不同帧速率视频间的转换，将视频从一个较低帧速率上变换到一个较高帧速率，是视频格式转换重要组成部分。在高性能多媒体系统中，帧速率上变换在改善画面、提升图像观赏质量等方面，均起到重要作用，为观赏者提供更加清晰、流畅的视觉感受。此外，在移动终端、视频会议等多种低速率视频应用中，帧速率上变换可恢复由于带宽受限而在编码端被丢掉的视频帧，提高输出视频质量，减小视觉上的停滞感和跳跃感。高性能的帧速率变换算法被少数几家国外消费电子公司所掌握，譬如飞利浦、英特尔、Micronas、Broadcom以及Samsung等，而且，这些算法专利技术已经明显滞后于平板显示的快速发展。本自然基金项目的研究立足于大幅提升帧速率变换算法的性能与硬件IC的可实现性；同时，突破国外专利壁垒，为我国高端平板显示与HDTV IC的发展奠定坚实的算法理论基础，具有重要的意义。. 帧速率上转换算法主要包括两个过程：运动估计和运动补偿。运动估计目的在于根据前后相邻视频帧内物体的运动信息，获取帧内每个像素的运动矢量；运动补偿则根据运动估计得到的运动矢量进行插值生成新帧，并将待插新帧插入到原视频序列中，从而提高视频帧速率。高性能、低复杂度一直是帧速率上转换算法追求的目标。. 针对上述两个环节，按照立项的研究计划，负责人进行了大量的科学研究，提出了基于时空结合特性的运动估计算法和基于自适应运动补偿的帧速率上转换算法，大幅降低了帧速率上转换算法运算复杂度，确保了视频质量。还提出了基于重复插值的运动检测模型，可以有效地检验帧速率上转换算法性能。并且，利用最新的CUDA，建立了帧速率变换算法测试软件平台，用以进行各种算法的性能比较。开发了硬件接口平台，用以验证算法的硬件实现效果。在研究过程中，培养了多名研究生，申请了多项发明专利，发表了十余篇EI论文，注重国际学术交流，参加了多次ICME、ICONIP、ICALIP等国际会议，与华盛顿大学、密苏里大学、台湾大学、香港科技大学等高校的知名学者保持了良好的联系，有利于开展下一步的科研工作。