基于帧间运动流形表示的数字视频稳像及质量评价方法研究

The mobile cameras usually generate frame picture jitter in video recording, while digital video stabilization is to compensate the jitter by image warping that produces the sequence of frame pictures with visual motion smoothness. Traditional digital video stabilization methods usually adopt vectors/matrices in Euclidean space and its measure to represent the inter-frame motion, which performs badly in both low quality and slow computation for video stabilization with complicate motion, and lacks efficient assessment on stabilization quality. This project plans to integrate theories and methodologies in computer graphics and algebraic geometry, and represent the inter-frame motion by homography-based Lie group manifold, which can solve the limitation of the Euclidean representation due to redundant parameterization and non-optimal measure. This project explores the parametric form and intrinsic measure in video motion manifold representation, which is used in the motion path smoothing and compensation by image warping in digital video stabilization, as well as stabilization quality assessment, to further improve the stabilization effectiveness and computational efficiency, such that it can provide technical support for video application service in mobile devices. It is expected to publish more than 10 high-quality papers in both domestic and international journals and conferences, of which more than 6 papers are published in important international journals, and apply more than 7 patents.

移动设备摄像机在视频拍摄时往往产生画面抖动，而数字视频稳像是通过图像变形的方式补偿画面抖动，获得视觉上运动平滑的帧序列。传统数字视频稳像方法大多采用欧式空间向量/矩阵及其度量表示帧间运动，对复杂运动的视频稳像效果较差、计算效率较低，且对稳像质量缺乏有效的评价机制。本项目拟结合计算机图形学与代数几何的相关理论和方法，通过单应变换形成的李群流形表示帧间运动，克服欧式空间表示时的参数冗余和度量欠优的局限。本项目探索视频运动流形表示的参数化形式和内在度量，并用于数字视频稳像中运动路径平滑、图像变形补偿、以及稳定效果评价，以进一步提高视频稳像效果和计算效率，为移动设备相关的视频应用服务提供技术支撑。预期在国内外重要学术期刊和会议上发表高水平论文10篇以上，其中国际重要期刊论文6篇以上，申请专利7项以上。

本项目围绕数字视频稳像及质量评价开展研究，结合计算机图形学与代数几何的相关理论和方法，建立视频帧间运动的流形表示，克服传统视频运动表示的参数冗余和度量欠优的局限，用于视频运动平滑优化及度量，提升数字视频稳像的效率和效果、稳定程度的主客观评价准确性，以及其它视频图像处理效果。主要研究内容及成果包括：1）基于物理运动学原理，选择李群流形作为视频运动几何变换的参数域，建立视频帧间运动的流形参数化表示，引入运动等效的流形参数化策略，将运动路径映射为几何变换所在的李群流形上的曲线，从而可以利用流形内在维数和度量开展视频运动相关的高效计算；2）基于视频运动的流形表示，挖掘流形上平滑路径与最短路径关系，利用流形内在度量进行优化，快速计算平滑路径，实现高效的视频稳像处理；3）借助视频运动在流形参数域的内蕴度量，计算不同帧间运动位置的测地距离，以此量化不同稳像结果与参考视频之间的区别，从而给出视频稳定性能的全参考评价；同时，利用测地曲率作为运动路径平滑性的度量，以此量化稳像结果的帧间运动稳定性，从而给出视频稳定性的无参考评价；4）将视频运动流形参数化表示用于其它相关视频图像处理，基于显式表达及参数计算的优势，提高视频中运动小目标检测、超分辨率性能，也取得了一定效果。相关工作发表在IEEE TIP、IEEE TVCG、《计算机学报》等国内外期刊，并申请相关专利。视频稳像算法也在短视频平台进行了验证与上线使用。