基于多视角结构稀疏表达的自由视角视频合成方法研究

Free-view video synthesis is to generate video scene from a novel view in the range of field of view by correlating and reconstructing video data captured from limited views, which has important applications in the fields like video surveillance, 3D television, teleconference. Classic free-view video synthesis methods can not provide efficient representation on video structure with multi-view correlation, thus are difficult to improve the efficiency and quality of scene modeling and rendering and composition. This project plans to integrate the relevant theories and algorithms of computer graphics, image and video processing, and utilize sparsity of multi-view video data as clue that can overcome the limitations on scene modeling and rendering and composition caused by information redundancy in multi-view correlation, and to explore sparsity-based correlation organization and efficient representation on multi-view video data, and to study the method of sparse representation on multi-view structure, and by virtue of multi-view structure to study the key techniques of video scene modeling and novel view scene rendering and composition for further improving efficiency and quality of free-view video synthesis, which can provide technical support for appliation and service based on multi-view videos. Expectation involves over 10 high-quality publications on domestic and international important academic journals and conferences, of which over 6 publications are on interational important journals, and apply over 7 patents.

自由视角视频合成是将有限视角采集的视频数据通过关联和重构生成场景在视场范围内任意新视角下的视频，在视频监控、3D 电视、视频会议等领域有着重要的应用。传统自由视角视频合成方法缺乏视频结构在多视角关联下的有效表达，很难进一步提高场景建模和新视角场景绘制与融合的效率和质量。本项目拟结合计算机图形学、图像与视频处理中的相关理论和算法，利用多视角视频数据的稀疏性作为线索，克服由于多视角关联产生的信息冗余对场景建模和场景绘制与融合的限制，探索基于稀疏性的多视角视频数据的关联组织及高效表示，研究多视角结构的稀疏表达方法，并利用多视角结构研究视频场景建模和新视角场景绘制与融合等关键技术，以进一步提高自由视角视频合成的效率和质量，为多视角视频相关的应用服务提供技术支撑。预期在在国内外重要学术期刊和会议上发表高水平论文10 篇以上，其中国际重要期刊论文6 篇以上，申请专利7 项以上。

自由视角视频合成是将有限视角采集的视频数据通过关联和重构生成场景在视场范围内任意新视角下的视频，在视频监控、3D 电视、视频会议等领域有着重要的应用。本项目利用多视角视频数据的稀疏性作为线索，克服由于多视角关联产生的信息冗余对场景建模和场景绘制与融合的限制，探索基于稀疏性的多视角视频数据的关联组织及高效表示，研究多视角结构的稀疏表达方法，并利用多视角结构研究视频场景建模和新视角场景绘制与融合等关键技术。具体来讲，基于相邻视角几何结构（点、线）的相似性，建立了满足几何特征稀疏性的多视角结构，并通过几何匹配进行有效计算；针对视差相对较小的光场图像，提出了利用分块相似性诱导的稀疏性进行多视角重建的方法，用于任意视角视频高质量合成；针对视差相对较大的监控视频，提出了利用几何结构诱导的稀疏性进行视角合成的方法，用于大视场视频的视角合成。相关工作发表及录用论文10篇，其中SCI国际期刊6篇；申请国家发明专利7项。这些成果对视频监控、3D电视内容制作等具有潜在的应用价值。