云环境中基于三维世界模型的图像表示与压缩

How to organize and manage the huge amount of image/video data in the cloud so as to support various applications is a new challenge to the image representation and compression research. Meanwhile, the gradually built 3D world model provides opportunities for efficiently representing natural images. Motivated by these observations, in this project, it is planned to investigate how to efficiently represent and compress image/video data in the cloud and make the data connected and integrated with other kinds of data. The planned approach consists of extracting and describing the distinctive visual information in an image with the help of 3D world model as well as a huge library of related images, and reconstructing the image from the coded distintive visual information by means of model-based and image-based rendering. Research issues in this project include, 1) a universal model-based image coding/decoding framework that leverages related 3D models and images as prior knowledge; 2) image analysis/synthesis methods based on both 3D model and image library, performing the forward/inverse transform between an image and its distinctive visual information to be coded; 3) the assessment and optimization of the proposed image coding/decoding framework, taking into account the compression performance, computation performance, the capability of data organization and management, and so on. By this project, it is expected to deliver practical solutions to efficient representation of image/video data in the cloud, and to promote the advance of model-based image coding.

云环境中海量的图像/视频数据和云所要支持的丰富应用之间的矛盾给图像表示与压缩提出了新的挑战，而三维世界模型的逐步建立则为有效地表示自然图像提供了新的机遇。本项目拟研究的关键科学问题是在云计算环境中如何有效地表示和压缩图像/视频数据，以便与其他类型的数据有机地关联、整合，采取的研究途径是基于三维世界模型和海量图像库，提取、描述图像中的关键视觉信息，并利用基于模型的和基于图像的绘制技术，根据关键视觉信息重建原图像。本项目的研究内容包括：1) 一种普适的基于模型的图像编解码框架，利用三维模型和图像库作为先验知识；2) 基于三维模型和图像库的图像分析和合成方法，进行图像和关键视觉信息的相互变换；3) 对所提图像编解码框架的评判和优化，综合考虑压缩性能、计算性能、数据组织和管理能力等。本项目的实施将为云计算中的图像/视频数据表示提供实用的方案，并推动基于模型的图像编码进一步发展。

随着云计算的发展，云中已经存储了海量的多媒体数据资源。由于图像视频的数据量大、信息量多，对其进行一定的压缩编码是十分必要的，但是现有的图像视频压缩方法大都是基于信号处理理论，遵循变换-量化-熵编码的套路，得到的码流主要表达了变换系数，致使单个图像视频很难同其他图像视频、甚至其他类型的数据联系起来，不利于在云环境中结构化地组织和管理数据。为此，本项目研究的关键科学问题是在云计算环境中如何有效地表示和压缩图像视频数据，以便与其他类型的数据有机地关联、整合。.本项目的主要研究内容和重要成果包括：.(1) 研究了基于三维模型的云图像压缩方法。提出了基于三维点云的图像间预测方法，根据视角和尺度相似性选取参考图像，基于三维点投影进行图像变形，并施加亮度补偿得到预测图像。进一步提出了以三维点云刻画几何信息、以高分辨率图像片刻画颜色纹理信息的三维泛化场景模型，并基于该模型，改进了图像间预测方法，提出了面向压缩的图像绘制方法，建立了基于三维模型的云图像压缩框架。所提方法在典型云图像数据库上测试，比JPEG获得2-4倍的压缩效率提升，比HEVC intra单张图像最多可节省约40%码率。.(2) 研究了光场图像压缩方法。提出了基于伪序列的光场图像压缩方法，将光场原始图像分解为各个视角图像、再组织成伪序列进行压缩，相比原始图像直接用JPEG压缩，所提方法获得了最高6.6dB的性能提升，并在多媒体领域重要国际会议ICME 2016光场图像压缩挑战赛中赢得冠军。.(3) 研究了云环境中的图像语义表示方法。为了克服从图像低层特征直接映射高层语义所存在的“语义鸿沟”问题，提出了基于云图像在社交媒体中的传播情况、通过分析用户的共同兴趣来推导图像高层语义的方法，实验结果显示对图像语义标注的性能提升超过40%。.在IEEE Trans和ICME、ICIP等国际重要期刊和会议上发表学术论文14篇，获得论文奖2项，申请专利4项。