基于非限定采样方式的立体图像全景拼接技术研究

Stereoscopic panoramic image stitching technology based on unrestricted sampling, which can only rely on ordinary binocular stereoscopic camera, does not require specific stereoscopic devices and specific photography rules. So it will have a broad application prospects. This project is aimed at solving the key technical problems existing in stereoscopic image stitching based on unrestricted sampling. The following three aspects are carried out：(1) In the case of not estimating the focusing length and rotation angle, the shape distortion optimization method is studied to make the shape natural transition; (2) Stereoscopic image alignment method without disparity map is studied to reduce ghost and obtain comfortable 3D experiences; (3) An objective quality assessment model for stitched stereoscopic image is studied to provide a measurement basis for stitched stereoscopic image. The research effort of this proposal will further satisfy the need of high-quality stereoscopic panorama and promote the development of virtual reality technology.

非限定采样方式下的立体图像全景拼接技术，采用普通双视点立体相机，突破了目前立体全景图像图像的获得需用专门拍摄设备和拍摄方式的限制，操作简单具有广泛的应用前景，对丰富虚拟现实高质量的播放内容具有重要的作用。本项目针对非限定采样方式下立体图像拼接中存在的关键技术问题，开展以下3个方面的深入的研究：（1）在不估计聚焦长度和旋转角度情况下，研究多幅立体图像拼接过程中的形状失真优化方法，使得拼接后的立体图像形状自然过渡；（2）消除当前方法对视差图的依赖，研究无视差图的立体图像拼接配准优化方法，用于减少重影提高立体舒适度；（3）研究立体拼接图像的客观评价指标，为立体拼接图像提供客观的衡量依据。本项目研究成果能够进一步满足人们对高质量的立体全景内容的需求，推动虚拟现实技术的发展。

大视场立体图像可以为用户提供身临其境的深度体验。本项目研究了非限定采样方式下的立体图像全景拼接方法，解决了立体拼接中的配准精度低、形状失真、内容丢失问题，提出了立体拼接图像客观质量评价方法。对于图像拼接的配准精度低的问题，提出了左右视图一致的加权直接线性变换模型用于的立体图像之间重叠区域的配准和立体图像左右视点图像之间视差的配准优化；对于形状失真问题，提出了微分扭曲模型来减少由于投影变换引起的失真问题；对于拼接图像内容丢失问题，提出了基于特征点选择的矩形全景拼接方法。此外，对于大规模图像拼接问题，由于采集图像之间冗余性高，提出了一种有效的图像冗余滤波方法，去除冗余图像，结合群组相似性变换和全局一致性单应性变换获得无重影完整信息的全景图像。最后，提出了一种可理解的全景图像客观质量评价方法，该方法为以后学者研究立体全景图像拼接问题，提供了评价标准，为行业获得舒适的立体全景图像提供了保障。本项目的研究成果推动虚拟现实技术的发展，进一步满足人们对高质量的立体全景内容的需求。