基于贝尔格式原始图像的超分辨率三维几何建模技术

The 3D geometrical modeling technique is a research hot point in computer vision and image processing applications. The proposal will study the super resolutino 3D geometrical modeling technique based on Bayer pattern raw images by combining the traditional 3D geometrical modeling, image demosaicking and the super resolution image reconstruction method. First, the super resolution 3D geometrical modeling based on single-frameBayer pattern raw image is investegated by joint partial differential equation and tensor analysis theory. Then, we will establish the relationship between the camera calibration in the 3D space and the motion estimation in the 2D space. Based on this relationship, the multi-frame Bayer pattern raw images super resolution 3D geometrical modeling is investigated via the spatially adaptive P-norm regularization method. Given the low resolution Bayer pattern raw images under different view, The taks of our proposal is to get the corresponding high resolution color images and high resolution 3D geometrical model simultaneously via joint optimization, which can facilitate in some pratical applications, such as target recognition and vitual reality.

三维几何建模技术一直是计算机视觉和图像处理等领域的研究热点。本项目将基于图像的三维几何建模技术、Bayer格式原始图像彩色插值技术与超分辨率图像重构技术相结合，研究基于Bayer格式原始图像的超分辨率三维几何建模技术。首先通过偏微分方程和张量分析理论，研究基于单帧Bayer格式原始图像的超分辨率三维几何建模算法；其次研究建立三维空间中相机标定和二维空间中运动估计的联系，并以此作为结合点，利用空间自适应P范数正则化理论，研究基于多帧Bayer格式原始图像的超分辨率三维建模算法。本项目的最终目标是利用不同视角下物体的低分辨率Bayer格式原始图像通过联合优化得到对应视角的高分辨率彩色图像和高分辨率三维模型，为后续的目标识别和虚拟现实等实际应用奠定良好的基础。

三维物体的几何建模一直是计算机视觉和图像处理等领域的研究前沿和热点。由于图像获取容易、成本低廉且真实感较强等原因，基于图像的三维几何建模技术是三维几何建模领域中一个极其活跃的研究领域。本项目主要研究基于贝尔格式原始图像的超分辨率三维几何建模技术，其主要研究内容包括：基于偏微分方程和张量分析理论的单帧贝尔格式原始图像超分辨率三维几何建模算法；研究三维空间中的相机标定和二维空间中的运动估计参数之间的转换关系；研究基于梯度向量场理论的多帧贝尔格式原始图像超分辨率三维几何建模方法；以及与图像获取和三维建模技术领域相关的图像及视觉算法的拓展性研究。.所取得的主要研究成果包括：1)为了获取到高清晰度的彩色图像，提出了多种同时可以实现图像去噪和图像去马赛克的算法，包括基于数学形态学的自适应反馈非局部均值图像去噪算法，双尺度自适应非局部均值图像去噪算法，基于噪声分类反馈的自适应非局部图像降噪算法，基于非局部均值和区域自适应梯度的去马赛克插值算法，实验结果验证了去噪和去马赛克算法的有效性。2)为了获取高保真度的彩色图像，提出了多种彩色相机自动曝光、自动白平衡和色彩保真算法，包括基于光流估计的自动对焦算法，图像色彩平衡的客观性评价方法，基于色彩相关性的图像清晰度评价算法和基于细节描述算子的色彩一致性评价方法。3)在基于单帧图像的超分辨率三维几何建模技术方面，提出了基于方向SHOCK扩散方法的偏微分方程单帧图像超分辨率重构技术。该方法首先使用张量分析理论得到边缘的方向信息，在梯度方向将可以自适应加权SHOCK滤波器来恢复锐利的边缘信息，在垂直于梯度的方向上使用结构方向扩散滤波器来平滑噪声的影响。在使用单帧超分辨率重构技术得到高分辨率图像后，就可以使用基于体素渲染的三维几何建模技术得到物体的超分辨率三维几何模型。4) 在基于多帧图像的超分辨率三维几何建模方面，提出了基于扩散张量正则化的多帧超分辨率图像重构算法，又提出了一种基于非线性各向异性梯度向量场SHOCK扩散滤波算法的多帧图像超分辨率重构算法。使用多帧超分辨率重构后的高分辨率图像结合体素渲染技术就可以得到物体的超分辨率三维几何模型。.本项目研究期间，累计发表论文27篇，其中SCI检索2篇，EI检索27篇，完成英文专著章节1部，申请相关发明专利5项，授权1项，登记软件著作权4项。