视像在二维平面和三维空间的深度信息的比较研究

The Investigation of this project focuses on why the two-dimensional plane can realistically represent three-dimensional scene, in other words, why the human visual system can perceive three-dimensional scene on the plane. The studying whether or not essentially different are there between visual perception to three-dimensional scenes on the plane and the same three-dimensional scene in real environment, if it is different, whether it can be studied by the mathematics and information theory, and given out the qualitative and to some extent, quantitative measure. In image processing, how to use the combination of the unique geometric properties of the plane with the depth perception of human visual system in order to improve representing to three-dimensional scene on the plane. The project will explore this issue by the experimental methods of recognitive psychology and behavioral psychology. In addition, the project also will study the problem about the mirror showing, especially, whether or not essentially different are there in the real 3D scene in the mirror with the three-dimensional scene in the plane. These studies, no doubt, are closely related with the introduction of three-dimensional Cartesian coordinate system in plane. Then, on this issue the project will also conduct in-depth discussion.

本项目主要探讨为什么在二维平面上能逼真地呈现三维立体场景，换句话说，人的视觉系统为什么能够感知平面上的立体场景。研究视觉在感知平面上的立体场景和真实环境中同样的立体场景时有什么本质的不同，如果有不同，能否通过数学的和信息论的方法加以研究，给出定性的和一定程度上定量的测度。在图像处理方面，如何利用平面的这种独特的几何特性与人类视觉系统深度知觉之间的结合，改进平面上的立体场景的表示方法。项目将通过认知心理学和行为心理学等实验方法来探讨这个问题。此外，项目也将探讨镜面中对三维场景的真实呈现，并将研究镜面中的立体场景与平面上的立体场景有无本质的不同。这些研究，无疑与在二维平面上能够引入三维笛卡尔坐标系表示三维图景密切相关，为此，项目对这个问题也将进行深入的探讨。

本研究课题“视像在二维平面和三维空间的深度信息的比较研究”，涉及认知神经科学，计算机视觉，3D技术和数字摄影学，研究工作主要在三个方面进行：.一.视觉对图像不同模式的感知.1. 从神经计算、视知觉信息处理的角度对如何在平面上表示三维图像进行分析与论证；针对初级视觉，引入“场景模式”和“图片模式”，探讨了在平面上引入三维笛卡尔直角坐标表达图像深度信息的基本方法，估计了这种方法引起的深度信息的损失。研究了在场景模式中视网膜和视皮层如何通过神经计算分离作为输入表象的全光函数，抽提光场中光束的位置和角度信息的问题，进而确定深度视知觉的输出表象，在没有任何立体线索和双眼视差的情况下，通过实际场景中和二维平面上的线条立方体和笛卡尔直角坐标框架，比较这两种模式的深度知觉的主要区别。.2. 通过对图像和视觉几何光学系统之间关系的研究，得出明显的或隐含的消失点是能够感知立体信息的不变量，得出了全光函数与消失点的关系，给出了图像向消失点收缩的图像模式。.3. 视觉眼动对图像的感知作用：采用不同类型的测试图像研究图像翻转与眼动轨迹之间的关系，所得结果表明：眼动时注视点的分布是随机的，分散的，不对称的，将眨眼与眼跳动二者结合起来，给出了在视觉信息处理中的作用机制，指出眼跳是注视中的伴随行为。.二. 光场信息的采集和处理方面.在多视角的原理，实现方法和光场信息处理方面，进行探索研究：涉及的主要内容是：光学景深的扩展和不聚焦摄影的自适应多重焦平面成像问题的研究，其中包括对光场成像基本原理和硬件结构的研究，也包括全光函数参数化方法的应用问题的探索，光信息的采集，光学傅里叶变换，不聚焦摄像的处理，光学景深的扩展方法，等等。这些研究内容是光场成像、图像渲染以及3D显示密切相关的图像信息中一种全新的处理方法，具有重要的应用价值。课题组对上述各难点问题和关键结构，给出了全面、深入、透彻的分析论述，获得了一些初步的但是重要的结果，给出了4维光场数据与3维场景的关系，建立由光场重建场景深度的优化问题的模型。通过迭代校正误匹配像素使目标泛函极小化，实现了高精度场景深度的重建，研究中的光场数据由一组均匀分布的视点图像组成，包含丰富的深度信息。由四维光场重建场景深度的目标泛函以匹配项为保真项，以梯度项和分类示性项作为惩罚项。通过迭代校正误匹配像素来使目标泛函极小化，同时提高了深度重建算法的鲁棒性。