基于深度学习和双目视觉的深度图像估计及水下图像复原

Image restoration is crucial to the underwater vision and exploration research. The traditional underwater image restoration methods are usually based on a well-designed underwater optical model and the related image restoration model. However, the traditional underwater image restoration methods always include lots of parameters which are difficult to get due to the complex underwater environments. Without a depth map, we can hardly get a satisfactory result only with the prior knowledge. Inspired by binocular stereo system and brain-like models, we plan to use underwater binocular stereo camera to obtain stereo images. Then we will use multi-scale neural network to get an accurate underwater depth map step by step. After we obtain the underwater depth map, we can remove the noise caused by backscattering more efficiently. Meanwhile, we can also remove the noise caused by forward scattering with local Point Spread Function (PSF) and Inherent Optical Properties (IOPs). estimation. The Generative Adversarial Networks (GAN) will be used to estimate the local PSF and Inherent Optical Properties (IOPs).

图像复原，对水下视觉、水下探测等方面都具有重要意义。传统的水下图像复原算法依赖于建立详细的水下光学模型并以此制定相应的图像复原模型。然而受制于水下环境复杂，传统的水下图像复原模型往往包含了难以实时测量的参数，尤其在无法精确测定相机到物体的距离情况下，若依靠先验知识得到的结果又缺乏精度。受双目测距及脑启发式模型原理的启迪，本项目拟采用双目水下摄像机获取双目水下彩色图像，并在此基础上构建多尺度深度神经网络，以求得更加精细的水下深度图像。在取得了精确深度图像的基础上，利用信息生成对抗网络估计水下光学参数，并结合水下光学模型对水下图像的后向散射进行更加有效地消除。同时，结合生成对抗网络对水下图像的点扩散函数进行局部估计，在水下彩色图像和水体固有光学特性的基础上，以求对水下图像的前向散射部分进行准确、快速、实时的估计。

图像复原，对水下视觉、水下探测等方面都具有重要意义。传统的水下图像复原算法依赖于建立详细的水下光学模型并以此制定相应的图像复原模型。然而受制于水下环境复杂，传统的水下图像复原模型往往包含了难以实时测量的参数，尤其在无法精确测定相机到物体的距离情况下，若依靠先验知识得到的结果又缺乏精度。本项目基于深度神经网络，对水下图像复原、水下深度估计、水下光学参数反演、水下目标检测等方面进行了深入的研究。. 水下图像复原对水产养殖、环境监测和海洋渔业生产等多方面意义重大。在项目执行期间内，共发表 SCI 论文 10篇。该研究在基于生成对抗网络的图像复原研究与水下目标探测应用上取得了突破，先后取得中国多媒体大会举办的水下图像增强竞赛一等奖，国家科学自然基金委和大连人民市政府主办的水下目标抓取大赛（URPC）2019 年离线目标识别组二等奖，2019年在线目标识别组三等奖。本研究对于水下图像信号处理、水下目标探测等方面都具有重要意义。