面向大坝变形监测的视频微小运动放大与四维视觉增强

Dam safety is of vital importance to the national economy and people's livelihood. At present, most of dam deformation monitoring systems relies on the contact sensor equipment for detection, deployed at a number of discrete measurement locations. It is difficult to achieve the overall visual monitoring effect of dam deformation. Based on the non-contact 3D surface acquisition technology and intelligent video analysis method, this proposed project unites the large-scale high-precision 3D surface modeling method, with technology of subtle motion detection, processing and magnification. This project develops 4D visual enhancement method (dynamic 3D) for subtle deformation, and applies it to actual monitoring of dam deformation. The details are as follows: 1) A 3D modeling method leveraged by multimodal sensing technology will be proposed, focusing on high-precision multi-modal point cloud registration and fusion; 2) Feature detection and optimization of dam monitoring images is performed to achieve precision detection of subtle deformation at feature points; (3) Analysis and processing methods will be developed to tackle space multi-directionality and time nonstationary of deformation; 4) Linear motion magnification method in space-time domain and nonlinear motion magnification method in phase domain will be studied and combined, which is mapped to a 3D surface model to develop the 4D visual enhancement system for dam deformation monitoring. The project will provide new ideas to develop video based dynamic subtle deformation monitoring systems for large-scale targets, including dams.

大坝安全变形监测目前大多还是通过接触式的传感设备对若干离散测控点进行监测，难以形成大坝整体可视化监测效果；探索新的监测手段，增强一致性判断的优势，从而将现有方法误差的负面影响降到最低是监测领域永恒的主题。本项目基于非接触式三维表面获取技术和智能视频分析理论与方法，研究融合多模态传感技术的大尺度高精度三维表面建模方法，以及微小变形运动检测、分析处理与放大的理论与技术，形成系统的微小变形运动四维(动态三维)视觉增强理论与方法，并将其应用于大坝变形辅助监测实际。研究内容包括：1)融合多模态传感技术的三维建模方法，重点在多模态点云高精度配准与融合；2)大坝监测视觉影像的特征提取、优化、检测/识别，构建基于特征点的相位相关微小变形运动精准检测；3)变形运动多方向性与非平稳性的分析、处理；4)时空关联线性和相位域非线性运动放大及其融合，并反演于三维表面模型从而构建大坝变形四维视觉增强系统。

本项目研究基于非接触式三维表面获取技术和智能视频分析理论与方法，研究微小变形运动检测、分析处理与放大的理论与技术，形成系统的微小变形运动四维(动态三维)视觉增强理论与方法，并在宏观的大坝监测、微观的人脸微表情识别等领域展开应用研究。主要研究内容说明如下：.1)在系统框架方面，提出了一种基于图像变形的动态三维（四维）建模方案，主要包括：a.提出了基于图像变形的视频运动放大方法。b.将视频微小运动放大算法和基于单目图像的动态三维重建算法结合，实现了四维(动态三维)视觉增强，克服了三维重建模型不完整，计算复杂度高等缺点。将该成果应用于人脸微表情识别这一模拟场景涉及的运动增强。进一步，对包括微表情识别等涉及的人脸对齐、人脸关键点检测等展开了系统研究；同时构建了替代大坝监测的岩石滑坡监测模拟实验场。.2)探讨了多种微小运动检测、放大新方法，主要包括数字图像相关、排列熵PE、经验模态分解EMF在内的多种新型微小运动信号分析方法。以排列熵方法为例，提出一种基于排列熵的微小运动检测方法，包括以下步骤：a.视频图像预处理；b.将预处理后的每帧图片的每个像素视为一维时间序列。选取适当的子序列长度，将离散时间序列分成若干个子序列；c.利用排列熵对子序列进行复杂度分析，计算每个子序列的排列熵。任意抽取一个时间点的所有排列熵值，熵值越大说明该点在整个序列中不稳定，即值大的区域为存在微小运动的区域。在此基础上针对运动区域做放大处理，背景保持不变，提高了系统性能。以及其他涉及小目标检测、特定目标检测、基于深度学习的运动放大的相关研究。.3)在点云处理三维建模及处理、识别方面：a. 提出一种基于点云几何重心与质心变换的初始配准算法，并利用ICP算法进行精确配准；b. 提出了一种有效的基于双重注意力机制和负信息约束的点云分类网络DANC-Net等。以及其他涉及点云、三维模型处理、识别等相关研究。.在基础的图像处理、计算机视觉、三维模型处理等方面，比如图像分割，去雾、三维模型简化、序列信号处理的循环神经网络等方面也开展了相应研究。