基于生成式对抗网络的旋翼高速运动图像增强方法研究

Rotor blade motion parameters related to the safety, comfort, and reliability of the helicopter and the accuracy of the weapon systems are important inspection items in helicopter development, production and maintenance. Computer vision measurement method which is regarded as the forefront method has made some achievements in blade motion parameter measurement. However, there remain some problems such as blurring of the blade images, indistinct edges and weak contrast due to the high-speed rotor movement. In order to solve these problems, firstly, a mathematical model is established to research into the mechanism of blurred image, unclear edge and weak contrast of blade image caused by high-speed movement; Secondly, a motion image enhancement method based on generative adversarial networks with the advantages of less or no supervision and adversarial learning is proposed to deblur the images and improve the precision of edge-positioning; Thirdly, a blade motion parameters measurement method with high precision is proposed based on the enhancement method; Finally, a test platform where the rotor tower and Z-11 rotor blades are measured is established in a wind tunnel to verify and analyze the proposed principle and algorithm. The confrontational network model and its optimization methods are expected to be enriched, expanded and developed through the proposed method, which can also be regarded as a core method for our country to develop helicopter rotor blade motion parameter measurement instruments with independent intellectual property rights.

旋翼桨叶运动参数是直升机研制、生产和维护的重要检查项目，事关直升机安全性、舒适性、可靠性和武器系统的准确性。计算机视觉测量方法是桨叶运动参数测量的前沿方法，虽然取得了一些成果，但仍存在由于旋翼高速运动而造成桨叶图像模糊、边缘不清晰、对比度弱影响测量精度的问题。针对上述问题，首先，研究高速运动产生桨叶图像模糊、边缘不清晰、对比度弱的机理，建立相应的数学模型；其次，利用生成式对抗网络具有无监督或少监督，对抗学习的优点，提出基于生成式对抗网络的图像去模糊、高精度边缘定位等运动图像增强方法；采用上述增强方法实现高速运动桨叶图像增强，进而提出高精度的桨叶运动参数测量方法；最后，在风洞环境中，以旋翼塔和直十一旋翼桨叶为测量对象构建试验平台，用于新原理、新算法的验证与分析。预期成果将丰富、扩充和发展生成对抗网络模型及其优化方法，为我国开发具有自主知识产权的直升机旋翼桨叶运动参数测量仪器提供核心技术。

本项目以高速运动的直升机桨叶图像为研究对象，围绕桨叶图像预处理、去模糊、欠曝光增强、边缘定位、大场景立体视觉标定，以及桨叶运动参数测量等方法开展了研究，取得了系列成果，作为重要支撑，获得江西省技术发明二等奖，具体研究工作和成果如下：.针对在高速旋转下拍摄的桨叶图像，存在信噪较差的问题，提出了使用单基因小波变换和改进深度卷积神经网络的图像去噪新算法，取得了较好的效果。.针对欠曝光桨叶图像影响运动参数测量稳定性和精度的问题，提出了无监督欠曝光桨叶图像增强的深度学习框架，克服了很难找到清晰和欠曝光桨叶图像对的难题，达到了增强效果。.在深层多块架构神经网络的基础上，引入注意力机制，提出了改进的低曝光桨叶图像去模糊神经网络模型，较好地去除了模糊，但存在恢复速度不快的问题。据此，又提出了基于广度残差与像素点注意力的图像去运动模糊算法，提高了速度和质量。为进一步提高去模糊效果，提出了基于特征融合注意力的多尺度生成对抗网络去模糊方法。.为提高桨叶运动参数测量精度，提出了基于YOLOv3与分水岭的直升机桨叶欠曝光图像圆形标记点检测方法。针对欠曝光引起的标记点漏检问题，发明了一种基于两步法的高速动目标上圆形标记漏点检测方法。为提高大场景摄像机标定的稳定性，提出了基于深度Q网络（Deep Q Network，DQN）的大视场摄像机标定方法，较好地解决了标定操作复杂、稳定性差和靶标摆放依赖人工经验的难题。.为解决全场景分析的难题，提出了基于大视场立体视觉的桨叶挥舞量测量和挥舞模式回归分析方法，在4.6米×4.6米视场范围内挥舞量测量均方根误差小于1mm，挥舞模式的回归模型拟合度好，其均方根误差小于1mm。.为验证项目所提方法的有效性，在中国直升机设计研究所风洞环境下开展了试验，取得了满意的试验结果。已将本项目理论成果，加入到课题组研发的基于立体视觉的直升机旋翼桨叶运动参数测量系统中，应用于直升机旋翼试验，提升了我国直升机试验测量水平。