基于博弈和深层网络的多任务图像处理方法

This project aims to use the game theory and deep neural network algorithm to deal with multi-task image processing problems. The optimization methods based image processing has currently made a lot of achievements. But to multi-task problems it lacks the systemically analysis from the game theory and deep network point of view. In this project we are going to make a research on three aspects (1) model establishment: three multi-task game models are proposed, the existence and uniqueness of the Nash points will be discussed; (2) algorithm design: for the models established above some unified algorithms will be given and discussed, including convergence issues, convergence rate, and stability; (3) deep network approximation: the reasonable networks to approximate the models mentioned above will be designed, parameter learning method will be given, and finally a game system with two deep networks are constructed. These issues will enhance the multi-task image-processing performance and efficiency, which will be the basis of the methods based on game theory, models, algorithms to deal with the multi-task image-processing problem. The results of this project will not only have the theoretical significances for the low level image processing problems, but also have the practical value for high level problems such as classification, regression, as well as problems in medical image processing and face recognition and other real applications.

本项目拟利用博弈计算、深层网络计算建立多任务图像处理问题的模型和深层网络算法。目前采用优化理论解决图像处理问题已取得了很多研究成果，但缺少从博弈论和深层网络方法的角度对多任务问题展开系统的分析。在本项目中我们将对模型建立、算法设计、深层网络化近似三个方面展开研究。（1）模型建立：设计三种多任务博弈模型, 并研究均衡点的存在性和唯一性；（2）算法设计：对上述模型建立统一的算法分析和讨论，包括收敛性、收敛速度、稳定性等；（3）深层网络化近似：对上述博弈模型选择合理的网络化近似，确定参数学习方法，从而形成两个深层网络之间的博弈。这些问题的解决将提高多任务图像处理的性能和应用成效，为基于博弈的多任务图像处理问题的理论、模型、算法和全面推广奠定基础。本项目的成果不仅对底层图像处理具有重要的理论意义，同时对进一步的分类、回归等问题的解决，以及在医学图像处理和人脸识别等方面的应用也具有重要的实用价值。

研究按原计划进行并达到了预期的结果。在具体执行过程中我们发现原计划应用范围可以进一步扩大,因此我们在原计划基础上增加了图像分类和图像聚类的多任务处理问题。.（1）完成的主要研究内容包括：针对图像恢复、边界提取、图像分解、图像分割、图像分类、图像聚类的多任务处理，建立了相应的模型；在博弈模型交替迭代法的基础上，对上述模型给出了有效的数值求解算法，分析了解的性质和算法的收敛性、收敛速度、稳定性等；研究了基于训练数据学习最优参数的深度网络结构和性质，将深度网络嵌入到多任务处理的模型中，实现模型驱动和数据驱动的结合，提升了模型的精度和效率。上述模型和算法及其成功应用表明，我们在多任务图像处理的模型建立、算法设计、深层网络化近似三个方面的研究取得了预定的效果。.（2）针对图像分解与图像分割，图像融合与图像恢复，边界提取与图像去噪，图像聚类与图像分类等多目标图像处理的博弈模型、算法和深度网络近似，在国内外重要学术期刊上发表学术论文40余篇。.（3）加强了国际交流与合作，参加了CVPR等国际学术会议，并做了会议报告/张贴和交流。和香港理工大学计算学系合作，方式包括双方互访和互派研究生，我们的部分研究工作是在香港理工大学计算学系合作完成的。.（4）依托本项目的研究，我们培养了五个博士研究生、五个硕士研究生，他们在相关的领域展开研究工作，得到了很好的研究成果，为项目后续的发展打下了坚实的研究基础和人员支撑。.上述成果提高了多任务图像处理的性能和应用成效，为基于博弈的多任务图像处理问题的理论、模型、算法和全面推广奠定了基础。