基于深度神经网络的交互式图像编辑与视频颜色编辑

In recent research works, image processing methods based on deep neural networks have shown their advantages compared to traditional methods. Since user interactions play an important pole in image editing applications, many researchers attempt to include user inputs in deep neural network models to control the edited results. However, existing methods either only support simple user inputs to control the output images, or cannot accurately control the results. To solve this problem, this project will focus on the interactive image color editing, structural editing and video color editing methods based on deep neural networks. We will design smart, straightforward user input ways which can meanwhile accurately control the results. We will study the method to construct corresponding training data set. Also, we will design appropriate network models to fuse the user inputs and appropriate loss functions to differentiate the influences of different inputs. Based on the fast feed forward speed of the neural networks, we can realize real-time interactive image editing and fast interactive video color editing. The outcomes of this project will provide novel methods and tools for interactive image and video editing.

基于深度神经网络的图像处理技术在近年来的研究中展示了它们相比于传统算法的优势。由于用户交互在图像编辑应用中扮演着十分重要的角色，研究者开始尝试把用户交互加入到深度神经网络中以控制图像编辑的结果。但是，目前的方法要么只能支持单一的用户输入方式，要么输入方式不能精确的控制处理的结果。为了解决这个问题，本项目将聚焦于基于深度神经网络的交互式图像颜色编辑、结构编辑、以及视频颜色编辑方法。我们拟以深度神经网络为基础工具，设计灵活、直观、可精确控制编辑结果的用户输入方式，研究相应训练数据集的构造方法，设计能融合多种输入的深度神经网络模型，并设计合适的损失函数来区分不同输入的影响。利用神经网络前馈计算速度快的特点，我们将实现实时交互式图像编辑与快速交互式视频颜色编辑。本项目的研究成果将为图像、视频的交互式编辑提供新的方法与工具。

基于深度神经网络的图像处理技术在近年来的研究中展示了它们相比于传统算法的优势。由于用户交互在图像编辑应用中扮演着十分重要的角色，研究者开始尝试把用户交互加入到深度神经网络中以控制图像编辑的结果。但是，目前的方法要么只能支持单一的用户输入方式，要么输入方式不能精确的控制处理的结果。为了解决这个问题，本项目将聚焦于基于深度神经网络的交互式图像颜色编辑、结构编辑、以及视频颜色编辑方法。我们以深度神经网络为基础工具，设计灵活、直观、可精确控制编辑结果的用户输入方式，研究相应训练数据集的构造方法，设计能融合多种输入的深度神经网络模型，并设计合适的损失函数来区分不同输入的影响。利用神经网络前馈计算速度快的特点，我们实现了实时交互式图像编辑方法和图像风格化方法。本项目的研究成果将为图像、视频的交互式编辑提供新的方法与工具。