移动设备上的图像交互式分析与编辑

With the rapid development of the mobile capture devices and internet sharing platforms, interactive image analysis and editing techniques have become a popular research topic in computer graphics and computer vision, with numerous applications in information science, engineering, medicine, and even social sciences. Conventional image processing tools are mainly designed for desktop platforms, and thus the differences in hardware and peripheral conditions prone to low operating efficiency, device-dependent, and poor real time response when used on mobile devices. In this study, we keep in mind the special hardware conditions of the mobile devices, including microphone, touch screen, and low-power processors, and design novel interactive image parsing technologies. By jointly analysis speech input, touch interaction, eye fixations, etc. and exploring the underlying structure of the target image, we aim to design a unified multi-mode information integration framework, which is expected to effectively supports novel interactive modalities, and ultimately to achieve efficient, intelligent and easy to use image analysis and editing.

随着移动采集设备的迅猛发展和网络共享平台的快速兴起，基于移动平台的图像交互式分析与编辑技术已经成为计算机图形学和计算机视觉的研究热点，在信息科学、工程学、医学甚至社会科学等领域有着广泛的应用。传统图像处理工具主要针对桌面平台设计，因而在硬件和外设条件差异较大的移动设备上使用时容易产生操作效率低、设备依赖、实时性差等问题。本研究针对移动设备中话筒、触屏、低功耗处理器等特色硬件条件，设计并构建适合移动设备的新型图像交互式分析方法，通过对语音输入、触摸交互、视觉注视等多种用户交互信息进行综合分析，并充分利用目标图像的内在结构，设计适合移动设备特殊硬件装置的多源信息快速融合机制，使得所构建的算法能够有效地支持移动设备上的新型用户交互模式，最终实现高效、智能、易用的图像分析与编辑。

随着移动采集设备的迅猛发展和网络共享平台的快速兴起，基于移动平台的图像交互式分析与编辑技术已经成为计算机图形学和计算机视觉的研究热点，在信息科学、工程学、医学甚至社会科学等领域有着广泛的应用。传统图像处理工具主要针对桌面平台设计，因而在硬件和外设条件差异较大的移动设备上使用时容易产生操作精度和效率低、实时性差等问题，此外，由于语音、触摸等移动设备上的交互方式精确性较差，需要分利用目标图像的内在结构来理解图像，进而实现高质量的图像分析和编辑。本项目针对上述问题展开研究，主要包括：1）基于相似性特征度量学习及区域合并的图像区域聚类分割技术；2）基于富卷积特征的边缘检测技术；3）结构保持的图像编辑与艺术风格化技术；4）基于视觉注意机制和互联网图像分析的弱监督语义分割技术；5）基于多尺度特征融合和跳层卷积网络的显著性物体/实例检测技术。基于相关成果，项目团队已经在IEEE TPAMI，IEEE CVPR，IEEE ICCV，NeruIPS等CCF A类国际顶级期刊和会议上发表学术论文28篇，申请国家发明专利7项。部分研究成果通过华为手机等产品得以商业化应用，显著提高了移动设备上图像处理的用户体验。