面向异构众核系统的大规模实时图像相似搜索方法研究

Image similarity search is the optimization problem of finding similar features of images in high-dimensional space, which has been widely used in the field of computer vision, autonomous vehicles and video monitoring system. However, it is a challenging problem because of the high dimension of feature vectors, massive number of candidate images and it also needs to find the approximate nearest neighbors in real or near real time. To this end, this project proposes an idea that achieves co-evolution of image similarity search application and system architecture, and researches on large-scale real-time image similarity search for heterogeneous many-core systems, specifically including: 1) the image similarity search algorithms that combine recursive cortical network and edge propagation sparse quantization characteristic; 2) the self-adaptive source-to-source compilation method that maps image similarity search algorithms for CPU-GPU heterogeneous many-core systems; 3) the policy network evolution method that optimizes heterogeneous parallel application performance. Based on that, this project fully exploits application performance from the image similarity search algorithm layer, the compiler layer, and the runtime layer, and achieves an automatic optimization process by combining the self-adaptive source-to-source compilation and policy network evolution method. This project will promote the construction of an ecosystem between the fields of system architecture and image similarity search.

图像相似搜索是指在高维空间查找图像相似特征的搜索问题，目前已广泛应用于计算机视觉、无人驾驶车与视频监控识别等领域。然而，由于受图像中特征向量维度高、图像集规模庞大以及实时搜索要求严格等制约，图像相似搜索的效率成为束缚其应用的瓶颈。为此，本项目提出联合图像相似搜索应用与系统架构协同进化的思路，围绕面向异构众核系统的大规模实时图像相似搜索方法展开研究，具体包括：1）研究基于递归皮层网络与边缘传播稀疏量化的大规模实时图像相似搜索方法；2）研究基于自适应源到源编译的同构并行应用向CPU-GPU异构众核系统映射方法；3）研究基于策略网络演化的异构并行应用性能优化方法。在此基础上，本项目从图像相似搜索算法层、编译层以及运行层充分挖掘应用性能，通过结合自适应源到源编译与策略网络演化方法实现应用性能的自动优化过程。项目研究成果将推进系统结构与图像相似搜索领域生态系统的构建。

近年来，伴随移动互联网与高性能计算的快速发展，图像数据呈现爆炸式增长。如何在噪声图像中更有效更高效更鲁棒地检测物体的不同维度特征，如何将算法程序有效映射到异构众核系统，成为受人关注的研究问题。与已有工作相比，本项目的独特之处是针对算法与系统交互进行深入研究，并在此基础上提出了图像处理中物体点、线、面等不同维度的特征检测与应用方法，以及应用程序向异构众核系统映射与优化方法。在图像处理方面，针对噪声图像中物体骨架线特征检测鲁棒性差的问题，提出受脑认知启发的具有零和自我对称结构的骨架滤波器，可用于图像文本识别等领域。针对基于深度神经网络的骨架检测模型解释性差的问题，提出了基于波的对抗攻击方法，有效挖掘出深度神经网络模型脆弱性的敏感因子。针对图像中物体关键点检测的网络轻量化问题，提出了融合热力图回归和轻量级坐标回归的方法，显著提升了物体关键点检测效率。针对图像语义特征解耦问题，提出了基于空间维度感知隐空间的生成对抗网络逆映射方法，实现了更有效地图像语义特征重建与编辑。在系统结构方面，针对面向异构众核系统的程序映射与优化问题，提出了一种隐藏异构并行编程中的多线程的关联计算及映射方法，提高了应用的可移植性和效率。综上所述，本项目以特征表示为核心，系统地研究了图像中物体点、线、面等不同维度的特征检测与程序映射优化问题，提出了一系列物体特征提取与应用方法，促进了图像处理与系统结构生态系统的构建。