跨语图像检索中融合视觉信息的多语翻译与集成方法研究

Cross-Language Image Retrieval (CLIR) enables the users to retrieval the images annotated in different languages with the query. However, the lack of text information remains a challenge for multilingual translation and integration in CLIR. In order to address this issue, based on the idea of using the visual information as supplementary information, this project proposes a new method for multilingual translation and integration using visual information in CLIR. In the new method, firstly, a new query translation mechanism based on visual similarity of image sets is employed. The aim of the mechanism is to improve the accuracy of query translation and enhance the image retrieval performance in target languages. Secondly, in order to effectively integrate the image retrieval results in different languages, a new result integration mechanism based on prediction of the retrieval performance and re-ranking is adopted. Finally, a new algorithm for image annotation translation based on image hierarchical clustering is used, the goal of which is to enhance the performance of image annotation translation. The effectiveness of the proposed method will be demonstrated on the image sets annotated in Chinese and English. The achievements of this project have significant value in theory and practice for CLIR and Machine Translation.

跨语言图像检索可以使用户检索到与查询采用不同语言标注的图像，具有重要的研究和应用价值。针对跨语言图像检索中文本信息上下文缺乏的难题，本项目采用以图像视觉信息作为上下文以辅助多语翻译和集成的思想，研究一种融合图像视觉信息的多语翻译和集成新方法。首先，研究一种基于图像集合视觉相似性的查询翻译机制，提高查询翻译的准确率，从而改善目标语言图像检索的准确性。其次，在此基础上，研究一种基于检索性能预测和重排序的结果集成机制，实现对多个单语言检索结果的高效集成。最后，在结果集成之后，研究一种基于图像层次式聚类的图像标注翻译算法，提高对检索结果中图像标注的翻译准确率。项目将在中文标注图像集和英文标注图像集上验证方法的有效性。本项目的研究成果，对于跨语言图像检索、机器翻译等具有重要的理论和应用价值。

跨语言图像检索可以使用户检索到与查询采用不同语言标注的图像，具有重要的研究和应用价值。本项目针对跨语言图像检索中文本信息上下文缺乏的难题，研究融合图像视觉信息的查询翻译及图像检索新方法。本项目围绕跨语言图像检索，从跨语翻译和图像检索两个方面展开研究。在跨语翻译方面，研究了融合图像视觉信息的跨语翻译新方法，包括融合图像视觉信息的查询翻译机制以及基于图像层次式聚类的图像标注翻译算法，有效的提高了跨语翻译的准确性；在图像检索方面，研究了基于图像包的图像检索新方法，有效的提高的跨语图像检索的准确性。本项目在2014-2016为期三年的执行周期内，实现了预期的研究目标，根据进度计划稳步开展了研究工作，有计划分阶段地实现了人才培养目标，取得了阶段性的研究成果，并为项目组以后在多模态学习领域深入开展研究奠定了扎实的基础。基于本项目的研究成果，研发了两个原型系统：跨语图像检索系统和跨语专利信息检索系统。在本项目资助下，目前共发表论文6篇，其中3篇SCI索引。本项目的研究成果，对于跨语言图像检索、机器翻译等具有重要的理论和应用价值。