维吾尔民俗图像的双语自动标注与检索关键技术研究

In order to satisfy people's requirements of retrieving information about Xinjiang Uyghur folk-custom images from massive image databases using different language key words, learning more about special culture of Xinjiang. This project focusing on investigation of effective methods for Uyghur-Chinese, Uyghur-English bilingual automatic Uyghur folk-custom images annotation, and key techniques for annotation based image retrieval. The main problems to solve in the proposed project include (1) grouping the Uyghur folk-custom images based on the semantics of the images; (2) Selection and adoption of effective methods for automatic image annotation pre-processing key steps. These include image registration, vectorization, de-noising and feature extraction (3) Investigation and realization of effective automatic annotation algorithms for annotating selected type of Uyghur folk-custom images with key words. Particularly, investigation and exploration key strategies and methods for Uyghur-Chinese, Uyghur-English bilingual automatic annotations. Investigation and exploration of the bilingual automatic image annotation and annotation based image retrieval methods for the condition that images associated with multiple semantic concepts. The problems to be solved of above involve the knowledge of pattern recognition, image processing, machine learning and database management. Particularly, in order to automatic annotate multi-semantic Uyghur folk-custom images, adopt strategies of optimization of current multi-label classification algorithms or propose and implement novel multi-label classification algorithms are needed. The application areas of the proposed project outcomes include tourism industry, Uyghur, Chinese and English key words based Uyghur folk-custom images retrieval especially in museums, and pre-school- kids' bilingual education.

为了满足人们从海量图像数据库中用不同语言关键词来快速检索新疆维吾尔民俗图像信息，更全面的了解新疆特色文化的需求，本项目着重于研究维吾尔民俗图像的维汉、维英双语自动标注方法，以及基于标注的图像检索关键技术。拟解决的主要问题包括：（1）根据图像语义，对于维吾尔民俗图像进行分组；（2）为图像自动标注的预处理各环节选择、运用有效的方法，包括对图像的注册、量化、去糟、特征抽取等；（3）研究与实现针对所选类图像的自动标注有效算法。尤其是研究与发现对于图像进行维汉、维英双语自动标注的策略及方法。研究与开发多语义图像的双语标注及基于标注的图像检索方法。以上问题的解决涉及到模式识别、图像处理、机器学习以及数据库管理等知识。特别是对于多语义民俗图像的标注，采用优化现有的多标签分类算法，或提出新的多标签分类算法来实现。该项目的应用范围将包括旅游业，博物馆等地的基于维、汉、英关键词的民俗图像检索及幼儿双语教育等。

随着当代科技的飞速发展，人们从海量图像数据库中用不同语言关键词快速检索新疆维吾尔民俗图像信息已成为需求。因此，我们提出研究与探索维吾尔民俗图像的维汉、维英双语自动标注，或维、汉、英多语自动标注的有效方法，这为下一步的研究与开发基于维、汉、英多语关键词的图像检索方法奠定了基础。在该项目的研究过程中，基本完成了研究项目计划中提出的主要研究任务，在研究结果基础上发表了相关论文等，总之，达到了预期的研究目标。在本课题的研究期间，所完成的主要研究任务包括：（1）根据项目研究的需要，有选择的收集了维吾尔民俗乐器图像，并根据图像语义把图像集分类、分组; 为所选图像类创建维、汉、英多语标注关键字示例库，以及维吾尔民俗乐器图像的维、汉、英标注训练库示例。（2）设计图像自动标注系统框架 (模型) ，并在理论研究基础上，为图像标注系统的预处理各环节，包括图像的切割、特征抽取以及图像区域团的聚类分组，推荐了可采用的方法；（3）为了给予所选多语义维吾尔民俗图像的维、汉、英多语关键字自动标注提供有效的方法，对于多个多标签分类算法进行了大量的实验性研究。这些分类方法包括Binary Relevance 模型，Label Powerset，随机k 个标签集集成算法等等。这些算法在三种多标签标准数据集上进行了反复的实验，这些数据集是图像数据scene, 文本数据medical 和视屏数据mediamill。在一系列实验结果基础上主要发表了EI检索国际会议论文。这项研究工作为开发与应用多语义维吾尔民俗图像的维、汉、英多语自动标注系统打下了坚实的基础。上述问题的研究与解决涉及到多个领域知识，包括模式识别、图像处理、机器学习及数据库管理等，也涉及到语言学和维吾尔民俗、民族乐器等的交叉学科知识。本项目的进一步研究以及开发应用会受益于人们。比如人们可以通过互联网用自己熟悉的语言（维、汉、英）关键词来检索浏览各类自己感兴趣的维吾尔民俗图像，方便人们了解丰富多彩的新疆文化，有助于吸引更多旅游者来访新疆，促进新疆经济的发展。