基于图像的植物识别和检索研究

With the development of digital camera, smart phone and Internet search technology, we can easily capture the photos of the plants of interest and expect to search the useful information about the unknown plants. Even there has significant progress on keyword-based text retrieval, it is still very hard for people to find suitable keywords to enable keyword-based retrieval of the relevant information for unknown plants. With new requirements from users on unknown plants, this project will integrate image matching and statistical learning algorithms to enable automatic image-based plant recognition and retrieval: 1) leveraging large number of plant Web sites to crawl large-scale plant images; 2) integrating camera meta data with the visual properties of plant images to detect the regions of interest automatically; 3) leveraging domain knowledge and visual properties of plant images to construct a plant concept network; 4) incorporating the plant concept network, multi-task learning and multi-level boosting to train a large number of plant concept classifiers with higher discrimination power; 5) integrating automatic image summarization and interactive visualization to assess the effectiveness and correctness of plant concept classifiers. This project will focus on automatic plant concept recognition and retrieval, which will also be very attractive for other domains on image analysis, indexing and retrieval.

随着信息技术的快速发展，人们可以很便捷地获取喜爱植物的照片，并期望能在互联网上查找到该未知植物的相关信息。虽然基于关键词的文本搜索技术已相对成熟，但人们在多数情况下并不知道所感兴趣植物的名称，因此找不到合适的查询词。为满足人们日益增长的鉴赏和了解各类植物的需求，本课题将研究一种新的基于图像匹配和统计学习算法的大规模植物图像的自动识别和检索框架：1）基于大量植物类网站来全自动地构建大规模植物图像库；2）结合相机的元数据和植物图像的视觉特征来更准确地检测图像感兴趣区域；3）基于植物分类学和植物特征建立大规模植物概念网络；4）基于植物概念网络的多任务学习和多层次学习算法，利用植物概念之间的语义和视觉关联性来指导训练大规模植物概念分类器；5）基于自适应的图像摘要和交互式可视化的植物概念分类器评估方法。针对植物识别与检索这一特殊研究主题的深入探索，其成果也将推动图像处理与检索等相关领域的研究和发展。

随着信息技术的快速发展，人们可以很便捷地获取喜爱植物的照片，并期望能在互联网上查找到该未知植物的相关信息。为满足人们日益增长的鉴赏和了解各类植物的需求，本课题研究了一种新的基于统计学习算法的大规模植物图像的自动识别框架和检索框架。本课题严格按照研究计划进行，主要研究成果包括：通过基于自动的图像-文本匹配算法来充分融合专业植物图像数据库和大量植物类网站的图像，并全自动地建立大规模的植物图像数据库；结合相机的元数据和植物图像的视觉特征更准确地检测图像感兴趣区域，并从感兴趣区域中提取有辨识力的植物特征；基于植物分类学和植物特征，构建了一个视觉概念网络，以网络结构的形式对植物图像类别进行有效地组织与可视化展示；基于植物图像类别间的相关性，提出了分层多任务结构学习方法，通过控制层间的差错传播，所提出方法可以有效完成大规模植物分类任务；基于上述研究，本课题建立了大规模植物图像的自动识别和检索框架。本课题在《IEEE Transactions on Pattern Analysis and Machine Intelligence》、《IEEE Transactions on Image Processing》、《Pattern Recognition》等一区、二区权威期刊以及会议上发表论文20篇，培养博士3人、硕士研究生6人，组织和承办The 2016 Pacific-Rim Conference on Multimedia (PCM 2016)国际会议，国家自然科学基金的国际合作交流项目正在进行中，圆满完成了预期研究目标。