基于多义性码书学习和主题建模的图像语义分类技术研究

This project will study image classification technologies and applications integrating codebook learning and multiple-semantics topic modeling. Based on the topic modeling framework built on "Bag-of-Word" representation, this research will propose a novel topic modeling framework integrating versatile contextual information and multiple semantics in images by using the state-of-the-art methods in multiple-semantics machine learning, probabilistic graph models and probabilistic topic models. Afterwards, this research will propose a supervised codebook learning algorithm aiming to address multiple semantics in images, and further model the contextual relationships by using probabilistic graph models to implement a novel coding method integrating the contextual relationships. Furthermore, this research will propose a feature pooling algorithm combining the contextual relationships both in image space and feature space. Finally, after designing a novel probabilistic topic model accommodating contextual relationships and multiple semantics, this research will implement an effective image classification method. In order to validate the above research results, this project will also implement an Internet-based image classification prototype system with the concern of real applications such as Internet-based image retrieval.

本项目围绕基于多义性码书学习和主题建模的图像语义分类技术及其应用开展研究。在基于"词袋"的主题模型基本研究框架的基础上，借助于面向多义性对象的机器学习、概率图模型和概率主题模型等领域的最新研究成果，有效结合图像的各类上下文信息和图像多义性的表示和描述，提出并实现一种能有效结合图像的各类上下文信息和图像多义性的新型主题模型框架；结合多义性学习理论和自调式学习机制，提出并实现一种面向图像多义性的有监督码书学习算法；基于概率图模型对码字上下文关系进行建模，提出并实现一种融合码字上下文关系的码书编码方法；提出并实现一种能有效融合图像空间和特征空间中上下文关系的汇合方法；提出一种基于上下文和多义性的图像概率主题分类模型，最终实现一种有效的图像语义分类方法；实现一个基于Internet 的分布式图像语义分类原型系统，并结合互联网图像检索等实际问题对本项目研究成果进行实验验证和应用。

本项目围绕基于多义性码书学习和特征表示学习的图像语义分类技术及其应用开展研究。分别研究了基于“词袋”模型、基于二值编码和深度学习模型的图像特征表示方法及图像分类模型。提出并实现了一种能有效结合图像上下文信息的图像多义性新型主题模型框架：在“词袋”模型中，充分利用了数据标签、字典项空间结构特性，提出并实现了多种字典学习算法。利用图像上下文信息和二维空间结构，提出并实现了基于二阶表示的汇合技术。提出了一种基于上下文和多义性的图像概率主题分类模型。针对大规模图像特征表示，提出了监督和无监督的高效二值编码算法。在基于深度学习模型的图像分类方法中，首先研究了基于深度卷积神经网络的图像复原方法，在此基础上，提出了基于跨层连接的无监督特征学习算法，并将其应用于图像分类中。最后实现了一个基于Internet的分布式图像语义分类原型系统，并结合互联网图像检索、图像分类等实际问题对本项目的研究成果进行实验验证和应用。