多维输出分类学习的关键问题研究及其拓展

Multi-dimensional Output Classification (MOC) is a new learning paradigm which aims to learn an association between individual inputs and their multiple dimensional discrete output variables and thus can be applied in such practical areas as computational ads and computer vision etc. MOC involves multi-dimensional heterogeneous (different semantics) and discrete output variables with often different ranges, more general than multi-label learning and multi-class learning, thus has stronger challenge for its research. a key to its successful learning lies in not only being required effectiveness in learning but also able to reveal relationships both between dimensions and between values in each dimension. To date, not only is its study much less than multlabel learning but also are related works just limited to the exploration either within-dimension relation or between-dimensional relation, lacking more essential joint exploration of these relations. However, their joint exploration can intuitively promote both learning performance and interpretability of learning results. Our project, based on existing works, aims to establish a unified MOC learning framework which can discover desirable between-/within- dimensional relations. To the end, we will systemically study key problems including modeling for classification and joint relation learning, algorithm design, theoretical analysis, experimental verification,its applications and extensions. our achievements can desirably provide a valuable reference for deeper investigating MOC modeling, learning and other related machine learning problems.

多维输出分类（MOC）指将单个输入样本与多个维度的离散输出变量进行关联的新学习范式，其广泛存在于计算广告和计算视觉等众多应用领域。MOC涉及多维异质（语义不同）且值域常异的离散输出变量, 比多标签和多分类学习范式更一般，因而研究也更具挑战性。其成功学习的关键在于不仅要达到学习的有效性而且应能揭示出多维输出变量间的维间关系和各维内部输出变量值间的维内关系。目前对此问题的研究不仅远少于多标签学习而且相关工作也仅仅限于单一的维间或单一的维内关系探索，缺乏更本质的两种关系的联合探索。而这些关系的联合学习直觉上可望促进学习性能的同时，更可使结果可解释。本课题旨在已有工作基础上，建立一个能发现维间/维内关系的MOC学习统一框架。为此整个工作将围绕分类和联合关系学习的关键问题开展建模、算法设计、理论分析、实验验证、应用和拓展性等研究，所获成果可望为MOC及相关机器学习研究提供可借鉴的建模理念和方法。

本项目以多维输出分类为主导，通过综合考虑维内关系离散/有序以及维间关系同质/异质的特性，构建了一个维间和维内关系联合探索的统一学习框架。该框架的一般性使其能胜任多类型的多维输出分类学习任务。在此基础上，针对不同类型的多维输出分类任务，开展模型构建、算法设计、理论分析及拓展研究并取得如下主要成果：.1）在多维输出分类模型构建方面，构建了一系列面向不同类型多维输出分类任务的学习模型，如a) 面向多维有序变量表征输出的多输出分类学习框架；b）面向混合异质变量（多种类型的变量）表征输出的多维输出分类方法；等。.2）在算法设计和实现方面，针对可胜任维间和维内关系联合探索的多维输出分类模型的目标函数通常非凸的特性，提出了一系列大规模非凸优化方法，如，a）具有现有共有假设下的收敛保证的零阶近端随机方法；b）有效快速的随机交替方向乘子方法；等。.3）在相关理论分析方面，由于多维输出分类任务具有输出高度复杂且监督信息通常不完整的特点，提出了一系列利用压缩感知实现矩阵恢复的理论分析方法，如a） 提出了一种利用先验稀疏基作为辅助信息的半盲压缩感知恢复算法；b）提出了双线性随机投影下的支持矩阵机；等。.4）在拓展研究方面，针对多维输出分类监督信息不足的问题，本项目拓展研究了多视图学习和聚类学习，为弱监督和无监督多维输出分类任务开发新颖的有效技术手段，如a）面向大规模的不完整多视图任务，提出单趟不完整多视图聚类框架；b）面向异构不完整多视图任务，提出了一种双重对齐的不完整多视图聚类方法；等。.本项目共发表35篇高水平论文，包括9篇CCF-A类期刊/会议论文，3篇中国重要核心期刊。至目前项目所发论文的总他引数为161篇次，引用中不乏CCF-A类期刊和会议等，对多维输出分类领域产生一定影响。项目培养毕业博士生5名和硕士8名，其中高能能和胡梦磊分别获得2018和2020年省优硕论文，黄飞虎、李平、马忠臣毕业后即获NSFC青年基金。陈松灿分别于2018年和2019年入选IAPR Fellow和CAAI Fellow。