基于大数据的交互式稀有类探测理论与关键技术研究

In many real-world applications and research datasets, rare category samples are usually more valuable than major category samples. However, rare category samples are significantly more difficult to be detected than major category samples due to their rareness. Rare category detection aims to discover valuable rare category samples from imbalanced and unlabelled datasets. State-of-the-art methods on rare category detection faces three main issues: high time complexity, unable to support user interaction, and rely on shallow features. To address these issues, in this project we will develop new detection models, and propose a systematic framework for interactive rare category detection and mining. The proposed approaches are to achieve breakthroughs in efficiency and deep feature extraction of rare category mining. More specifically, the research objectives are:.(1) Reduce the time complexity of rare category detection by at least one order of magnitude by utilizing multi-view semantic data structure and high-oder indices..(2) Explore using collaborative reconstruction and supervised learning in human-machine interaction to mine samples of the same category as a detected valuable sample..(3) Extract deep semantic features from multimedia data to replace the existing shallow features for more effective rare class mining.

在大量科学研究和工程实践中，稀有类的样本往往比主要类的样本具有更高的分析研究价值。然而，稀有类样本数量稀少，容易被主要类样本淹没，难以被发现。稀有类探测致力于发现无标签、不平衡数据集中有价值的稀有类样本，当前稀有类探测相关研究存在时间复杂度过高、难以支持与用户交互、基于浅特征等问题。基于此，本课题研究目标为在现有算法基础上，研发全新的稀有类探测方法，在算法实时性、有监督交互学习、深度特征提取等方面取得突破，形成一个系统的、完整的稀有类探测解决方案。具体研究内容可分为三块：.（1）结合多视图语义支撑和高阶索引，将探测首个有价值稀有类样本的算法时间复杂度降低至少一阶。.（2）通过协同重构和人机交互有监督学习提升算法准确性，挖掘与已探测到的有价值稀有类样本同类的其他样本。.（3）针对多媒体数据，构建基于深度神经网络的特征提取方法，抽取能够支撑稀有类样本挖掘的深度和语义特征。

在大量科学研究和工程实践中，稀有类的样本往往比主要类的样本具有更高的分析研究价值。然而，稀有类样本数量稀少，容易被主要类样本淹没，难以被发现。稀有类探测致力于发现无标签、不平衡数据集中有价值的稀有类样本，当前稀有类探测相关研究存在时间复杂度过高、难以支持与用户交互、基于浅特征等问题。基于此，本课题研究目标为在现有算法基础上，研发全新的稀有类探测方法，在算法实时性、有监督交互学习、深度特征提取等方面取得突破，形成一个系统的稀有类探测解决方案。具体研究内容可分为三块：.（1）结合多视图语义支撑和高阶索引，将探测出首个有价值稀有类样本的算法时间复杂度降低一阶。 .（2）通过协同重构和人机交互有监督学习提升算法准确性，挖掘与已探测到的有价值稀有类样本同类的其他样本。 .（3）针对多媒体数据，构建基于深度神经网络的特征提取方法，抽取能够支撑稀有类样本挖掘的深度和语义特征。 .本项目3年内发表了7篇高水平论文，其中6篇为CCF A类论文，在面向大数据、实时性、交互性等方面取得突破，形成了稀有类探测原型系统，应用于智能合约稀有漏洞检测、异常海航行为识别等，发表一篇专利，培养了4名硕士研究生，项目负责人获得浙江省高层次人才特殊支持计划青年拔尖人才，获浙江省科技进步二等奖（排名第一）。项目所积累学术成果得到国内外同行的引用与积极评价，产生了较好影响。