基于深度学习的结构化预测模型研究

具有结构化特性的数据广泛存在于自然语言理处理、计算机视觉、生物信息等重要应用领域之中。传统的结构化预测模型主要考虑数据样本之间的结构，而不能适应样本内部的复杂性。针对复杂的结构化数据，本课题创新性地综合考虑数据之间和数据内部的结构信息，开创性地在结构化预测模型中引入用深度学习思想，提出具有高层次隐含特征学习能力的深度结构化预测模型。特别针对结构化数据，本课题还设计具有变换不变性特征学习能力的隐藏层和相应的模型学习算法，有效解决复杂结构数据中的结构化预测问题。基于该模型的深层结构，本课题进一步提出面向结构化数据的迁移学习算法，借助辅助任务和未标注数据，降低模型的标注代价并提升模型的泛化性。研究成果将极大推进结构化预测模型在复杂任务中的应用，是对机器学习理论的重要探索和扩展，具有重要的理论价值和广泛的应用前景。

在计算机视觉、web挖掘、自然语言处理等多个领域的识别、预测任务中，数据之间具有复杂的结构性关系，同时数据内部也具有很高的复杂结构信息。有效利用数据的结构特性可以帮助模型更好的进行预测。本项目在结构化预测问题中综合考虑数据点之间，以及数据点内部的结构信息，以深度学习为切入点，在复杂的结构化数据中自动学习具有高层语义的特征，提高结构化数据预测的准确性和鲁棒性。. 针对上述问题，本项目首先提出了具有深层架构的有监督结构化预测模型，研究考虑数据样本内部结构特性的不变性特征学习。提出在考虑序列结构的同时，引入具有二维空间卷积变换的特征抽取层，将数据内部划分为若干有交叠的子区域，迭代地进行特征变换，从而利用数据的相对的位置结构信息，降低模型对偏移等变化的敏感性。这一结构化模型不仅考虑了数据点之间的结构信息，而且兼顾了数据内部的结构信息，在动作识别等实际的结构化预测任务中取得了更好的准确性和鲁棒性。. 其次，针对实际应用中广泛存在的标注数据较少而无标注数据大量存在的情况，本项目提出了无监督深度结构化模型，进一步提升深度结构化模型的泛化性，降低对于大量标注数据的依赖性。通过学习过程中使用充足的无标注数据，本项目所提出一种无监督的结构重构和数据点重构的综合损失函数能够获得更好的泛化性。.再次，通过深度结构化模型的多层结构，提出了能够在相关任务之间进行知识和信息的共享迁移学习方法及半监督学习方法。在结构化模型的深层架构中，每一隐藏层负责学习某一个概念层次上的抽象特征，本项目利用隐藏层的这一特点，在不同任务之间进行隐藏层参数的共享，完成任务之间的在某一层面的信息传递，从而引入相关任务的标注数据或无标注数据，实现迁移学习及半监督学习。. 最后，在理论方法研究成果的基础上，分别面向计算机视觉、Web挖掘等重要的应用问题展开广泛的研究。首先将深度结构化预测模型应用于动作识别、手写单词识别等序列标注任务，取得优于现有算法的识别性能。其次，针对信息检索中的查询理解、排序学习以及缩略词识别问题，本项目分别提出基于迁移学习的多排序模型深度融合算法，以及半监督深度条件随机场模型来解决此类问题，取得了较好的效果。此外，针对具有网络结构的大规模社交分析任务，本项目提出了并行化的网络结构分析算法。