面向海量数据语义标注众包的任务管理方法研究

Semantic annotation is the basis of large-scale data analysis and utilization and its quality directly affects data application. Crowdsourcing provides a rapid and effective mechanism for semantic annotation and reduces the workload of expert annotation and increases annotation efficiency. The study includes: concept modeling of task management for large-scale data semantic annotation,which establishes quantitative model ; task assignment method to control cost of crowdsourcing, which could maximize the efficiency of task assignment under limited budget; dynamic selection and evaluation method to automatically select and evaluate workers. The study establishes proper task management method for large-scale data semantic annotation, improves annotation quality, provides key methods and technic support for large-scale data analysis and processing and has application and popularization value in the network public sentiment, financial data mining, and marketing management.

语义标注是分析和使用海量数据的基础，其标注质量直接影响数据的应用效果，众包为获取语义标注提供了快速且有效的机制，提高语义标注效率。任务管理监控众包任务发布、执行和评估过程，是提高标注质量的有效手段。本项目提出适合于海量数据语义标注的任务管理方法，为海量数据的分析提供关键技术支撑。重点研究内容包括：海量数据语义标注任务管理的概念模型研究，形成众包任务的定量管理基础；基于资源节约的众包任务分配方法研究，实现在有限预算条件下，最大化任务分配的效率；基于持续监控的工作者动态选择及评估方法研究，实现工作者的自动筛选和评估。研究成果将在网络舆情分析、金融数据挖掘、市场营销管理等领域具有广泛的应用前景。

本课题立足于大数据环境下的众包标注问题，探索如何提高众包数据以及众包任务管理的质量。主要研究包括：（1）基于资源节约的众包任务管理模型构建（RCBHM）模型，建立了标注任务管理的概念模型，基于资源节约的众包任务分配方法实现在有限预算条件下，最大化任务分配的效率；基于持续监控的工作者动态选择及评估方法实现工作者的自动筛选和评估。实证结果表明该模型在成本和准确率方面都具有良好表现。（2）研究了众包与机器相结合的相关优化算法，包括用户对项目属性偏好的协同过滤算法，条件型游走二部图协同过滤算法，基于BP-Asymboost的分类算法，基于服务质量的动态消息过滤算法，这些算法可应用在众包工作者推荐以及任务分类领域，对提高机器对众包标注数据的自学习能力，提高分类准确率，优化众包任务组合，提高众包工作者推荐效果等提供了关键技术支撑。（3）从行为视角研究了众包与众筹领域的工作者行为，筛选出了众包任务管理过程中的关键影响因素，为众包数据质量改善提供了管理上的策略。 (4)将研究成果尝试应用于网络舆情及医疗大数据标注领域，结合文本挖掘相关技术，对其他课题团队的数据标注提供了方法支持与质量评估，形成了具有应用价值的研究成果。