开放式大数据处理服务的全生产周期可信关键技术研究

Open service of big data processing plays an important role in Big Data analysis. However in practice, the trustworthiness of the result of service is compromised by kinds of security threaten, which restrains the development of the service. This project takes MapReduce model as the main research object. The features of MapReduce computation are fully taken into consideration, and several key issues in the production cycle of service, such as computation security of participating nodes, scheduling of trusted computing nodes, and verification of final result, are studied. Concerning computation security, access control framework is exploited to support various access control policies for computing nodes. Addressing scheduling of trusted nodes, we propose trusted scheduling algorithms that allow computing resources changing dynamically, and distinguish behaviors between malicious attack and normal failure, meanwhile, the performance is also optimized. As to verification of the final result, theories of verifiable computation are leveraged to solve general computing verification problems, and the practicability of proposed methods is a hotspot of research. This project will also design and implement a prototype system of trusted MapReduce service in a whole production cycle, to validate the effectiveness of our proposals.

开放式大数据处理服务在大数据分析中发挥出越来越重要的作用。然而由于在实际应用中面临的各类安全威胁使服务结果的可信性受到质疑，制约了这类服务的进一步发展。为了进一步提高服务可信性，本项目以大数据处理的经典计算模式MapReduce为研究对象，针对其多节点协同、分阶段计算的特点，分别从参与计算节点的安全计算、可信的计算节点调度以及最终结果可信性验证三个方面对该服务生产周期中的若干重要可信性问题进行研究。在计算节点安全计算方面，利用访问控制框架技术支持对计算节点的多样化访问控制策略的灵活扩展；在可信计算节点调度方面，研究支持计算资源的动态变化、区分恶意与普通计算失效并兼顾性能优化的可信调度算法；在最终结果验证方面，采用可验证计算理论解决通用类型的计算验证，并重点研究方法在真实系统中的实用性。本项目还将设计和实现全生产周期可信的开放式MapReduce原型系统，对相关研究成果进行验证。

开放式大数据处理服务在大数据分析中发挥出越来越重要的作用。然而在实际应用中，开放的服务方式受到服务方主观意图与分布式计算环境客观安全因素等多方威胁，服务可信性受到用户质疑。本项目以开放式大数据处理服务为研究对象，结合其多节点协同、分阶段计算的特点，面向服务生产周期中内部节点计算、中间结果组装以及最终结果验证等不同的计算阶段，对服务全生产周期中的若干重要可信性问题进行研究。项目主要研究内容包括以下几方面：.第一，研究了计算节点级可信增强问题，从节点操作系统底层对服务进行节点级可信增强，通过基于安全硬件的可信执行环境构建方法与内核层访问控制机制创新实现了自底向上的多层次安全增强，有效防御各类恶意攻击。.第二，研究了服务级资源可信部署问题，设计了高效可信的平台资源调度方法，实现计算资源的优化整合，同时针对异构存储的数据迁移问题提出了存储敏感的云服务重部署方法，保证服务可信性与效能符合用户的要求。.第三，研究了服务完整性远程证明问题，基于TPM可信硬件支持设计了基于属性加密的服务远程证明方法，并提出了用户可定义的可信大数据处理服务模型，支持用户对服务安全可信策略的个性化定制，并且兼顾对用户隐私的保护。.第四，研究了面向云际互联的服务可信记账问题，重点解决记账能力可扩展性、记账效率与安全性的权衡问题，设计实现了支持云际分布可信记账的可信账本系统与基于云际计算环境的数据交易体系结构，为服务可信记账提供有力支撑。.第五，针对大数据处理服务的具体应用问题求解展开了研究，选取了SAT求解、机器人全覆盖以及问答社区提问推荐等三类经典问题，研究其在开放式处理环境下的可信性增强解决方案。.项目严格按照计划书展开研究，达到了预期研究目标，项目执行期间共发表学术论文20篇，包括CCF B类国际期刊2篇与CCF B类国际会议1篇，SCI检索3篇，EI检索12篇，授权专利2项，申请专利3项。理论分析和大量的实验验证了本项目所提出方法的高安全性、高可用性、性能，对于建立诚实可信的开放式大数据处理服务环境具有一定的理论意义和应用价值。