面向大数据的高时效并行计算机系统结构与技术

Currently,Big Data processing in different areas,such as commercial intelligence, social management and scientific computing, has requirements ofhigh performance and low latency, leading to serious challenges for time-efficient computing in traditional data processing infrastructures. This raises urgent needs of significant renovations in the data access methods, processing hardware and software supporting for Big Data. Accordingly, we propose to research on the architecture and key technology of high performance and time-efficient parallel computer for Big Data. In the aspect of parallel computer architecture, we focus on the high performance accelerator architecture and the scalable heterogeneous parallel computing system architecture. In the aspect of hybrid main memory, we will mainly explore the streaming and high concurrent main memory structures and the optimization mechanisms for the data management of hybrid main memory. In the aspect of parallel processing software supporting, we will mainly study the heterogeneous platform-based task-granularity partitioning and efficient planning mechanism as well as the data layouts mechanisms targeting high throughput and low latency. At last, we will evaluate and verify our research results through experiments over Big Data collections from real-world applications. This project has both significant academic value and application prospect. The research results will provide fundamental theory, methods and techniques for designing and developing high performance and time-efficient computer systems for Big Data analysis and processing.

当前，商业智能、社会管理、科学计算等多个领域的大数据处理应用都蕴含了高性能、低延迟的需求，对传统数据处理设施带来了高时效计算挑战，迫切需要在大数据的存取方法、处理硬件和软件支撑方面作出重大革新。为此，提出了面向大数据的高时效并行计算机系统结构与技术的研究课题。在并行计算系统体系结构方面，主要研究面向大数据的高性能加速处理器结构和大数据的可扩展异构并行计算体系结构；在混合主存系统方面，主要研究面向大数据的流式高并发主存结构和混合主存的数据管理优化机制；在并行处理的软件支撑方面，主要研究基于异构平台的任务粒度划分与高效规划机制和并行处理系统中高吞吐、低延迟的数据布局机制。最后，通过实际应用的大数据进行测试验证研究成果。本项目研究具有重要的学术价值和应用前景，为设计和研制高时效的大数据分析和处理计算系统提供了基础理论方法和技术。

当前，商业智能、科学计算、机器学习等多个领域的大数据处理应用都具有高性能、低延迟的需求，对传统数据处理系统提出了挑战，迫切需要在大数据的存取方法、处理硬件和软件支撑方面作出重大革新。针对大数据的高时效并行处理需求，本项目主要从基于加速器的并行可扩展计算系统体系结构、高并发的大容量混合主存系统、大数据处理的并行任务支撑技术等三个方面进行了研究。提出了基于交叉多线程的流处理器加速器结构，并在FPGA平台上设计实现了基于交叉多线程的流处理器原型系统，并通过PCIe接口与主机相连，构建了8节点的异构并行原型系统；基于新型存储介质，提出了同时支持行和列访问的非易失内存系统、基于忆阻器的非对称交叉阵列内存系统设计，提出了低内存开销的缓存替换策略、混合哈希目录索引策略和基于哈希的全路径文件名解析机制，设计实现了基于闪存并发访问同步控制器，构建了1TB的高速大容量固态存储体原型系统；设计实现了新型体系结构上的图处理加速框架，解决缓存伪共享难题、GPU上同步锁和原子操作开销、图动态核值更新等问题，基于RDMA技术提升了memcached、Spark和MXNet等大数据存储和处理系统的数据传输效率。本项目的高时效并行计算机系统结构与关键技术方面的研究成果通过自行研制的原型系统进行了测试验证，为面向大数据的高时效并行计算机系统的研制提供了理论方法和技术基础。