数据分发网络中面向QoS的内容匹配算法与机制研究

It is of great application and research importance to guarantee the quality of service (QoS) of data distribution networks for fields concerning big data processing, such as financial and securities, Internet of Things, and big data trading that have high frequency of data distribution, large number of users, and strict requirement on real-time and complex diversity. Current works mainly focus on QoS support of data distribution networks from the perspective of routing, without concerning matching. However, matching is one of the core functions of data distribution networks, directly affecting the QoS of data distribution networks. Based on matching algorithms, this project explores the methods of improving the QoS of data distribution networks, researching on QoS-oriented content matching algorithms and mechanisms in terms of stability assurance, fairness maintenance, and priority support, aiming to improve the QoS of data distribution networks by assuring the stability of system and satisfying the individual needs of users. The core of QoS-oriented matching algorithms and mechanisms research is the innovation of design ideas, which promotes algorithm performance and expands algorithm function. This project will follow algorithm design, mechanism implementation, system development and functional verification process to carry out research. The research results of this project are able to further improve the QoS of data distribution networks, satisfying the data distribution requirements of different fields in the big data background.

保证数据分发网络的服务质量（QoS）对涉及大数据处理的相关行业具有重要的应用价值和研究意义，尤其在数据分发频率快、用户数量大、实时要求高、多样性复杂的金融证券、物联网和大数据交易等领域。现有工作主要从路由的角度研究数据分发网络的服务质量保证，鲜有从匹配的角度开展研究。然而，匹配是数据分发网络的核心功能之一，直接影响其服务质量。本项目立足匹配算法探索提高数据分发网络服务质量的方法，从稳定性保障、公平性维护和优先级支持等方面研究数据分发网络中面向QoS的内容匹配算法和机制，旨在保障数据分发网络运行的稳定性和满足用户需求的个性化。面向QoS匹配算法和机制研究的核心是设计思想的创新，通过思想创新带动算法性能的提升和功能的扩展。本项目将遵循算法设计、机制实现、系统开发和功能验证的流程开展研究工作。本项目的研究成果可进一步提升数据分发网络的服务质量，满足大数据背景下不同领域的数据分发需求。

数据爆发式增长对人们有效获取信息提出了巨大挑战。数据分发系统可满足用户对数据的个性化需求，实现数据的快速分发。如何保证数据分发网络的服务质量（QoS）对涉及大数据处理的相关行业非常重要，尤其在数据分发频率快、用户数量大、实时要求高、多样性复杂的金融证券、物联网和大数据交易等领域。匹配算法作为数据分发网络的核心功能之一，其性能直接影响数据分发的服务质量。本项目立足匹配算法探索提高数据分发网络服务质量的方法，从稳定性保障、公平性维护和优先级支持等方面研究匹配算法的优化方法，旨在保障数据分发网络运行的稳定性和满足用户需求的个性化。在本项目实施的四年过程中，项目组提出了10个匹配算法，分别从性能提升、自适应调整、实时性保障、稳定性优化、并行化方法等方面对匹配算法进行优化，研究成果发表在本领域高水平的国际期刊和学术会议上，包括IEEE TPDS 和 IEEE INFOCOM。其中，针对时空感知的大规模发布/订阅系统，项目组提出了一种新颖的数据结构MO-Tree，以统一的方式对订阅和事件进行索引，在订阅和事件的匹配和维护操作上实现了高效的性能；针对事件到达速率变化引起的工作负载波动问题，项目组提出了基于匹配算法的性能调整以适应工作负载的自适应算法Ada-REIN，可显著降低事件的分发时延；在现有的串行匹配算法的基础上，项目组提出了一种轻量级并行化方法PhSIH，可进一步提升和稳定匹配算法的性能。项目组在GitHub上开源所设计的匹配算法代码。本项目的研究成果可用于保障数据分发网络的服务质量，满足大数据背景下不同领域的数据分发需求，具有较高的理论意义和应用价值。本项目在数据分发和资源调度方向的研究成果在上海市“一网通办”平台和携程公司得到应用，本项目的研究成果作为创新内容之一参与申报上海市科技进步奖，项目负责人作为3完成人获得2018上海市科技进步二等奖1项。