基于熵理论的信息匹配网络测量与建模

Network services such as social networks, online advertisements, and product recommendations that are personalized with personalized information have become mainstream business models. The precise match between people and information is an urgent pursuit of such systems. However, the actual situation is that users always suffer from junk information, and the information sources can not find effective channels to deliver information to target users. A service platform is not sure how to optimize its system to make itself an invincible position in the industry. They all urgently need a set of measurement theory to measure the distance between the actual system information matching results and the actual user needs, and the differences in the matching capabilities among different service systems. This project puts forward the topic of "Measurement and Modeling of Information Matching Network Based on Entropy Theory", to carry out the following research: Building a common measurement base, constructing virtual person set and measuring service system in multi-dimension; Based on the above measurements, a theoretical analysis model based on entropy will be proposed, a theory of channel matching capacity in information matching network will be established, and the theoretical limit of a practical system will be found. At last, this project will set up a scientific measurement theory of information matching network, provide strong support for all parties in a service system and create a completely new research field for information theory. In-depth cooperation with Beijing Bytedance Technology Co. Ltd., will ensure the foresight and practicality of this project. The project will be conducted together with our research partner, taking its Toutiao (a famous product of our partner) and its ads platform as typical instance for measurement research and theoretical verification, which ensures the representativeness and practicality of this study.

社交网络、在线广告和商品推荐等以个性化信息匹配为共性的网络服务已成为主流业务模式。实现人与信息的精准匹配是这类系统的迫切追求。但实际上，用户总受到垃圾信息干扰，信息源总缺乏有效渠道投放信息给目标用户，服务平台不确定如何优化系统才能在行业竞争中立于不败之地。各方都迫切需要一套度量理论来衡量实际系统的信息匹配与真实用户需求之间的距离，以及不同业务系统之间的匹配能力差异。因此，本项目提出“基于熵理论的信息匹配网络测量与建模”课题，开展以下研究：构建共同测量基准，据此构造虚拟人集合，多维度探测业务系统；在此基础上，构造基于熵的理论分析模型，创建信息匹配网络中的信道匹配容量理论，刻画实际业务系统的理论极限。本项目将建立信息匹配网络的科学度量理论，为业务系统各方提供有力支持，为信息论开创新的应用领域。课题组将以合作单位的今日头条和广告平台为典型实例开展测量研究和理论验证，以保证研究的代表性和实用性。

本项目以网络应用系统的个性化信息资源匹配为背景，以信息网络中的广告投放、视频分发为主要研究对象，结合网络测量、网络优化和人工智能技术，开展了信息匹配网络测量、性能评估、匹配机制和关键模型算法的研究。通过四年研究完成了计划内容。完成工作主要包括以下方面：（1）在业务平台测量建模方面，建立了信息匹配网络自动化测量方法，通过配置具有不同特征的虚拟角色，实现了对不同业务平台(在线广告/在线购物)的测量，建立了性能评价指标，采用对测量数据统计分析和人工智能分析手段，对平台匹配性能进行了对比评估，给出了有参考价值的性能指示。（2）用户表征的刻画是建立信道匹配容量理论的关键，在此方面，研究了轨迹相似度计算的轨迹深度学习机制，实现了高性能的移动用户特征表达，提高系统信息匹配能力；提出了一种用户特征敏感的分级推荐算法，实现动态判别用户所属类别动态匹配推荐器，提高推荐效果；提出了基于注意力机制的异质图网络推荐框架，汇聚不同层次信息，针对目标节点进行聚合操作，得到与元路径上下文内容关系密切、表征内容丰富的用户嵌入表示。（3）在信道匹配模型和方法方面，以广告投放为案例，结合现有业务典型的视频投放模式，建模研究了在线视频产业中内容商的资源租用和广告投放策略，实现用户表征和在线视频系统信道之间的匹配，最优化总体收益；以视频分发为案例，提出基于视频转码和推荐的缓存算法，实现精准个体或群体信息表征和缓存系统信道之间匹配，大幅度提升缓存命中率；进一步，基于用户表征多样性提出了新的视频推荐和缓存算法，在兼顾系统信道精准匹配同时，保证推荐信息的多样性，提升用户获得精准和多样化信息两方面的总体体验。综上，我们测量了现有业务系统的匹配性能，探索了信息网络中用户需求、网络资源与内容商资源三要素关系的理论模型，形成了系列信息匹配网络理论模型与优化方法，为实际业务系统建设和优化提供了理论支持，具有一定指导意义和参考价值。