基于分布式非凸统计模型的大数据分析技术及应用

Big data analytics is the most fundamental and crucial component for building a big data platform. However, the current technologies suffer from low precision, poor scalability and, moreover, there lack fundamental theorems to improve the situation. This proposal aims to integrate theorems with applications, targeting at non-convex statistical models and developing large-scale distributed and parallel data analysis techniques, for solving challenging problems that involve analyzing huge-volume, unstructured and heterogeneous data. From the perspective of fundamental theorems, we propose to study (1) distributed non-convex statistical data analysis techniques and their performance analysis, and (2) matrix/tensor factorization based distributed data analysis techniques and their performance analysis. From the perspective of applications, we propose researches on (3) big data applications in communications networks and precision medicine. The team members are top experts and have fruitful research accumulations on signal processing, non-convex optimization, machine learning, communication networks and precision medicine. It is anticipated that the proposal will deliver desirable results about the theories and key technologies for advancing distributed non-convex big data analysis techniques. Moreover, through solving real big data problems in communication networks and precision medicine, the team will use new theorems and techniques to build a big data analysis platform. The researches proposed here have important meanings and will greatly promote the researches and applications of big data analysis domestically.

大数据分析技术是建设国家大数据战略的关键部分，然而目前面临着精度低、扩展难、基础理论欠缺等问题。本项目结合理论与应用，提出开展针对非凸统计模型的大规模分布式并行统计分析技术，以实现高效处理具海量规模、非结构化、异构源等困难特质的大数据分析问题。本项目在基础理论方面，提出研究(1) 分布式非凸统计分析技术与性能分析，与(2) 基于矩阵／张量分解的分布式统计分析技术与性能分析。在应用方面，提出研究(3) 大数据在通信与医疗的应用。本项目团队成员在信号处理、非凸优化、机器学习、通信网络、精准医疗等方面皆有札实的研究积累。项目研究成果预期为分布式非凸大数据分析技术提供重要的理论依据及关键技术指导，同时藉由解决在通信网络与精准医疗方面的实际大数据问题，朝向建立基于新理论与新技术的大数据分析实验平台。本项目对于推动我国在大数据领域的研究与应用具有重要意义。

大数据分析技术是建设国家大数据战略的关键部分，然而目前面临着精度低、扩展难、基础理论欠缺等问题。本项目结合理论与应用，提出开展针对非凸统计模型的大规模分布式并行统计分析技术，以实现高效处理具海量规模、非结构化、异构源等困难特质的大数据分析问题。本项目在基础理论方面，提出研究(1) 分布式非凸统计分析技术与性能分析，与(2) 基于矩阵／张量分解的分布式统计分析技术与性能分析。在应用方面，提出研究(3) 大数据在通信与医疗的应用。本项目团队成员在信号处理、非凸优化、机器学习、通信网络、精准医疗等方面皆有札实的研究积累。项目研究重要成果包括.1）提出了若干面向非凸问题的新型优化算法，以及加速分布式优化算法，对比现有优化算法有明显的速度或存储方面的优势；在理论上分析了若干梯度算法的复杂度下界，分析了非凸非光滑分布式ADMM的收敛条件，获得了国际同行的广泛关注。.2）在矩阵与张量数据的去噪、填充、聚类等问题上取得重要进展，定义了新的张量核范数，把矩阵情形的压缩传感理论与算法全面推广到了张量情形，并应用于多视角数据处理等问题，显着提高了性能。.3）在通信网络的应用方向，我们对移动边缘计算网络、无人机通信网络、全双工通信系統等的资源调度优化以及网络性能预测进行了深入的研究。.本项目对于推动我国在大数据领域的研究与应用具有重要意义。