基于深度学习的非结构化大数据分析算法研究

Due to the large scale of the image data, the research about data analysis has its specificity and complexity, and high requirements on performance in addition. Under the big data environment, data has the properties of large scale, low value of density, and high speed of updating. Therefore, existing data analysis algorithms could not cope with the requirements of big data. Our project focuses on unstructured big data analysis algorithm, and intend to conduct theory and key technology research on the following four aspects: high level semantic feature extraction,efficient auto-encoding, fast solution and optimization, and application scheme. Combining convolution neural networks and transfering learning, we first research on visual feature extraction in complex scenario. By utilizing theory about multi-layer auto-encoder and transfer learning, we research on efficient data hashing algorithm. We also conduct solution and optimization algorithms, aiming for fast learning on large scale trainging data. Researches in our project not only enrich the theory and technology about unstructured big data.analysis algorithm, but also promote subject development in relevant field. Besides, the research benefits data analysis and storage under big data.

鉴于大数据环境下的数据具有数据规模大、数据价值密度低、更新速度快等特点，目前现有的数据分析方法在大数据环境中已不再适用。为此本课题将针对非结构化大数据分析算法，从高层语义特征提取、高效自动编码、快速求解优化等方面开展相关理论及关键技术研究。首先结合卷积神经网络和迁移学习的相关理论，研究复杂场景下视觉特征学习方法；其次将多层自动编码和迁移学习相结合，研究高效的非结构化数据哈希算法；同时研究求解优化算法，实现对较大规模训练数据进行快速学习的目的；最后研究和建立非结构化大数据分析的应用系统框架。本课题的研究不仅丰富了非结构化大数据分析相关的理论和技术，而且还对相关领域的学科发展也起促进作用。更为重要的是，该课题的研究，有助于解决大数据环境下数据分析和存储的难题，将推动产业化的发展。

21世纪是数据信息时代，随着互联网、物联网、云计算等信息技日新月异的发展，以及社交网络、电子商务等信息载体的拓展，全球由此而产生的各类数据呈现爆炸式增长，这意味着，网络大数据时代已然来临。在各类数据中，非结构化数据作为现代社会的重要信息结构数据，一直在人类生活中占据着重要地位。因此，如何对纷繁复杂的的海量非结构化数据进行分析、鉴别，进而用于分析、归纳、追踪等应用，是当前一大亟需研究的热点。本课题从深层特征学习、高效自动编码、快速求解优化和应用框架等方面开展相关理论及关键技术研究。结合卷积神经网络和迁移学习的相关理论，研究复杂场景下视觉特征学习方法；将多层自动编码和迁移学习相结合，研究高效的非结构化数据哈希算法；研究求解优化算法，实现对较大规模训练数据进行快速学习的目的；最后研究和建立非结构化大数据分析的应用系统框架。该课题研究并提出非结构化数据分析技术具有以下四大优势：（1）提出面向非结构化大数据分析的特征学习算法。该算法针对图像进行深层特征提取，不仅挖掘高层的语义特征，而且能处理复杂场景；（2）提出面向非结构化大数据分析的数据编码算法。该算法考虑训练集数据难以反映大数据规律的难点，将迁移学习和多层自动编码结合起来，挖掘数据的深层信息，将已学习的规律应用于新数据的分析；（3）通过求解优化算法，实现对较大规模训练数据进行快速学习，进一步加快非结构化大数据分析的速度；（4）提出面向非结构化大数据分析应用系统框架，利用GPU加速和并行化算法，实现大数据环境下根据用户需求进行快速数据分析的应用。