机器学习驱动的可视化新流程研究

In a typical visualization, the design space could be very huge, and the parameter space may have too many parameters to tune. It is also difficult to model the users' perception. To tackle the challenges of design space, parameter space and perception space, the goal of this project is to replace previously difficult elements of the visualization pipeline, which are normally specifically designed for dedicated data and tasks that have defined analytical formulas, with more powerful and generic machine learning approaches. These machine learning approaches will either take example results from existing algorithms or results generated by human users as input. With proper model training based on the input data, and example results with designated learning algorithms, it will be possible to directly synthesize the desired visualization parameters, settings or even results. More intelligent visualization can be provided through our approaches. The approaches proposed in this paper are fundamentally different from those in current visualization practice. In our approach, we propose to shift the visualization paradigm from one that is parameter or analytical form-driven to one that is goal-oriented.

可视化的设计空间庞大复杂，参数空间选择困难，用户的感知空间难以直接表达，本项目旨在针对上述可视化中设计空间、参数空间、感知空间的难点，研究由机器学习驱动的可视化新流程取代需要针对特定数据和任务设立不同可视化设计的模式，通过学习的方式建立隐式的模型。将可视化本身以及相关的参数设置、设计空间、用户感知等信息，通过选择合适的机器学习模型与算法之后进行学习、训练，直接合成期望的可视化参数、设置、甚至可视化结果，从而提供更智能的可视化。这项工作将引入和当前一般可视化不同的可视化设计流程，将可视化设计范例从传统的解析式驱动方法转变为目标导向方式。

近些年来，数据呈现爆炸式的增长。数据可以收集和组织，但数据的复杂性和时间开销显著影响着可用数据的使用。可视化能够极大地降低对数据的认知壁垒，提高对复杂未知数据的交互探索效率和能力。有效并且精确设计的数据可视化支持组织领导、专家、分析师以及公众能够交互式地探索、交流和分析实时数据，使得信息更好的传播以及更快的决策。然而可视化的设计空间庞大复杂，参数空间选择困难，用户的感知空间难以直接表达，本项目旨在针对上述可视化中设计空间、参数空间、感知空间的难点，研究由机器学习驱动的可视化新流程取代需要针对特定数据和任务设立不同可视化设计的模式，通过学习的方式建立隐式的模型。将可视化本身以及相关的参数设置、设计空间、用户感知等信息，通过选择合适的机器学习模型与算法之后进行学习、训练，直接合成期望的可视化参数、设置、甚至可视化结果，从而提供更智能的可视化。本项目在可视化的自然语言的自动化理解、智能交互和深度学习驱动的科学可视化等方面取得了突破成果，改变了原有的研究范式。在可视化理解方面，提出了在对自然语言响应的可视化内容自动高亮，表格数据的自然语言与可视化问答，可视化的自然语言描述生成；在智能交互方面，提出了通过预测用户的意图进行提前响应从而提升交互效率，通过结合直接操纵和自然语言交互混合的多模态交互，让用户以更自然的方式表达需求；在科学可视化方面，提出了深度学习驱动的体数据可视化渲染方法、深度学习驱动的体数据最优视角选择方法，以及数据管理方法。依托项目，发表了17篇论文，获得3次IEEE VAST挑战赛奖励，举办了3次北京大学可视化发展前沿研究生暑期学校，培养了3名博士和7名硕士。课题组多次组织国内外相关专业交流活动，扩大了相关研究的影响。通过举办暑期学校，积极培养国内各单位相关人才，对国内相关行业和研究的进步起到了非常积极的作用。项目成果以及相应研制的工具集在社科人文等领域产生了广泛的影响。