面向可视化分析的自然语言交互系统：基于大语言模型的对话智能体系统综述

《IEEE Access》：Talking to Data: A Systematic Review of The Rise of Conversational Agents for Visual Analytics

本文针对自然语言到可视化(NL2VIS)技术面临的用户意图理解难、技术门槛高等问题，系统回顾了基于大语言模型(LLM)的对话智能体在可视化分析领域的研究进展。研究人员通过PRISMA方法筛选49篇文献，发现近年来系统普遍采用多智能体推理、上下文感知提示和代码生成能力，显著降低了非专业用户的数据分析门槛。研究表明，尽管存在提示脆弱性和模型幻觉等局限，LLM智能体在 democratizing 数据分析和提升可视化工具交互性方面展现出巨大潜力，为未来智能数据分析系统开发提供了重要参考。

　　

在当今数据驱动的时代，数据可视化已成为解读复杂数据集、支持决策制定和发现隐含模式的关键工具。然而，传统的数据可视化工具通常需要使用者具备编程和数据分析的专业技能，这对非专业用户构成了显著障碍。为了应对这一可及性挑战，研究人员日益关注如何实现可视化生成的自动化，让用户能够用日常语言与数据交互。

自然语言界面(NLI)的研究作为自动化可视化生成领域的主要进展方向，使用户能够与会话式数据系统交互，从而提高可用性、降低认知负荷，并使可视化工具对更广泛的用户群体更具包容性。这些界面构成了自然语言到可视化(NL2VIS)系统的基础，该系统将基于文本的用户查询转换为渲染的图表和视觉摘要。然而，由于自然语言固有的模糊性、欠规范性以及拼写错误，准确推断用户意图并生成适当输出仍然存在技术挑战。

随着基于Transformer架构的大语言模型的出现，自然语言理解领域经历了一场变革。这些模型在意图理解、多轮对话推理以及从文本输入自主生成可视化代码方面展现出卓越能力，为构建智能数据助手开辟了令人兴奋的新可能性。因此，各种基于LLM的系统应运而生，各自采用不同策略来开发用于可视化分析的基于对话的系统。这些创新标志着可视化工具设计的重大转变，其目标不仅是自动化图表生成，更是提供会话式、上下文感知且与用户需求一致的分析工具。然而，LLM也存在一些局限性，例如提示脆弱性（即措辞的微小变化可能导致显著不同或错误的输出）和模型幻觉。因此，有必要整合该领域的发现，比较系统能力，并确定未解决的挑战和研究机会。

为了确保对当前NL2VIS解决方案发展现状的全面了解，本研究遵循系统综述和元分析优先报告项目指南，进行了一次系统文献综述。该方法是一个用于识别、筛选和确定相关研究资格的四阶段流程。文献检索在Web of Science、Scopus、IEEE Xplore和ACM数字图书馆等在线数据库中进行，时间跨度为2018年至2025年4月。经过严格的筛选流程，最终有49篇论文被纳入分析。

研究发现，自2022年以来，该领域的学术兴趣急剧增加，美国和中国的贡献最为突出。大多数研究源于计算机科学领域，但来自医疗健康、地理空间科学和制造等领域的跨学科参与日益明显。在技术基础方面，GPT系列（尤其是GPT-4及其变体）是平台中最常用的模型，尽管Gemini、LLaMA和Vicuna等替代方案也有应用。大多数系统严重依赖成熟的库和框架，如Pandas、LangChain、Matplotlib、Streamlit和Vega-Lite。与结构化数据源的集成通常通过自然语言到SQL的转换或LLM生成的Python代码实现，通常结合了提示工程和智能体编排策略。值得注意的是，只有部分被综述的系统支持完整的分析能力，包括描述性、回归和分类任务。可视化生成过程主要由LLM生成的脚本或声明式图表规范主导，新兴系统开始融入视觉反馈循环或多智能体调试工作流。评估策略多种多样，从案例研究和专家访谈到基于基准的定量评估，但往往缺乏长期洞察。

研究揭示了几个反复出现的局限性。这些包括处理复杂或模糊查询的挑战、提示和令牌长度限制、频繁的代码生成错误以及有限的领域特定推理能力。可用性问题也持续存在，特别是在透明度、灵活性和延迟方面。此外，许多评估受限于狭窄的数据集或用户样本，影响了其普适性。未来的研究应优先考虑通过集成增强的推理能力和多样化的图表工具来提高鲁棒性和可扩展性。同样重要的是提出一个通用且易于采用的框架，用于设计和实现基于LLM的数据分析系统。这样的框架应能跨领域灵活应用，并得到更严格和标准化的评估方法的支持，从而能够在不同研究之间进行更一致的基准测试。

在关键技术方法方面，本综述所涵盖的研究采用了多种架构和方法来构建基于LLM的数据分析对话智能体。核心方法包括：1）自然语言到SQL/代码生成：智能体将用户查询转换为可执行的SQL语句或Python代码（例如使用Pandas、Matplotlib、Seaborn）来查询数据和生成可视化。2）多智能体系统：采用具有专门角色的智能体（如编排器、SQL专家、代码生成器、执行器、验证器）来分解复杂任务，提高准确性和鲁棒性。3）提示工程与上下文管理：利用少量示例提示、思维链和检索增强生成等技术，将数据模式、元数据或历史对话上下文纳入提示中，以指导LLM。4）声明式可视化规范：许多系统生成Vega-Lite的JSON规范，而不是命令式代码，以实现更安全、更易修改的可视化输出。5）工具集成与API调用：智能体被赋予调用外部工具、库或API（例如用于数据检索、地理空间分析、机器学习模型训练）的能力。6）评估方法：结合了案例研究、用户/专家评估以及使用特定基准数据集（如nvBench、NL4DV数据集）的定量指标（如执行准确率、代码生成成功率、可视化质量）来衡量性能。

研究结果部分详细阐述了针对十个研究问题的发现。在平台与应用领域方面，研究识别了众多已开发的平台，如GeCoAgent（基因组学）、Aliro（自动化机器学习）、ChatGeoAI（地理空间分析）、FHIRViz（医疗健康）等，涵盖了通用目的和特定领域（如健康与生命科学、环境与地理空间、工业与工程、公共部门与政策等）的应用。在技术栈方面，Pandas、LangChain、Vega-Lite、Streamlit等是常用工具。GPT系列模型占据主导地位，嵌入模型如text-embedding-ada-002、BERT等也有应用。数据交互方式主要包括NL2SQL、代码生成、API介导、元数据提示等。分析任务以描述性分析为主，部分系统支持回归和分类。可视化生成主要通过代码执行、声明式规范或预定义模块实现。性能评估则综合了场景案例、用户研究和定量基准测试等多种方法。

尽管基于LLM的对话智能体显示出巨大潜力，但当前研究仍存在一些局限性。主要包括处理复杂或欠规范查询的挑战、提示敏感性和令牌限制、代码生成错误、领域泛化能力弱、可解释性不足以及评估方法有待加强（如样本量小、缺乏长期研究）等。

新兴趋势和未来研究方向包括：1）改进推理和适应性：增强查询消歧、记忆机制和推理框架，以更好地处理复杂、多轮查询。2）代码验证与调试：扩展对更多图表库的支持，并改进代码验证过程，例如加入调试或验证层。3）领域特定扩展性：在地理空间或生物医学等领域，整合外部知识库，支持多模态数据，增强与新数据格式和API的兼容性。4）提升可用性与可解释性：减少延迟，提高响应速度，实施用户驱动的细化循环、澄清提示和更清晰的解释模块。5）加强评估稳健性：进行更广泛、更多样化的用户研究，创建新的基准数据集，并制定长期验证策略。

综上所述，这项系统综述全面概述了支持LLM的对话智能体在视觉数据分析和NL2VIS任务中的最新发展。它强调了向更智能、更易于访问和更协作的数据探索工具的转变，同时也指出了需要解决的关键挑战，以实现其在各个领域的全部潜力。该综述为研究人员和从业者开发更有效、更可靠和更可解释的基于LLM的分析系统提供了宝贵的资源和路线图。尽管LLM智能体已经取得了显著进步，但在复杂数据可视化任务中实现完全自主、可靠和可解释性，仍然需要一个专注于扩展、接地和以人为本设计的广泛研究议程。