RouteLLM：一款具备原生路线情境理解能力的大型语言模型，可实现基于情境的推理

《Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies》：RouteLLM: A Large Language Model with Native Route Context Understanding to Enable Context-Aware Reasoning

路线上下文理解对智能出行应用至关重要，本研究构建了首个人工智能语言模型ContextualRoutes1，集成道路、天气、交通数据形成320k路网数据集，并开发包含1k问答和4k对话的多模态标注数据集。通过语义聚类路线数据，创新性地提出路线上下文感知的LLM架构，实现零样本推理能力，但跨模态理解仍需进一步研究。

　　

摘要

了解用户所处的环境对于判断他们的状态、需求以及与技术的互动方式至关重要。本研究重点关注路线背景信息，包括道路状况、交通状况和天气等影响用户出行的环境因素。将路线背景信息与大型语言模型（LLM）相结合，能够实现对这些环境因素的推理，从而让用户提出诸如“在我所走的路线上，什么时候打电话最合适？”或“这条路线适合开敞篷车行驶吗？”之类的问题。我们提出了首个能够原生理解路线背景信息的LLM——ContextualRoutes1。该数据集包含32万条路线信息，每条路线都涵盖了道路、天气和交通数据。我们使用特定模板及教师模型对这些路线进行标注，生成了LabeledRoutes1数据集，这是一个包含1000多个任务和4万条对话的多模态多任务问答数据集，其中涉及路线描述和文本信息。基于首个数据集，我们训练出了首个能够将路线按语义意义分类的路线背景信息分词器。在此基础上，我们开发出了首个具备路线背景感知能力的LLM，并发现它在无需额外训练的情况下即可对路线相关问题进行推理。不过，我们仍认为有必要进一步研究跨模态的路线到文本的信息理解机制，并探讨这一新兴研究领域在未来发展过程中可能面临的挑战。