GF-SVD：大型语言模型的全局知识融合奇异值分解

《Information Fusion》：GF-SVD: Global Knowledge-Infused Singular Value Decomposition of Large Language Models

本文提出Traveller模型，结合自回归时空规划与扩散空间建模，通过提取个体时空模式作为约束条件，生成高保真隐私保护型轨迹，有效解决无条件扩散模型忽略重复访问、活动范围等关键行为特征的问题，并在北京、深圳数据集上验证其优越性。

　　轨迹生成（Trajectory Generation, TG）技术在城市管理和交通规划等领域具有重要应用价值，它能够模拟个体的移动行为，为复杂的城市系统提供更真实的数据支持。特别是在流行病控制和隐私保护的移动分析中，TG技术的精准性与可靠性显得尤为重要。然而，目前的轨迹生成方法，尤其是无条件扩散模型，在时空一致性方面仍存在显著局限。这些模型往往忽略了个体移动行为中一些关键的模式，例如反复访问特定地点、移动范围以及时间上的规律性。为了克服这些问题，本文提出了一种新的轨迹生成框架——**Traveller**，该框架结合了自回归时间规划模型（AR-TempPlan）和基于扩散的轨迹生成模型（TravCond-Diff），以更准确地捕捉人类移动行为的时空动态，同时确保数据隐私。

城市化进程的加快使得城市规模不断扩大，功能也日益复杂，这对城市数据分析、规划和治理提出了更高的要求。随着城市数据的不断积累，如何从这些数据中提取有价值的洞察成为研究热点。Urban Computing作为一种新兴的范式，利用传感技术和大规模计算基础设施，从城市环境中生成的数据流中获取可操作的信息。在这一过程中，跨领域数据融合（Cross-Domain Data Fusion）扮演着至关重要的角色，因为它能够整合来自不同领域的数据，例如环境传感器读数、基础设施使用情况和人类移动数据等，以形成更全面的城市分析视角。其中，人类移动数据，特别是细粒度的个体轨迹数据，对于理解城市中人与空间的动态关系具有不可替代的价值。然而，获取高质量、大规模的个体移动数据仍然面临成本高昂和隐私保护的双重挑战。

为了解决这一问题，轨迹生成技术作为一种合成数据生成方法，被广泛应用于数字孪生模拟、犯罪风险评估、交通优化和流行病控制等领域。相比于传统数据采集方法，TG技术不仅能够降低数据获取的成本，还能在不侵犯个人隐私的前提下，提供丰富的模拟数据。近年来，生成模型在轨迹生成任务中取得了显著进展，特别是在图像和视频生成方面，这些模型展现出强大的生成能力。将这些模型应用于轨迹生成，不仅能够捕捉复杂的时空依赖关系，还为人类移动行为建模提供了新的思路。然而，现有的方法仍然存在一些不足，主要体现在对真实城市居民移动行为的匹配度上。

首先，无条件生成方法，如TraGDM，虽然能够生成整体的轨迹分布，但缺乏对个体移动模式的深入建模，导致生成的轨迹在空间和时间上出现不一致。这类方法通常不考虑个体在移动过程中所遵循的特定规则，例如频繁访问的地点或特定的时间段内的活动模式，从而无法准确反映现实中的移动行为。其次，一些方法尝试通过引入轨迹语义信息来提升轨迹生成的质量，例如通过精确的活动类型（如在家、工作、购物等）或推断出的基本活动序列（如家-工作-其他地点）来指导轨迹生成。然而，这些方法往往依赖于大量的语义标注数据，而现实中大规模的个体移动数据通常仅包含原始的时空信息，缺乏详细的活动描述。因此，依赖精确的活动类型不仅需要耗费大量的人力和时间进行标注，还难以在实际应用中实时更新和扩展。此外，某些方法虽然能够利用简化活动序列进行轨迹生成，但仍然需要参考真实数据，这在隐私保护方面存在潜在风险。

为了克服上述挑战，本文提出了一种全新的轨迹生成框架——**Traveller**。该框架的核心思想是通过结合自回归模型和扩散模型的优势，实现对个体移动模式的深度建模，并在此基础上生成高保真度的轨迹数据。具体而言，Traveller通过分析个体轨迹数据本身，提取出其独特的移动模式，无需依赖外部的语义标注。这些模式包括个体的“空间锚点”（如家庭位置）和“时间模式”（如在特定时间段内的活动规律）。在这一框架下，自回归时间规划模型（AR-TempPlan）负责生成时间模式，并规划个体在不同时间点上的位置转移，从而反映真实的人类移动行为。与此同时，基于旅行模式的扩散模型（TravCond-Diff）则利用这些时间模式和空间锚点，通过离散的扩散过程进行空间建模，确保生成的轨迹在空间分布上与现实相符。为了进一步提升生成轨迹的时空一致性，Traveller引入了“旅行模式扩散变换器”（Travel-Pattern Diffusion Transformer, TravDiT）模块，并结合MeanClamp操作对扩散过程进行优化，使生成的轨迹能够更好地符合时空条件。

Traveller的创新之处在于它能够将个体的移动模式作为生成轨迹的指导条件，从而在不依赖外部语义标注的情况下，实现对复杂人类移动行为的模拟。这一方法不仅提高了轨迹生成的准确性，还有效解决了隐私保护的问题。传统的轨迹生成方法往往需要访问敏感的个体数据，例如具体的地理位置或活动记录，这可能带来隐私泄露的风险。而Traveller通过学习和模拟个体的移动模式，避免了直接使用敏感数据，从而在保证数据质量的同时，实现了隐私保护。此外，Traveller还具备良好的可扩展性和实时性，能够适应不同城市和不同时间段的移动模式变化，为城市治理和规划提供更加灵活的数据支持。

在实验部分，本文对两个真实世界的城市移动数据集进行了评估。这两个数据集分别来自中国的北京和深圳，两个城市具有不同的城市结构和移动模式。北京的城市结构以同心圆形式展开，人口流动相对稳定，而深圳则呈现出多中心结构，沿东西轴发展，形成带状空间布局，其移动模式更加多样化。通过在这些数据集上的测试，本文验证了Traveller在时空一致性、轨迹生成质量和隐私保护方面的优势。实验结果表明，Traveller在生成高保真度轨迹方面表现优异，能够准确捕捉个体的复杂移动行为，同时在下游任务如下一步位置预测中展现出与真实数据相当的实用性。

此外，本文还探讨了轨迹生成技术在多个实际应用中的潜力。例如，在数字孪生模拟中，高保真度的轨迹数据可以用于构建更加精确的城市模型，帮助城市规划者更好地理解交通流量和人口分布的变化。在犯罪风险评估中，轨迹数据可以用于识别高风险区域和行为模式，为警务工作提供数据支持。在交通优化方面，轨迹数据可以帮助分析交通拥堵的成因，优化公共交通调度和路网设计。而在流行病控制中，轨迹数据可以用于追踪病原体的传播路径，评估防控措施的效果，从而为公共卫生决策提供科学依据。因此，Traveller的提出不仅在技术层面具有创新性，还对多个实际应用场景具有重要意义。

为了进一步提升轨迹生成的效率和准确性，本文还提出了一个名为“旅行模式扩散变换器”（TravDiT）的模块。该模块结合了自回归模型和扩散模型的优势，能够有效捕捉个体的时空依赖关系。具体而言，TravDiT通过引入MeanClamp操作，对扩散过程进行优化，使其更加符合实际的移动模式。这一操作能够限制生成轨迹的空间范围，确保轨迹不会偏离个体的典型活动区域，从而提高生成轨迹的现实性和可用性。此外，TravDiT还能够根据个体的移动模式动态调整生成策略，使其能够适应不同城市和不同时间段的移动需求。

在实现方面，Traveller框架的两个核心模块——AR-TempPlan和TravCond-Diff——分别承担了时间规划和空间建模的任务。AR-TempPlan通过分析个体的移动历史，识别出其在不同时间段内的活动规律，并据此生成一个“掩码位置序列”作为时间模式的指导信号。这一序列不仅反映了个体在不同时间点上的位置转移趋势，还能够捕捉其重复访问的地点和移动范围的变化。TravCond-Diff则利用这一时间模式和个体的家庭位置作为空间锚点，通过离散的扩散过程生成最终的轨迹。在这一过程中，TravDiT模块负责对生成的轨迹进行优化，使其更加符合个体的移动模式和城市的空间结构。

为了验证Traveller的有效性，本文在多个真实世界数据集上进行了实验。实验结果表明，Traveller在生成轨迹的时空一致性方面表现优于现有的无条件生成方法和依赖语义标注的方法。此外，Traveller在下一步位置预测等下游任务中也展现出良好的性能，其预测准确率与真实数据相当。这一结果表明，Traveller不仅能够生成高质量的轨迹数据，还能够在实际应用中发挥重要作用。

本文的研究还揭示了轨迹生成技术在城市数据分析中的重要性。随着城市数据的不断增长，如何从这些数据中提取有价值的洞察成为研究的重点。轨迹生成技术为这一目标提供了一种可行的解决方案，它能够在不侵犯隐私的前提下，生成符合真实移动模式的轨迹数据。这些数据不仅可以用于模拟和预测，还能够为城市治理和规划提供科学依据。例如，在交通优化方面，轨迹数据可以帮助分析交通流量的分布和变化趋势，从而优化交通信号灯的控制策略和公共交通的调度方案。在流行病控制方面，轨迹数据可以用于追踪病原体的传播路径，评估防控措施的效果，并预测未来的疫情发展趋势。

此外，本文还探讨了轨迹生成技术在隐私保护方面的应用。由于轨迹数据往往包含敏感的个人信息，如个人的出行习惯和活动地点，因此在数据生成和使用过程中，如何确保隐私安全成为一个重要问题。Traveller通过学习和模拟个体的移动模式，避免了直接使用敏感数据，从而在保证数据质量的同时，实现了隐私保护。这一方法不仅适用于个体级别的轨迹生成，还能够用于群体级别的移动模式分析，为城市治理和公共政策制定提供更加安全和可靠的数据支持。

综上所述，本文提出的Traveller框架为轨迹生成技术提供了一种新的解决方案，它能够有效捕捉个体的复杂移动行为，生成高保真度的轨迹数据，同时确保数据隐私。这一方法在多个实际应用场景中展现出巨大的潜力，为城市管理和交通规划等领域的研究和实践提供了新的思路和技术支持。未来，随着城市数据的进一步丰富和技术的不断进步，轨迹生成技术将在更多领域发挥重要作用，为智慧城市建设提供更加精准和安全的数据基础。