Tracezip：通过trace压缩实现高效的分布式追踪

《Proceedings of the ACM on Software Engineering》：Tracezip: Efficient Distributed Tracing via Trace Compression

分布式追踪通过采样优化减少系统开销，但存在完整性权衡。Tracezip创新性地设计Span Retrieval Tree数据结构，在服务端压缩冗余追踪数据，后台通过共享数据重构完整轨迹，消除重复传输。实验证明其能显著提升追踪收集效率，同时保持原有API兼容性。

　　

摘要

分布式追踪是监控和测试云服务系统的基本构建模块。为了降低计算和存储开销，实际操作中通常通过采样来捕获较少的追踪数据。然而，现有方法在追踪的完整性和系统开销之间存在权衡。一方面，基于头部信息的采样在请求进入系统时无差别地选择进行追踪，这可能会遗漏关键事件；另一方面，基于尾部信息的采样会先捕获所有请求，然后再选择性地保留边缘情况下的追踪数据，这会增加与追踪数据收集和存储相关的开销。本文提出了一种名为Tracezip的新方法，通过追踪数据压缩来提高分布式追踪的效率。我们的关键发现是追踪数据之间存在大量冗余，导致相同数据在服务端和后端之间被重复传输。我们设计了一种名为“Span检索树”（Span Retrieval Tree，简称SRT）的新数据结构，它在服务端持续消除这些冗余，并将追踪数据转换为更轻量级的形式。在后端，可以通过检索之前已传输的公共数据来无缝重建完整的追踪信息。Tracezip包含一系列策略来优化SRT的结构，并采用差异更新机制来高效地在服务端和后端之间同步SRT。在微服务基准测试、流行的云服务系统以及实际生产环境中的追踪数据上的测试表明，Tracezip能够在几乎不增加额外开销的情况下显著提升追踪数据的收集效率。我们已将Tracezip集成到OpenTelemetry Collector中，使其与现有的追踪API兼容。

可用格式

您可以通过以下格式查看完整内容：

PDF