The Context Tax: When to Compact —— 上下文税:何时压缩
原文链接:https://langwatch.ai/blog/context-tax-when-to-compact
来源:LangWatch Blog | 作者:LangWatch 团队
来源:CS146S Week 2 Reading
原文(英文)
请通过上方原文链接阅读完整英文原文。
中文翻译
上下文税:何时压缩
每个发送给 LLM 的 token 都要花钱——不仅是字面上的 API 费用,还有性能方面的隐性成本。当对话变长时,模型需要处理更多上下文才能生成回复,这会带来三个问题:
1. 延迟成本
上下文越长,模型生成回复所需的时间就越长。这种延迟不是线性的——在上下文窗口的某些阈值附近,延迟会显著跳升。
2. 准确性成本
研究表明,LLM 在处理长上下文时会受到"中间遗忘"效应的影响:位于上下文中间的信息更容易被忽略或遗忘。这意味着随着上下文增长,模型的回答质量实际上可能下降。
3. 经济成本
大多数 LLM API 按输入 token 和输出 token 分别计价。上下文越长,每次调用的输入 token 费用就越高。在多轮 Agent 会话中,如果不做任何处理,上下文会单调递增,成本也随之增长。
何时压缩
压缩的时机选择是一个工程权衡:
- 太早压缩:会丢失重要的上下文信息,导致模型"忘记"关键细节,做出错误的决策。
- 太晚压缩:已经承受了不必要的延迟和成本,而且模型的质量可能已经下降。
一个好的经验法则是:当上下文达到模型窗口大小的 60-70% 时开始考虑压缩。但更好的做法是主动监控上下文质量,而不仅仅是看长度。
压缩策略
常见的上下文压缩策略包括:
- 摘要压缩:将早期的对话轮次摘要为一段简短的总结,保留关键决策和事实,丢弃中间推理过程。
- 选择性保留:保留最近的几轮对话原文,同时保留系统提示词和关键工具输出。
- 分段压缩:将对话按任务阶段分段,每段独立压缩,在段边界处做摘要。
- 语义去重:识别上下文中重复或冗余的信息块,只保留最新的版本。
对 Agent 系统的启示
在编码 Agent 这样的长期运行系统中,上下文管理不是可选的优化——而是核心架构组件。一个好的 Agent 系统应该:
- 在每一轮评估上下文是否需要压缩
- 保留对当前任务最关键的信息
- 以结构化的方式压缩,使得压缩后的上下文仍然能让模型做出正确的决策
- 在压缩时不丢失工具调用历史的关键信息(如何调用、结果是什么、是否成功)
结论
上下文税是真实存在的,而且会随着会话长度累积。理解何时和如何压缩上下文,是构建可靠 Agent 系统的关键技能。不要等到上下文溢出才被动应对——主动设计你的上下文管理策略。
原文版权归原作者所有,翻译仅供学习交流。