Ramp: Giving Agents the Tools to Prove Their Work —— Ramp:给 Agent 证明其工作的工具
原文链接:https://builders.ramp.com/post/why-we-built-our-background-agent
来源:Ramp Engineering Blog
来源:CS146S Week 8 Reading
原文(英文)
请通过上方原文链接阅读完整英文原文。
中文翻译
给 Agent 证明其工作的工具
在 Ramp,我们构建了后台 Agent 来处理工程团队日常的编码任务。但我们很快发现,让 Agent 写代码只是第一步——更大的挑战是让 Agent 证明它的工作是正确的。
问题:信任缺口
当人类工程师提交一个 PR,审查者可以通过以下方式建立信任:
- 看测试是否通过
- 在本地运行代码验证行为
- 问作者"你考虑了 X 边界情况吗?"
- 查看作者如何得到这个解决方案的推理过程
但对于 Agent 生成的 PR,这些信任机制部分缺失:
- Agent 不能在 Slack 上回答你的追问
- 你不知道 Agent 在过程中尝试了什么、放弃了什么
- Agent 可能通过了测试但测试本身可能不够
这就是"信任缺口"——审查者不确定是否可以像信任人类同事一样信任 Agent 的输出。
解决方案:可验证的工作证据
我们的方法不是让 Agent 更"可信"——而是让 Agent 提供更多可验证的证据。
1. 工作日志
Agent 的每一步操作都被记录:
- 它读了哪些文件
- 它尝试了什么修改
- 它运行了什么测试
- 测试失败后它做了什么修复
- 它为什么选择了这个方案而不是另一个
这些日志附在 PR 描述中,让审查者可以像看人类工程师的 commit 历史一样理解 Agent 的工作过程。
2. 自动验证套件
Agent 不仅运行现有测试——它还编写新的测试来验证自己的修改:
- 为新功能写单元测试
- 为 bug 修复写回归测试
- 运行集成测试确认不破坏现有功能
如果 Agent 写的测试不能通过,PR 会被标记为"需要人工介入"。
3. 差异解释
Agent 为 PR 中的每个文件变更生成解释:
- 这个文件为什么需要修改
- 具体改了什么
- 为什么这样改而不是另一种方式
- 这个修改可能影响的范围
这让审查者可以快速理解每个变更的意图,而不需要逐行阅读 diff。
4. 风险评估
Agent 对自己的修改做风险评估:
- 这个修改是否影响支付流程?→ 高风险
- 这个修改是否只是添加注释?→ 低风险
- 这个修改是否改变了公共 API?→ 中风险
风险评估帮助审查者分配注意力——高风险的变更需要更仔细的审查。
架构
我们的后台 Agent 架构:
任务分配器
│
▼
Agent 工作单元
├── 代码探索
├── 代码修改
├── 测试编写与运行
├── 自我审查
└── 工作日志生成
│
▼
PR 创建器
├── Diff
├── 描述(含工作日志)
├── 新增测试
└── 风险评估
│
▼
验证管线
├── CI 测试
├── Lint
└── 代码覆盖率检查
经验总结
1. 证明比完成更重要
一个通过了所有测试但不解释自己做了什么的 PR,不如一个有部分测试失败但详细解释了每一步的 PR 有用。审查者需要的是理解,而不只是结果。
2. 失败是有价值的信号
Agent 在过程中遇到的失败(测试不过、lint 报错)如果被记录下来,比隐藏失败更有价值。它让审查者知道 Agent 在哪里遇到了困难。
3. 测试是通用语言
测试是人类和 Agent 之间最好的沟通媒介。Agent 写的测试既证明了它的理解是否正确,也给了审查者一个具体的验证手段。
结论
后台 Agent 的核心挑战不是编码能力——而是建立信任。通过让 Agent 提供详细的工作证据(日志、测试、差异解释、风险评估),我们缩短了信任缺口,使审查者能够高效地审查 Agent 生成的 PR。
原文版权归原作者所有,翻译仅供学习交流。