Skip to main content

Ramp: Giving Agents the Tools to Prove Their Work —— Ramp:给 Agent 证明其工作的工具

原文链接:https://builders.ramp.com/post/why-we-built-our-background-agent

来源:Ramp Engineering Blog

来源:CS146S Week 8 Reading


原文(英文)​

请通过上方原文链接阅读完整英文原文。


中文翻译​

给 Agent 证明其工作的工具​

在 Ramp,我们构建了后台 Agent 来处理工程团队日常的编码任务。但我们很快发现,让 Agent 写代码只是第一步——更大的挑战是让 Agent 证明它的工作是正确的。

问题:信任缺口​

当人类工程师提交一个 PR,审查者可以通过以下方式建立信任:

  • 看测试是否通过
  • 在本地运行代码验证行为
  • 问作者"你考虑了 X 边界情况吗?"
  • 查看作者如何得到这个解决方案的推理过程

但对于 Agent 生成的 PR,这些信任机制部分缺失:

  • Agent 不能在 Slack 上回答你的追问
  • 你不知道 Agent 在过程中尝试了什么、放弃了什么
  • Agent 可能通过了测试但测试本身可能不够

这就是"信任缺口"——审查者不确定是否可以像信任人类同事一样信任 Agent 的输出。

解决方案:可验证的工作证据​

我们的方法不是让 Agent 更"可信"——而是让 Agent 提供更多可验证的证据。

1. 工作日志

Agent 的每一步操作都被记录:

  • 它读了哪些文件
  • 它尝试了什么修改
  • 它运行了什么测试
  • 测试失败后它做了什么修复
  • 它为什么选择了这个方案而不是另一个

这些日志附在 PR 描述中,让审查者可以像看人类工程师的 commit 历史一样理解 Agent 的工作过程。

2. 自动验证套件

Agent 不仅运行现有测试——它还编写新的测试来验证自己的修改:

  • 为新功能写单元测试
  • 为 bug 修复写回归测试
  • 运行集成测试确认不破坏现有功能

如果 Agent 写的测试不能通过,PR 会被标记为"需要人工介入"。

3. 差异解释

Agent 为 PR 中的每个文件变更生成解释:

  • 这个文件为什么需要修改
  • 具体改了什么
  • 为什么这样改而不是另一种方式
  • 这个修改可能影响的范围

这让审查者可以快速理解每个变更的意图,而不需要逐行阅读 diff。

4. 风险评估

Agent 对自己的修改做风险评估:

  • 这个修改是否影响支付流程?→ 高风险
  • 这个修改是否只是添加注释?→ 低风险
  • 这个修改是否改变了公共 API?→ 中风险

风险评估帮助审查者分配注意力——高风险的变更需要更仔细的审查。

架构​

我们的后台 Agent 架构:

任务分配器
│
▼
Agent 工作单元
├── 代码探索
├── 代码修改
├── 测试编写与运行
├── 自我审查
└── 工作日志生成
│
▼
PR 创建器
├── Diff
├── 描述(含工作日志)
├── 新增测试
└── 风险评估
│
▼
验证管线
├── CI 测试
├── Lint
└── 代码覆盖率检查

经验总结​

1. 证明比完成更重要

一个通过了所有测试但不解释自己做了什么的 PR,不如一个有部分测试失败但详细解释了每一步的 PR 有用。审查者需要的是理解,而不只是结果。

2. 失败是有价值的信号

Agent 在过程中遇到的失败(测试不过、lint 报错)如果被记录下来,比隐藏失败更有价值。它让审查者知道 Agent 在哪里遇到了困难。

3. 测试是通用语言

测试是人类和 Agent 之间最好的沟通媒介。Agent 写的测试既证明了它的理解是否正确,也给了审查者一个具体的验证手段。

结论​

后台 Agent 的核心挑战不是编码能力——而是建立信任。通过让 Agent 提供详细的工作证据(日志、测试、差异解释、风险评估),我们缩短了信任缺口,使审查者能够高效地审查 Agent 生成的 PR。


原文版权归原作者所有,翻译仅供学习交流。