Skip to main content

Beyond the Diff: Context, Testing, and Model Selection —— 超越 Diff

原文链接:https://greptile.com/blog/how-to-build-a-code-review-agent

来源:Greptile Blog

来源:CS146S Week 6 Reading


原文(英文)​

请通过上方原文链接阅读完整英文原文。


中文翻译​

超越 Diff:上下文、测试与模型选择​

构建一个好的代码审查 Agent,不仅仅是把 diff 丢给模型然后说"审查这个"。真正的挑战在于:如何给模型足够的上下文来理解变更的意义,如何验证审查结果,以及如何选择合适的模型。

问题:Diff 是不够的​

一个 diff 只告诉你"什么变了"。但好的代码审查需要理解"为什么变"和"变了对不对"。要回答这些问题,Agent 需要远超 diff 的上下文:

  • 仓库上下文:被修改的文件在整体架构中的位置
  • 调用关系:谁调用了被修改的函数,它们的期望是什么
  • 历史上下文:这个文件过去为什么做过类似修改
  • PR 上下文:PR 的描述、关联的 issue、讨论中的评论

构建上下文​

一个有效的上下文构建策略包括:

1. 代码图谱

预构建仓库的代码图谱(调用图、依赖关系、继承层次)。当 Agent 审查一个文件的变更时,可以快速查询"谁依赖这个函数"和"这个类的子类有哪些"。

2. 语义搜索

对于"这个模式在仓库中是否其他地方也用过"这类问题,语义搜索比 grep 更有效。Agent 可以用语义搜索找到类似的实现模式来做对比。

3. 相关文件检索

当 diff 修改了 auth/login.py,Agent 应该自动拉取:

  • auth/login_test.py(测试文件)
  • models/user.py(相关模型)
  • config/auth.py(配置)
  • 最近的 PR 描述和评论

4. 上下文预算

不是所有上下文都同等重要。一个好的系统会:

  • 给当前 diff 的权重最高
  • 给直接调用方次高权重
  • 给间接依赖更低权重
  • 在上下文预算内做取舍

测试与验证​

审查结果的验证

AI 审查的一个核心问题是"如何知道审查结果是好的"。几个验证维度:

  • 精确率:AI 标记的问题中,多少是真正的问题?
  • 召回率:真正的问题中,AI 发现了多少?
  • 可操作性:AI 的建议是否具体且可执行?
  • 噪音水平:开发者是否会忽略 AI 评论?

A/B 测试

将 AI 审查的结果与人类审查的结果做对比:

  • AI 发现了什么人类也发现了的?(真阳性)
  • AI 发现了什么人类没发现的?(潜在增量价值)
  • 人类发现了什么 AI 漏掉的?(改进方向)
  • AI 标记了什么但实际不是问题的?(false positive)

持续改进

代码审查 Agent 不是一次部署就完事的。它需要持续改进:

  • 跟踪 false positive 并调整提示词
  • 收集开发者反馈(thumbs up/down)
  • 定期审查 Agent 的输出质量

模型选择​

不同的审查任务适合不同的模型:

任务推荐模型特性原因
风格检查小型、快速模式匹配,不需要深度推理
安全审查大型、推理强需要理解攻击向量
架构审查大型、长上下文需要理解全局架构
正确性审查大型、代码能力强需要理解逻辑和边界条件

在实践中,可以用小模型做快速扫描,只对高风险变更使用大模型。

结论​

构建一个好的代码审查 Agent 的关键不在于模型有多强——而在于你给它什么上下文、你怎么验证它的输出,以及你如何持续改进。模型只是引擎;上下文构建、验证框架和持续改进才是真正的差异化所在。


原文版权归原作者所有,翻译仅供学习交流。