Beyond the Diff: Context, Testing, and Model Selection —— 超越 Diff
原文链接:https://greptile.com/blog/how-to-build-a-code-review-agent
来源:Greptile Blog
来源:CS146S Week 6 Reading
原文(英文)
请通过上方原文链接阅读完整英文原文。
中文翻译
超越 Diff:上下文、测试与模型选择
构建一个好的代码审查 Agent,不仅仅是把 diff 丢给模型然后说"审查这个"。真正的挑战在于:如何给模型足够的上下文来理解变更的意义,如何验证审查结果,以及如何选择合适的模型。
问题:Diff 是不够的
一个 diff 只告诉你"什么变了"。但好的代码审查需要理解"为什么变"和"变了对不对"。要回答这些问题,Agent 需要远超 diff 的上下文:
- 仓库上下文:被修改的文件在整体架构中的位置
- 调用关系:谁调用了被修改的函数,它们的期望是什么
- 历史上下文:这个文件过去为什么做过类似修改
- PR 上下文:PR 的描述、关联的 issue、讨论中的评论
构建上下文
一个有效的上下文构建策略包括:
1. 代码图谱
预构建仓库的代码图谱(调用图、依赖关系、继承层次)。当 Agent 审查一个文件的变更时,可以快速查询"谁依赖这个函数"和"这个类的子类有哪些"。
2. 语义搜索
对于"这个模式在仓库中是否其他地方也用过"这类问题,语义搜索比 grep 更有效。Agent 可以用语义搜索找到类似的实现模式来做对比。
3. 相关文件检索
当 diff 修改了 auth/login.py,Agent 应该自动拉取:
auth/login_test.py(测试文件)models/user.py(相关模型)config/auth.py(配置)- 最近的 PR 描述和评论
4. 上下文预算
不是所有上下文都同等重要。一个好的系统会:
- 给当前 diff 的权重最高
- 给直接调用方次高权重
- 给间接依赖更低权重
- 在上下文预算内做取舍
测试与验证
审查结果的验证
AI 审查的一个核心问题是"如何知道审查结果是好的"。几个验证维度:
- 精确率:AI 标记的问题中,多少是真正的问题?
- 召回率:真正的问题中,AI 发现了多少?
- 可操作性:AI 的建议是否具体且可执行?
- 噪音水平:开发者是否会忽略 AI 评论?
A/B 测试
将 AI 审查的结果与人类审查的结果做对比:
- AI 发现了什么人类也发现了的?(真阳性)
- AI 发现了什么人类没发现的?(潜在增量价值)
- 人类发现了什么 AI 漏掉的?(改进方向)
- AI 标记了什么但实际不是问题的?(false positive)
持续改进
代码审查 Agent 不是一次部署就完事的。它需要持续改进:
- 跟踪 false positive 并调整提示词
- 收集开发者反馈(thumbs up/down)
- 定期审查 Agent 的输出质量
模型选择
不同的审查任务适合不同的模型:
| 任务 | 推荐模型特性 | 原因 |
|---|---|---|
| 风格检查 | 小型、快速 | 模式匹配,不需要深度推理 |
| 安全审查 | 大型、推理强 | 需要理解攻击向量 |
| 架构审查 | 大型、长上下文 | 需要理解全局架构 |
| 正确性审查 | 大型、代码能力强 | 需要理解逻辑和边界条件 |
在实践中,可以用小模型做快速扫描,只对高风险变更使用大模型。
结论
构建一个好的代码审查 Agent 的关键不在于模型有多强——而在于你给它什么上下文、你怎么验证它的输出,以及你如何持续改进。模型只是引擎;上下文构建、验证框架和持续改进才是真正的差异化所在。
原文版权归原作者所有,翻译仅供学习交流。