第五周:Agent 就绪度报告
作业概述
对三个开源仓库运行 Factory 的 Agent 就绪度报告,记录它发现了什么,然后解释其中的模式。生成一份报告只需每个仓库一条命令。工作在于将三份报告并排阅读,并对仓库在哪里不足说出有依据的结论。
学习目标
- 评估不熟悉的仓库是否符合标准就绪度框架。
- 跨仓库比较结果,区分通用的和特定的。
- 从三个数据点推广到一个你能辩护的论断。
参考资料
- Agent 就绪度,Factory:该框架、其八大支柱(风格与验证、构建系统、测试、文档、开发环境、代码质量、可观测性、安全与治理)及其五个成熟度等级。
- Droid:Factory 的 CLI,你用它生成报告。
仓库
从第四周的列表中选择三个,或用你自己的。选择在语言、规模和年龄上有差异的仓库,否则你第二部分的分析将无从展开。
环境搭建
前置条件:Droid CLI。 参见 Droid 快速入门指南 了解安装命令。
第一部分:运行报告(40 分)
克隆每个仓库,然后在仓库根目录下用 Droid 运行 /readiness-report。它会自动对八大支柱下的 60+ 条标准进行评分,返回一个成熟度等级、每条标准的通过/失败明细,以及修复建议。
为每个仓库记录:
- 成熟度等级,以及哪些标准阻碍了下一个等级。
- 各支柱得分。
- 失败的标准,按支柱分组。
- 报告自己的首要修复建议。
也附上原始输出,但重点是摘要:三份可比较格式的报告才能让第二部分成为可能。
第二部分:仓库在哪里不足(60 分)
分析。从你的数据中回答:
- 哪些支柱失败最多,失败在三个仓库中是一致的还是特定于某一个的?
- 什么解释了这个模式? 检验明显的嫌疑因素(年龄、语言、规模、单人维护 vs 企业支持),并说明你的三个仓库能支持和不能区分什么。
- 最便宜的高杠杆修复。 对每个仓库,一个最能改善 Agent 成功率的改动,以及为什么选这个而非报告自己的首要建议。
- 框架在哪里不足。 一个重要性低于其权重暗示的支柱,一个不适合你评分的仓库类型的标准,或者一个它遗漏但明显影响 Agent 的东西。
三个仓库是一个小样本。将你的论断限定在它能支持的范围内。
交付物
在 week5/ 中:一份完成的 writeup.md,包含你记录的结果和分析,以及每个仓库的原始报告输出。
评分标准(共 100 分)
| 部分 | 分值 | 什么可以获得满分 |
|---|---|---|
| 一、报告 | 40 | 三个仓库已评分,结果完整记录且格式可比较 |
| 二、分析 | 60 | 从数据中识别并解释模式;每个仓库的修复有依据;批判框架;论断限定在样本范围内 |
提交说明
- 确保所有更改已推送到你的远程仓库以供评分。
- 确保你已在作业仓库中添加
mihail911、isaackann和vdaita为协作者。 - 通过 Gradescope 提交。