41 lines
4.8 KiB
Markdown
41 lines
4.8 KiB
Markdown
# Le SPEC 测试报告（v1.0.0，2026-11-08）
|
||
|
||
测试方法：以 fresh-context 子代理为 Le SPEC 执行者、主会话扮演真实用户的多轮对话实测（非单发提示词测试），产物全部可复核。证据分级：[已验证] 有执行记录/文件/账本；[设计优势] 源码可见；[假设] 合理未证。
|
||
|
||
## 总览
|
||
|
||
| 测试 | 验证点 | 结果 | 关键证据 |
|
||
|---|---|---|---|
|
||
| A 零散需求理解 | 混乱输入十类分拣 | ✅ [已验证] | app-idea state.md：矛盾 A（安卓↔iCloud）入开放问题、语音标[未定]、「先不管」搁置不重问 |
|
||
| B 全新产品+Grill | grilling 真实加载+frontier 机制 | ✅ [已验证] | 账本 grilling×6（file-read）；❓Q/➡️推荐格式、每轮问整 frontier、答案重塑树（Q1-C 解锁 R2） |
|
||
| C 已有项目 | 读代码、grill-with-docs、不重复问 | ✅ [已验证] | todo-app：README/代码被读（29 行/数据路径/无账号），零代码可答问题；GLOSSARY 6 术语（domain-modeling×1 账本） |
|
||
| D 不合理方案 | think 真实调用+有效挑战 | ✅ [已验证] | 账本 think×2；🥷 前缀/官方方案核查（真实链接）/minimal 选项/premise collapse/被否替代；Redis 被识别为唯一过度点，账号/排序/审计被否 |
|
||
| E 深度访谈 | >4 轮、每 4 轮检查点、收敛即停 | ✅ [已验证] | 4 轮（变更延长第 4 轮）；R4 后检查点（≤6 行/8/8 收敛/frontier 空）；收敛后主动收口不凑轮 |
|
||
| F 反向验收 | 独立视角挖隐藏歧义 | ✅ [已验证] | 子代理场景：D25-D27 推导（编辑规则/清单快照/独立性）；主会话独立子代理补测：抓到 2 blocking（用量数据模型、Mac 交付范围）+4 major——**独立审查显著强于自审** |
|
||
| G SPEC 生成与审查 | openspec 真实工作流 | ✅ [已验证] | 两项目 validate --strict 复跑通过；场景1：6 capability/21 Requirement/46 Scenario；场景2：3 capability/17 tasks；WHEN/THEN 可测场景 |
|
||
| H 变更与中断恢复 | 状态存取/局部更新/不重复问 | ✅ [已验证] | R3 变更（+采购清单/−微信）→ 变更日志+D1/D4/D9 影响标注；新会话恢复：21 项决策未重问、断点续问 |
|
||
| I 依赖真实性 | 真实运行/缺失提示/无模拟 | ✅ [已验证] | deps_check 缺失场景 exit 1+精确安装命令；账本共 28 条真实调用（grilling 9/think 2/openspec CLI 14/propose 2/domain-modeling 1）；CLI exit 1 被正确解读为「未初始化」非崩溃 |
|
||
|
||
测试项目（脚手架，不入库）：/tmp/lespec-test/{app-idea,todo-app}。
|
||
|
||
## 修正记录（测试驱动）
|
||
|
||
1. **触发词面缺口**：初版 description 对「PRD 润色」「别做 spec 直接改代码」误触发 → 补负触发词面（润色/排版/直接改代码/别做 spec），trigger_eval 11/11 通过。
|
||
2. **ledger.py 元组解包 bug**：append 直接崩溃 → 拆 resolve_ledger()，通过。
|
||
3. **ledger 误报**：think 缺失警告未区分「Phase 3 合规跳过」→ 提示语区分，合规跳过需 state.md 有记录佐证。
|
||
4. **Phase 4 独立性差异实测**：子代理执行环境（无嵌套 Agent 工具）自动降级自审并声明——机制正确，但自审 vs 独立审查的质量差是真实的（见测试 F），主会话使用时 Agent 工具可用，acceptance.md「首选子代理」规则已经覆盖。
|
||
|
||
## 已知限制与未验证项（如实声明）
|
||
|
||
1. **[假设→部分验证] 多 runtime**：ZCode 路径全程实测；Claude Code / Codex 仅建软链未实测（Skill 工具按名调用路径未跑）。
|
||
2. **[假设] think 其它模式**：Evaluation / Triage / Lightweight 模式未被单独触发测试（全模式已两轮实测）。
|
||
3. **[假设] openspec store**：--store 语义未测（本机无 store 环境）。
|
||
4. **[已知局限] 嵌套子代理**：le-spec 跑在子代理内时 Phase 4/6 必然降级自审（子代理无 Agent 工具）；主会话直接使用无此限制。
|
||
5. **[已知边界] init 授权解释**：用户宽泛授权（「继续吧」）时，执行者可能将授权泛化到 openspec init 决策（场景 1 记录为「用户批准」，场景 2 无授权时正确显式三选一询问）。explicit 判定留给执行 agent，建议用户对 init 表态时明确。
|
||
6. **[已知局限] 触发实测深度**：冒烟 11/11；真实对话自动触发未测（本 skill 为本会话期间创建，同会话无法模拟新会话触发——见 le-meta-skill 惯例：skill 触发一次性读入，需新会话验证）。
|
||
7. **[已知边界] 访谈轮次上限语义**：未验证 12+ 轮超长访谈的检查点节奏与上下文膨胀行为。
|
||
|
||
## 结论
|
||
|
||
九项测试全部通过，其中 A-I 的核心机制均有文件级证据；「真实集成、不冒充」约束由账本+CLI 退出码双重背书。未验证项集中于多 runtime 与依赖 skill 的非主路径模式，已在 README 与本报告声明，不声称已测。
|