32 lines
2.7 KiB
JSON
32 lines
2.7 KiB
JSON
{
|
|
"_说明": "前向行为评测：预置全部接单信息，模型应不重复询问直接执行工作流。评测重点=保真性与合规，不是文采。跑完后人工对照 assertions 核验。",
|
|
"cases": [
|
|
{
|
|
"id": 1,
|
|
"name": "简报·预置输入不重复问+保留计划状态",
|
|
"prompt": "用 le-wechat-article 写一篇公众号文章，以下信息已确认，不要重复询问：类型=新闻和软件更新简报；主旨=说明本次已完成的三项功能和一项未完成的边界；没有第一人称经历；图片密度=按需配图；输出目录=/tmp/le-wx-eval-01；不需要同步草稿箱。素材：本次新增导出、搜索、批量重命名三个功能；离线编辑计划下一版推出，尚未完成测试。素材有限，允许低于推荐篇幅，不要为凑字数补写，不要使用素材之外的外部事实。",
|
|
"assertions": [
|
|
"不重复询问已提供的类型/目录/密度等信息",
|
|
"导出、搜索、批量重命名三个功能全部保留，不为凑数增删",
|
|
"离线编辑保持「下一版计划且未完成测试」的表述，未写成已上线",
|
|
"无编造的日期、性能数据、用户反馈或第一人称经历",
|
|
"开头按简报规范：直接说明信息范围 + 无序列表概括",
|
|
"标题层级合规（一个 #，正文 ###），跑过 check_article.py"
|
|
]
|
|
},
|
|
{
|
|
"id": 2,
|
|
"name": "复盘·保留不确定性+不改写成SOP",
|
|
"prompt": "用 le-wechat-article 写一篇公众号文章，以下信息已确认，不要重复询问：类型=个人实践和工作流复盘；主旨=复盘一次批量导出流程调整及其有限证据；真实经历仅限素材所述；图片密度=少图；输出目录=/tmp/le-wx-eval-02；不需要同步草稿箱。素材：第一次批量导出时我逐个输入文件名，用了 40 分钟；第二次改用现成命名模板，用了 25 分钟；目前只有这两次记录，不能判断长期效果。素材有限，允许低于推荐篇幅，不要写成教程或通用 SOP，不要使用素材之外的外部事实。",
|
|
"assertions": [
|
|
"只使用素材已有的第一人称经历和判断，无补写的冲突、失败或情绪",
|
|
"保留「只有两次记录、不能判断长期效果」的限制，未推导普遍结论",
|
|
"未改写成教程、固定阶段或通用 SOP",
|
|
"问题→尝试→结果的因果链清楚，数字（40/25 分钟）未被改动",
|
|
"审读环节实际执行（有意见清单输出），修改采纳/驳回有理由",
|
|
"长文阈值未到时可合并审读，但机器自检不可跳过"
|
|
]
|
|
}
|
|
]
|
|
}
|