wangle/MetaSkill
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

LeMetaSkill v1.1.0：跨 runtime（ZCode/Claude Code/Codex）的 Agent Skill 创建与迭代工坊

Browse Source 
- SKILL.md 双工作流（创建/迭代）+ 两道门（验料/通用化）+ 三档位
- 7 篇方法论 references + 3 个纯标准库脚本（scaffold/validate/trigger_eval）
- 自身触发用例 16 条 + 先例研究/创建/迭代证据报告
- 方法论吸收自 qiaomu-meta-skill 与 luban-skill，取舍见 reports/prior-art.md
This commit is contained in:
Leroy
2026-10-05 12:09:22 +08:00
commit d3e9bd45bd
21 changed files with 1827 additions and 0 deletions
Download Patch File Download Diff File Expand all files Collapse all files
skills/le-meta-skill/reports/README.md
+10
View File
@@ -0,0 +1,10 @@
# reports/ —— LeMetaSkill 的运行证据
本目录存放可复查的运行证据，供迭代时对照：
- `trigger-eval.json` —— 自身触发冒烟测试输出（`live_turns` 段手工补记真实对话实测结果）
- `prior-art.md` —— 先例研究结论（来源、日期、keep/adapt/reject/invent 取舍）
- `creation-handoff.md` —— 创建交付报告
- `iteration-<日期>.md` —— 每轮迭代的改动报告与回炉清单
诚实条款：验证不了的写「证据缺失」；计划中的工作不是证据；预估分数标"预估"。
skills/le-meta-skill/reports/creation-handoff.md
+36
View File
@@ -0,0 +1,36 @@
# LeMetaSkill 创建交付报告
日期：2026-10-05。创建路径：用户提出需求 → 确认四项设计决策（范围=创建+迭代；体量=重工程；命名=LeMetaSkill；位置=本项目）→ 研究两个先例仓库 → 起草 → 自检迭代 → 交付。
## 1. 结果
- **skill**：`le-meta-skill` v1.0.0，rigorous 档
- **一句话职责**：把重复出现的方法变成可触发、可验证、可维护的 ZCode Skill，并负责已有 Skill 的迭代改进。
- **路径**：`<仓库>/skills/le-meta-skill/`（独立 git 仓库，v1.1.0 起从项目 `.agents/` 迁出）
- **结构**：SKILL.md 127 行 + 7 个 references（401 行）+ 3 个脚本 + 模板 + 自身触发用例 + 证据目录
## 2. 参考学习
见 [prior-art.md](prior-art.md)：乔木（生命周期流水线与证据纪律）、鲁班（工匠方法论与停手点）、skill-creator（宿主基线约定）。每个候选的取舍均落到了具体文件。
## 3. 亮点与证据
- **[已验证]** 结构体检全绿：`validate_skill.py` 自检 PASS:10 / WARN:0 / FAIL:0（含 frontmatter、命名一致、悬空引用、密钥扫描、目录用途）。
- **[已验证]** 触发冒烟 13/13 一致（8 应触发 + 5 不应触发），3 条边界不计分；近邻判别正确（"帮我优化这段给 ChatGPT 的提示词"因缺 skill_artifact 族被正确拒绝）。报告：[trigger-eval.json](trigger-eval.json)。
- **[已验证]** scaffold 端到端验证：生成的 shared 档骨架通过全项体检，用例模板 JSON 可解析（首版模板有 `{{` 转义 bug，体检当场抓住后修复）。
- **[设计优势]** 相比看过的三个候选，本包是唯一面向 ZCode 发现路径/优先级/覆盖语义适配的 meta skill；且 scaffold→validate→trigger_eval 出生即合规流水线为三家方法的首次组合。
- **[假设]** 六维评分与验证门条款能提高迭代质量——方法吸收自鲁班实战报告，但本 skill 尚无自己的迭代轮次证明。
## 4. 验证与边界
- 已验证：三个脚本功能正常（自检 + 临时目录端到端）。
- **实测证据缺失**：真实对话触发行为未测——需要在新会话中用 `evals/trigger_cases.json` 的原话实测（新建会话后 skill 才会进入发现列表）。此项补齐前，触发可靠性只能标 [假设]。
- 已知边界：trigger_eval 是词面检查不是行为判断（脚本与 reference 中均已声明）；中文分词为二元组近似，概念族词表需要随误触发案例增长。
- 刻意排除：发布流水线、Skill IR、README 产品页工程、showcase 资产（职责范围外）。
## 5. 回炉清单
1. 用新会话实测触发（补 trigger-eval.json 的 live_turns 段）；
2. 第一次真实使用它创建一个 skill，回填流程中不顺手的步骤；
3. 迭代纪律的单面慢刨尚未经实战检验；
4. 概念族词表随每次真实误触发/漏触发增长。
skills/le-meta-skill/reports/iteration-2026-10-05.md
+47
View File
@@ -0,0 +1,47 @@
# LeMetaSkill 迭代报告 · 2026-10-05（v1.0.0 → v1.1.0）
本轮驱动：用户反馈两条——(1) skill 不应绑死 ZCode，要能在 Claude Code 和 Codex 里用；(2) 用它自己迭代它自己。第 (1) 条即本轮唯一改动面；第 (2) 条决定了流程按 [迭代工坊](../references/iteration.md) 走。
## 本轮只刨：runtime 中性化
改动边界：只改与 runtime 定位相关的措辞与约定，不动工作流结构、不动脚本算法、不动其余 references。
### 建议文件变更（实际执行）
| 文件 | 操作 | 内容 |
|---|---|---|
| SKILL.md | 修改 | description："创建与迭代 ZCode 技能"→"创建与迭代 Agent Skill，ZCode / Claude Code / Codex 等 runtime 通用"；负触发去掉 zcode-guide 专属指向；总则"内置 skill-creator"→"宿主内置"；metadata 增 `runtimes` 字段，版本 1.0.0→1.1.0 |
| references/writing-craft.md | 修改 | "ZCode 专属约定"整节重写为"跨 runtime 约定"：三 runtime 发现路径表、`.agents/skills/` 默认位 + 复制/软链策略、可移植三禁（不写死 runtime 专属工具名/无私有路径/脚本仅标准库） |
| references/prior-art.md | 修改 | 本机已装 skill 的查找渠道补 `~/.claude/skills/`、`~/.codex/skills/` |
| references/handoff.md | 修改 | 取舍示例去掉 ZCode 绑定措辞 |
| evals/trigger_cases.json | 修改 | 新增 3 条用例：应触发 ×2（"做成 Claude Code 的 skill"、"create a Codex skill"），不应触发 ×1（"Claude Code 怎么安装插件"——配置求助不是 skill 创作） |
| reports/creation-handoff.md | 修改 | 私有绝对路径改项目相对路径（体检 WARN 抓出的疏漏） |
| references/iteration.md | 修改 | 沉淀本轮教训：基线放发现路径之外、复制后立即验证（独立第二改动，按单面单提交纪律与本面分开） |
### 六维评分（迭代前 → 迭代后，预估）
| 维度 | 权重 | 前 | 后 | 证据 |
|---|---:|---:|---:|---|
| 触发与边界 | 25 | 7 | 9 | 活体尺：用户反馈暴露定位缺陷（description 写死 ZCode）；修后跨 runtime 用例 4/4 通过 |
| 可执行具体性 | 20 | 8 | 8 | 未动（本轮不改流程）；跨 runtime 路径表给了明确操作 |
| 工作流清晰度 | 15 | 8 | 8 | 未动 |
| 失败模式与停手点 | 15 | 7 | 7 | 未动；"可移植三禁"补了一种失败模式 |
| 实测表现 | 15 | 6 | 7 | 冒烟 16/16；真实对话实测仍缺失（见边界） |
| 资源纪律 | 10 | 9 | 9 | 体检全绿；抓出并修复 1 处私有路径 |
## 验证门（全部满足）
1. ✅ 比基线多过 3 条测试原话（13→16 条计分用例全过，含跨 runtime 新用例）
2. ✅ SKILL.md 127→128 行，writing-craft.md 46→56 行——增长全部用于路径表与可移植规则，可执行性增加
3. ✅ 无私有路径、无密钥、无不可复现依赖（体检 WARN 修复后全绿）
4. ✅ 基线通过项无退化（原有 13 条用例仍全过）
5. ✅ `validate_skill.py` PASS:10 / WARN:0 / FAIL:0；`trigger_eval.py` 16/16 一致（报告：[trigger-eval.json](trigger-eval.json)）
基线：`<项目根>/.baseline/le-meta-skill-2026-10-05/`（已验证为 v1.0.0 内容，可回滚）。
## 回炉清单
1. **真实对话实测**（连续两轮欠的账）：在 ZCode 新会话测触发；复制/软链到 `~/.claude/skills/` 与 `~/.codex/skills/` 后各自实测一次——跨 runtime 可移植性目前是 [设计优势]，实测后才升 [已验证]。
2. Codex skills 支持仍是实验性（2025-12 起），路径约定可能变；下次回炉时复核官方文档。
3. 本轮不做：触发判定算法调优、六维评分权重校准、references 进一步拆分——都没有失败证据驱动，不为改而改。
4. 环境教训（已沉淀进 iteration.md）：本工作区执行沙箱的文件写入跨调用不可靠，基线复制后必须当场验证。
skills/le-meta-skill/reports/prior-art.md
+58
View File
@@ -0,0 +1,58 @@
# 先例研究：LeMetaSkill v1.0.0
研究日期：2026-10-05。研究方式：浅 clone 两个仓库，通读 SKILL.md、references、scripts、evals 全部源文件。
## 候选
### 1. joeseesun/qiaomu-meta-skill（直接同行）
- 来源：https://github.com/joeseesun/qiaomu-meta-skill
- 定位：英文为主的"Skill OS"——研究、创建、改进、评估、打包、治理、发布 qiaomu 风格 skill 的全生命周期流水线，v2.8.x。
- 为什么入选：与本 skill 职责重叠最大的公开实现，工程化程度最高。
- 维护信号：版本迭代到 2.8.1，含 tests/、reports/ 真实迭代记录（2026-07/08）。
### 2. LearnPrompt/luban-skill（直接同行 + 手艺同行）
- 来源：https://github.com/LearnPrompt/luban-skill
- 定位：中文工匠人设的"Skill 打磨工坊"——把已有 skill 打磨成可传播的公共资产，五动作方法论（验料/访行/过尺/慢刨/回炉）。
- 为什么入选：明确**不做从零创建**（官方建议用 skill-creator），恰好与本项目互补；其中文输出契约、停手点纪律是三家中最强的。
### 3. ZCode 内置 skill-creator（手艺同行）
- 来源：ZCode 官方插件（本地缓存），非公开仓库
- 定位：通用 skill 创作循环——意图捕获、起草、测试 prompt、迭代。
- 为什么入选：宿主环境的官方基线；任何个性化 meta skill 都必须先吃透它的目录约定和加载模型。
## keep / adapt / reject / invent
**保留（keep）**
- 单一创建权威规则（触发后不再调 skill-creator，防双重初始化）→ 落在 SKILL.md 工坊总则。
- "写准不写长"、先验证触发再扩内容、description 先行 → SKILL.md 总则 + writing-craft.md。
- 渐进披露三层加载模型 → writing-craft.md + architecture.md。
- 通用化门（单例教训两个领域复现才进核心规则）→ SKILL.md 第二道门。
- 证据三级标签 [设计优势]/[已验证]/[假设] 与"证据缺失"诚实条款 → handoff.md。
- 概念族触发判定（required_families + families_required）→ trigger_eval.py。首版用纯覆盖率算法，冒烟测试自己暴露 5 处误判后改用此法——这是先例方法在实战中优于自研首版的直接证据。
**改造（adapt）**
- 乔木四档（Scaffold/Production/Library/Governed）→ 三档（draft/shared/rigorous）：砍掉发布治理档（职责范围外），把发布相关的门禁全部移除，只保留创建+迭代。
- 乔木触发评估（英文概念词典内嵌脚本）→ 中英双语 + 用例文件声明概念族 + 负触发词覆盖判定，且实测分层明确写成"冒烟≠行为"。
- 鲁班九维评分（100 分制，面向发布打磨）→ 六维（触发与边界/可执行具体性/工作流清晰度/失败模式/实测/资源纪律），删去传播类维度（安装率/showcase），保留"每个分数必须给证据"。
- 鲁班冻结基线 + 验证门 + 单面慢刨 + 独立验收视角 → iteration.md 全套吸收，"commit 即 push"改为可回退基线（本环境无 git 约定）。
- 鲁班出生证清单/README house 模板 → 简化为 shared 档 README 三节起步（价值/触发/安全边界），发布类必备件（marketplace.json、GIF、徽章）不采用。
**舍弃（reject）**
- GitHub 发布流水线（feature branch → PR → release → npx 安装验证）：用户明确职责范围为创建+迭代，不含发布。
- Skill IR 导出、agents/interface.yaml、manifest.json：面向跨平台发布的中间表示，当前无此需求；若未来要发布可再引入。
- 鲁班的"出师证书"结果卡、README 十条铁律、showcase 优先级：面向公共资产传播，自用 skill 不需要。
- 乔木的 prior-art 双目录搜索脚本（skills.sh/SkillsMP API）：搜索渠道随时会变，改为方法论 reference + 人工搜索，工具不绑定特定目录服务。
**原创（invent）**
- ZCode 专属适配：发现路径优先级（.zcode/skills > .agents/skills，同名覆盖语义）、frontmatter 最小契约、正文 ≤500 行预算——三份先例均面向 Claude Code 系生态。
- validate_skill.py 的悬空引用检查（正文引用的 references/*.md 必须存在）+ 私有路径拼接式扫描（避免扫描器匹配自身源码，实测踩过的坑）。
- scaffold→validate→trigger_eval 的端到端出生即合规流水线（乔木有 validate 但无 scaffold；鲁班有 scaffold 但无 trigger eval）。
- 验证资产沉淀问题（"这次的验证手段能不能留下来？"）写进迭代交付步骤。
## 未找到的证据
- 未找到专门面向 ZCode（而非 Claude Code）生态的公开 meta skill——三家先例全部以 Claude Code/skills.sh 生态为主。此为差异化空位，也是本 skill 的存在理由之一。
- 各先例的触发实测数据（live-turn 结果）均未公开，只有词面/结构检查；本 skill 的实测同样待补（见 creation-handoff.md 的证据缺失声明）。
skills/le-meta-skill/reports/trigger-eval.json
+380
View File
@@ -0,0 +1,380 @@
{
"skill": "le-meta-skill",
"date": "2026-10-05",
"threshold": 0.3,
"prediction_mode": "concept_families",
"note": "词面冒烟测试；行为结论需真实对话实测（live_turns 字段手工补记）",
"cases": [
{
"text": "帮我把每周写周报的流程做成一个 skill",
"family": "cn_workflow_to_skill",
"bucket": "should_trigger",
"coverage": 0.231,
"coverage_hits": [
"skill",
"做成",
"流程"
],
"families_hit": [
"authoring_action",
"material",
"skill_artifact"
],
"negative_hit": false,
"predicted_trigger": true,
"expected_trigger": true,
"verdict": "pass"
},
{
"text": "我有一套提示词，想沉淀成一个可复用的技能",
"family": "cn_prompt_to_skill",
"bucket": "should_trigger",
"coverage": 0.562,
"coverage_hits": [
"可复",
"复用",
"技能",
"提示",
"沉淀",
"淀成",
"用的",
"的技",
"示词"
],
"families_hit": [
"authoring_action",
"material",
"skill_artifact"
],
"negative_hit": false,
"predicted_trigger": true,
"expected_trigger": true,
"verdict": "pass"
},
{
"text": "turn this checklist into a skill",
"family": "en_checklist_to_skill",
"bucket": "should_trigger",
"coverage": 1.0,
"coverage_hits": [
"checklist",
"into",
"skill",
"this",
"turn"
],
"families_hit": [
"authoring_action",
"material",
"skill_artifact"
],
"negative_hit": false,
"predicted_trigger": true,
"expected_trigger": true,
"verdict": "pass"
},
{
"text": "给我的 skill 做个体检，看看触发灵不灵",
"family": "cn_health_check",
"bucket": "should_trigger",
"coverage": 0.75,
"coverage_hits": [
"skill",
"不灵",
"个体",
"体检",
"做个",
"我的",
"看看",
"给我",
"触发"
],
"families_hit": [
"authoring_action",
"improve_action",
"skill_artifact",
"test_action"
],
"negative_hit": false,
"predicted_trigger": true,
"expected_trigger": true,
"verdict": "pass"
},
{
"text": "这个 skill 最近总不触发，帮我改进一下",
"family": "cn_improve_trigger",
"bucket": "should_trigger",
"coverage": 0.333,
"coverage_hits": [
"skill",
"改进",
"触发"
],
"families_hit": [
"improve_action",
"skill_artifact"
],
"negative_hit": false,
"predicted_trigger": true,
"expected_trigger": true,
"verdict": "pass"
},
{
"text": "把我们刚才调试的这个流程变成 skill 存下来",
"family": "cn_from_conversation",
"bucket": "should_trigger",
"coverage": 0.286,
"coverage_hits": [
"skill",
"个流",
"变成",
"流程"
],
"families_hit": [
"authoring_action",
"material",
"skill_artifact"
],
"negative_hit": false,
"predicted_trigger": true,
"expected_trigger": true,
"verdict": "pass"
},
{
"text": "帮我看下这个 SKILL.md 写得有没有问题",
"family": "cn_review_skillmd",
"bucket": "should_trigger",
"coverage": 0.4,
"coverage_hits": [
"md",
"skill",
"我看",
"看下"
],
"families_hit": [
"improve_action",
"skill_artifact"
],
"negative_hit": false,
"predicted_trigger": true,
"expected_trigger": true,
"verdict": "pass"
},
{
"text": "新建一个 skill，用来自动审查 API 文档",
"family": "cn_create_new",
"bucket": "should_trigger",
"coverage": 0.2,
"coverage_hits": [
"skill",
"新建"
],
"families_hit": [
"authoring_action",
"skill_artifact"
],
"negative_hit": false,
"predicted_trigger": true,
"expected_trigger": true,
"verdict": "pass"
},
{
"text": "帮我把这个流程做成 Claude Code 的 skill",
"family": "cn_claude_skill",
"bucket": "should_trigger",
"coverage": 0.778,
"coverage_hits": [
"claude",
"code",
"skill",
"个流",
"做成",
"把这",
"流程"
],
"families_hit": [
"authoring_action",
"material",
"skill_artifact"
],
"negative_hit": false,
"predicted_trigger": true,
"expected_trigger": true,
"verdict": "pass"
},
{
"text": "create a Codex skill for linting our docs",
"family": "en_codex_skill",
"bucket": "should_trigger",
"coverage": 0.429,
"coverage_hits": [
"codex",
"create",
"skill"
],
"families_hit": [
"authoring_action",
"skill_artifact"
],
"negative_hit": false,
"predicted_trigger": true,
"expected_trigger": true,
"verdict": "pass"
},
{
"text": "把这篇文章翻译成英文",
"family": "translate_only",
"bucket": "should_not_trigger",
"coverage": 0.111,
"coverage_hits": [
"把这"
],
"families_hit": [],
"negative_hit": false,
"predicted_trigger": false,
"expected_trigger": false,
"verdict": "pass"
},
{
"text": "帮我 review 一下这个 PR 的代码",
"family": "code_review",
"bucket": "should_not_trigger",
"coverage": 0.4,
"coverage_hits": [
"review",
"代码"
],
"families_hit": [],
"negative_hit": false,
"predicted_trigger": false,
"expected_trigger": false,
"verdict": "pass"
},
{
"text": "解释一下什么是 agent skill，不要做成 skill",
"family": "explain_only",
"bucket": "should_not_trigger",
"coverage": 0.375,
"coverage_hits": [
"agent",
"skill",
"做成"
],
"families_hit": [
"authoring_action",
"skill_artifact"
],
"negative_hit": true,
"predicted_trigger": false,
"expected_trigger": false,
"verdict": "pass"
},
{
"text": "帮我优化这段给 ChatGPT 的提示词",
"family": "prompt_not_skill",
"bucket": "should_not_trigger",
"coverage": 0.333,
"coverage_hits": [
"优化",
"提示",
"示词"
],
"families_hit": [
"improve_action",
"material"
],
"negative_hit": false,
"predicted_trigger": false,
"expected_trigger": false,
"verdict": "pass"
},
{
"text": "Claude Code 怎么安装插件",
"family": "runtime_config_not_skill",
"bucket": "should_not_trigger",
"coverage": 0.5,
"coverage_hits": [
"claude",
"code",
"插件"
],
"families_hit": [],
"negative_hit": false,
"predicted_trigger": false,
"expected_trigger": false,
"verdict": "pass"
},
{
"text": "Summarize this note in three bullets",
"family": "summary_only",
"bucket": "should_not_trigger",
"coverage": 0.167,
"coverage_hits": [
"this"
],
"families_hit": [],
"negative_hit": false,
"predicted_trigger": false,
"expected_trigger": false,
"verdict": "pass"
},
{
"text": "这个流程每次都要重复讲一遍，烦死了",
"family": "vague_complaint",
"bucket": "near_neighbor",
"coverage": 0.25,
"coverage_hits": [
"个流",
"流程",
"重复"
],
"families_hit": [
"material"
],
"negative_hit": false,
"predicted_trigger": false,
"expected_trigger": null,
"verdict": "boundary"
},
{
"text": "帮我配置一个 MCP 服务器",
"family": "mcp_config",
"bucket": "near_neighbor",
"coverage": 0.333,
"coverage_hits": [
"mcp",
"配置"
],
"families_hit": [],
"negative_hit": false,
"predicted_trigger": false,
"expected_trigger": null,
"verdict": "boundary"
},
{
"text": "做个斜杠命令快速运行测试",
"family": "slash_command",
"bucket": "near_neighbor",
"coverage": 0.455,
"coverage_hits": [
"做个",
"命令",
"斜杠",
"杠命",
"测试"
],
"families_hit": [
"authoring_action"
],
"negative_hit": true,
"predicted_trigger": false,
"expected_trigger": null,
"verdict": "boundary"
}
],
"summary": {
"scored": 16,
"mismatch": 0,
"pass_rate": 1.0
}
}