name: 测试手册生成器 description: > 元技能,用于分析Trail of Bits测试手册(appsec.guide) 并生成安全测试工具和技术的Claude Code技能。 在基于手册内容创建新技能时使用。
测试手册技能生成器
从Trail of Bits测试手册生成和维护Claude Code技能。
何时使用
在以下情况下调用此技能:
- 从手册内容创建新的安全测试技能
- 用户提及“测试手册”、“appsec.guide”或询问生成技能
- 需要批量生成或刷新技能
不要用于:
- 一般安全测试问题(使用生成的技能)
- 非手册技能创建
手册位置
此技能需要测试手册仓库。完整详情见 discovery.md。
快速参考: 检查 ./testing-handbook、../testing-handbook、~/testing-handbook → 询问用户 → 最后手段克隆。
仓库: https://github.com/trailofbits/testing-handbook
工作流程概览
阶段0:设置 阶段1:发现
┌─────────────────┐ ┌─────────────────┐
│ 定位手册 │ → │ 分析手册 │
│ - 查找或克隆 │ │ - 扫描部分 │
│ - 确认路径 │ │ - 分类类型 │
└─────────────────┘ └─────────────────┘
↓ ↓
阶段3:生成 阶段2:规划
┌─────────────────┐ ┌─────────────────┐
│ 两遍生成 │ ← │ 生成计划 │
│ 遍1:内容 │ │ - 新技能 │
│ 遍2:交叉引用 │ │ - 更新 │
│ - 写入gen/ │ │ - 呈现给用户 │
└─────────────────┘ └─────────────────┘
↓
阶段4:测试 阶段5:完成
┌─────────────────┐ ┌─────────────────┐
│ 验证技能 │ → │ 生成后处理 │
│ - 运行验证器 │ │ - 更新README │
│ - 测试激活 │ │ - 更新交叉引用 │
│ - 修复问题 │ │ - 自我改进 │
└─────────────────┘ └─────────────────┘
范围限制
仅修改以下位置:
plugins/testing-handbook-skills/skills/[技能名称]/*- 生成的技能(作为测试手册生成器的同级)plugins/testing-handbook-skills/skills/testing-handbook-generator/*- 自我改进- 仓库根目录
README.md- 将生成的技能添加到表格中
切勿修改或分析:
- 其他插件(
plugins/property-based-testing/、plugins/static-analysis/等) - 此插件外的其他技能
不要扫描或拉入此插件外的任何技能上下文。仅基于手册内容和其引用的资源生成技能。
快速参考
部分 → 技能类型映射
| 手册部分 | 技能类型 | 模板 |
|---|---|---|
/static-analysis/[工具]/ |
工具技能 | tool-skill.md |
/fuzzing/[语言]/[模糊器]/ |
模糊器技能 | fuzzer-skill.md |
/fuzzing/techniques/ |
技术技能 | technique-skill.md |
/crypto/[工具]/ |
领域技能 | domain-skill.md |
/web/[工具]/ |
工具技能 | tool-skill.md |
技能候选信号
| 信号 | 指示 |
|---|---|
_index.md 带有 bookCollapseSection: true |
主要工具/主题 |
| 编号文件(00-、10-、20-) | 结构化内容 |
techniques/ 子部分 |
方法论内容 |
99-resources.md 或 91-resources.md |
有外部链接 |
排除信号
| 信号 | 操作 |
|---|---|
前置元数据中的 draft: true |
跳过部分 |
| 空目录 | 跳过部分 |
| 模板/占位符文件 | 跳过部分 |
仅GUI工具(如 web/burp/) |
跳过部分(Claude无法操作GUI工具) |
决策树
开始技能生成?
├─ 需要分析手册并构建计划?
│ └─ 阅读:discovery.md
│ (手册分析方法论,计划格式)
│
├─ 派生技能生成代理?
│ └─ 阅读:agent-prompt.md
│ (完整提示模板,变量参考,验证检查清单)
│
├─ 生成特定技能类型?
│ └─ 阅读适当模板:
│ ├─ 工具(Semgrep、CodeQL) → templates/tool-skill.md
│ ├─ 模糊器(libFuzzer、AFL++) → templates/fuzzer-skill.md
│ ├─ 技术(harness、coverage) → templates/technique-skill.md
│ └─ 领域(crypto、web) → templates/domain-skill.md
│
├─ 验证生成的技能?
│ └─ 运行:scripts/validate-skills.py
│ 然后阅读:testing.md 进行激活测试
│
├─ 生成后完成?
│ └─ 见:下面的生成后任务
│ (更新主README,更新技能交叉引用,自我改进)
│
└─ 从特定部分快速生成?
└─ 使用上面的快速参考,直接应用模板
两遍生成(阶段3)
生成使用两遍方法解决前向引用问题(技能引用尚未存在的其他技能)。
遍1:内容生成(并行)
并行生成所有技能不包含相关技能部分:
遍1 - 并行生成5个技能:
├─ 代理1:libfuzzer(模糊器) → skills/libfuzzer/SKILL.md
├─ 代理2:aflpp(模糊器) → skills/aflpp/SKILL.md
├─ 代理3:semgrep(工具) → skills/semgrep/SKILL.md
├─ 代理4:harness-writing(技术) → skills/harness-writing/SKILL.md
└─ 代理5:wycheproof(领域) → skills/wycheproof/SKILL.md
每个代理使用:pass=1(仅内容,相关技能留空)
遍1代理:
- 生成除相关技能外的所有部分
- 留占位符:`## 相关技能
<!-- PASS2: 所有技能存在后填充 -->`
- 输出报告包括
references: DEFERRED
遍2:交叉引用填充(顺序)
所有遍1代理完成后,运行遍2填充相关技能:
遍2 - 填充交叉引用:
├─ 从skills/*/SKILL.md读取所有生成的技能名称
├─ 对于每个技能,基于以下确定相关技能:
│ ├─ 发现中的related_sections(手册结构)
│ ├─ 技能类型关系(模糊器 → 技术)
│ └─ 内容中的显式提及
└─ 更新每个SKILL.md的相关技能部分
遍2过程:
- 收集所有生成的技能名称:
ls -d skills/*/SKILL.md - 对于每个技能,使用发现中的映射识别相关技能
- 编辑每个SKILL.md以用实际链接替换占位符
- 验证交叉引用存在(无断链)
代理提示模板
见 agent-prompt.md 获取完整提示模板,包括:
- 变量替换参考(包括
pass变量) - 预写入验证检查清单
- Hugo短代码转换规则
- 行数分割规则
- 错误处理指导
- 输出报告格式
收集结果
遍1后:聚合输出报告,验证所有技能生成。 遍2后:运行验证器检查交叉引用。
处理代理失败
如果代理失败或产生无效输出:
| 失败类型 | 检测 | 恢复操作 |
|---|---|---|
| 代理崩溃 | 无输出报告 | 用相同输入重新运行单个代理 |
| 验证失败 | 输出报告显示错误 | 检查间隙/警告,手动修补或重新运行 |
| 错误技能类型 | 内容不匹配模板 | 用修正的type参数重新运行 |
| 缺少内容 | 输出报告列出间隙 | 如果次要则接受,或提供额外的related_sections |
| 遍2断链 | 验证器显示缺少技能 | 检查技能是否被跳过,更新引用 |
重要: 切勿为单个代理失败重新运行整个并行批次。独立修复个别失败。
单技能重新生成
要重新生成单个技能而不重新运行整个批次:
# 重新生成单个技能(遍1 - 仅内容)
“使用测试手册生成器从部分{section_path}重新生成{skill-name}技能”
# 示例:
“使用测试手册生成器从部分fuzzing/c-cpp/10-libfuzzer重新生成libfuzzer技能”
重新生成工作流程:
- 重新阅读手册部分以获取新内容
- 应用适当模板
- 写入
skills/{skill-name}/SKILL.md(覆盖现有) - 仅针对该技能重新运行遍2以更新交叉引用
- 在单个技能上运行验证器:
uv run scripts/validate-skills.py --skill {skill-name}
输出位置
生成的技能写入:
skills/[技能名称]/SKILL.md
每个技能有自己的目录,用于潜在支持文件(作为测试手册生成器的同级)。
质量检查清单
在交付生成的技能之前:
- [ ] 所有手册部分分析(阶段1)
- [ ] 生成前向用户呈现计划(阶段2)
- [ ] 并行代理启动 - 每个技能一个(阶段3)
- [ ] 模板按技能类型正确应用
- [ ] 验证器通过:
uv run scripts/validate-skills.py - [ ] 激活测试通过 - 见 testing.md
- [ ] 主
README.md更新,包含生成的技能表格 - [ ]
README.md技能交叉引用图更新 - [ ] 自我改进笔记记录
- [ ] 用户通知并总结
生成后任务
1. 更新主README
生成技能后,更新仓库的主README.md以列出它们。
格式: 将生成的技能添加到相同的“可用插件”表格中,直接在testing-handbook-skills之后。使用纯文本testing-handbook-generator作为作者(无链接)。
示例:
| 插件 | 描述 | 作者 |
|--------|-------------|--------|
| ... 其他插件 ... |
| [testing-handbook-skills](plugins/testing-handbook-skills/) | 从测试手册生成技能的元技能 | Paweł Płatek |
| [libfuzzer](plugins/testing-handbook-skills/skills/libfuzzer/) | 用于C/C++的覆盖引导模糊测试与libFuzzer | testing-handbook-generator |
| [aflpp](plugins/testing-handbook-skills/skills/aflpp/) | 多核模糊测试与AFL++ | testing-handbook-generator |
| [semgrep](plugins/testing-handbook-skills/skills/semgrep/) | 快速静态分析,用于发现错误 | testing-handbook-generator |
2. 更新技能交叉引用
生成技能后,更新README.md的技能交叉引用部分,用mermaid图显示技能关系。
过程:
- 读取每个生成技能的
SKILL.md,提取其## 相关技能部分 - 构建mermaid图,节点按技能类型分组(模糊器、技术、工具、领域)
- 基于相关技能关系添加边:
- 实箭头(
-->)用于主要技术依赖 - 虚线箭头(
-.->)用于替代工具建议
- 实箭头(
- 替换README.md中的现有mermaid代码块
边分类:
| 关系 | 箭头样式 | 示例 |
|---|---|---|
| 模糊器 → 技术 | --> |
libfuzzer --> harness-writing |
| 工具 → 工具(替代) | -.-> |
semgrep -.-> codeql |
| 模糊器 → 模糊器(替代) | -.-> |
libfuzzer -.-> aflpp |
| 技术 → 技术 | --> |
harness-writing --> coverage-analysis |
验证: 更新后,运行validate-skills.py以验证所有引用技能存在。
3. 自我改进
每次生成运行后,反思可以改进未来运行的内容。
捕获改进到:
- 模板(缺少部分,更好结构)
- 发现逻辑(错过的模式,假阳性)
- 内容提取(未处理的短代码,格式化问题)
更新过程:
- 记录生成过程中遇到的问题
- 识别导致问题的模式
- 更新相关文件:
SKILL.md- 工作流程、决策树、快速参考更新templates/*.md- 模板改进discovery.md- 检测逻辑更新testing.md- 新验证检查
- 在提交消息中记录改进
示例自我改进:
问题:libFuzzer技能缺少消毒器标志表格
修复:更新templates/fuzzer-skill.md以包含## 编译器标志部分
示例使用
完整发现和生成
用户:“从测试手册生成技能”
1. 定位手册(检查常见位置,询问用户,或克隆)
2. 阅读discovery.md以了解方法论
3. 扫描手册在{handbook_path}/content/docs/
4. 构建候选列表与类型
5. 向用户呈现计划
6. 批准后,使用适当模板生成每个技能
7. 验证生成的技能
8. 用生成的技能表格更新主README.md
9. 从相关技能部分更新README.md技能交叉引用图
10. 自我改进:记录任何模板/发现问题供未来运行
11. 报告结果
单部分生成
用户:“为libFuzzer部分创建技能”
1. 阅读 /testing-handbook/content/docs/fuzzing/c-cpp/10-libfuzzer/
2. 识别类型:模糊器技能
3. 阅读templates/fuzzer-skill.md
4. 提取内容,应用模板
5. 写入skills/libfuzzer/SKILL.md
6. 验证并报告
提示
做:
- 生成前总是呈现计划
- 使用适当模板对应技能类型
- 精确保留代码块
- 生成后验证
不做:
- 未经用户批准生成
- 跳过获取非视频外部资源(使用WebFetch)
- 获取视频URL(YouTube、Vimeo - 仅标题)
- 直接包含手册图像
- 跳过验证步骤
- 每个SKILL.md超过500行
首次使用: 从 discovery.md 开始以了解手册分析过程。
模板参考: 见 templates/ 目录以获取技能类型模板。
验证: 见 testing.md 以获取质量保证方法论。