名称

prompt-regression-suite

描述

当需要为提示词或大模型应用建立可重复的回归评测、防止改提示词后效果倒退时使用。该技能设计评测集、评分规则与通过门槛，覆盖正常、边界、对抗与多语言样本，并接入持续集成（CI）做提示词版本对比。适用于客服机器人、代码助手、文档问答、内容生成与智能体工作流。关键词：提示词、回归测试、评测集、大模型评测、A/B 对比、评分规则、幻觉、越狱、鲁棒性、持续集成门禁、版本对比、基准、黄金标准集、检索增强生成评测、智能体。

提示词回归评测

让“改了一句提示词”从凭感觉变成有证据。

何时使用

提示词频繁迭代，效果时好时坏。
需要比较两个模型或两个提示词版本。
上线前需要确认安全与格式约束未被破坏。
智能体工具调用经常出错，需要回归保护。

不适用：一次性文案生成；无稳定输入的开放创作。

输入

提示词版本与调用参数（温度、模型、工具）。
业务场景与成功标准。
历史失败案例与用户反馈。
成本与延迟约束。

工作流

第 1 步：定义任务与输出契约

明确输入格式、输出格式（JSON 模式/schema、字段、长度）。
明确必须遵守的约束（不得编造、必须引用、语气）。
明确失败定义：错误、格式违规、幻觉、越权。

第 2 步：构建评测集

按 references/eval-design.md 分层：

层	内容	占比建议
主干	高频真实问题	50%
边界	空输入、超长、歧义	20%
对抗	越狱、注入、误导前提	15%
多语言	中英混排、术语	10%
回归	历史缺陷样本	5%

每条样本包含：输入、期望（精确值或评分标准）、难度、来源。

第 3 步：评分方式

确定性任务：精确匹配、JSON 模式校验、字段级比对。
半开放任务：规则检查（长度、关键词、引用存在）+ 模型评分（评分量表/rubric）。
开放任务：人工抽检，模型评分仅作筛选。

模型评分需固定评分模型版本与提示词，且与人工样本校准。

第 4 步：基线对比

固定随机种子或温度 0，减少噪声。
同一评测集跑新旧两版，逐条对齐。
报告：通过率、平均分、退化样本清单、成本与延迟。
对差异样本人工复核，避免评分器误判。

第 5 步：门槛与持续集成（CI）

通过率不低于基线的 98%，关键项 100%。
安全类样本零容忍。
成本与延迟不超过预算上限。
每次提示词变更自动跑评测，未达标阻断合并。

第 6 步：维护

线上失败案例定期回流到评测集。
评测集去重与分层抽样，避免过拟合。
每季度复核评分规则是否仍符合业务。

检查清单

[ ] 输出契约明确且可自动校验。
[ ] 评测集覆盖主干、边界、对抗、多语言、历史缺陷。
[ ] 评分规则可复现，评分模型版本固定。
[ ] 新旧版本在同一条件下对比。
[ ] 退化样本已人工复核。
[ ] 安全样本零容忍并接入门禁。
[ ] 成本与延迟纳入评估。
[ ] 评测集有来源与更新机制。

输出模板

## 评测配置
模型： 温度： 提示词版本： 评测集版本：

## 结果
| 指标 | 旧版 | 新版 | 变化 | 结论 |
| --- | --- | --- | --- | --- |

## 退化样本
| 样本 | 旧输出 | 新输出 | 问题 | 判定 |
| --- | --- | --- | --- | --- |

## 成本与延迟
...

## 结论
可合并 / 需修改

反模式

只测十几个“看起来典型”的样本。
用同一模型给自己打分且不做人工校准。
忽略格式约束，只看内容像不像。
温度高导致结果抖动，却归因于提示词。
评测集长期不更新，逐渐失去代表性。

参考文件

references/eval-design.md：样本设计、评分量表（rubric）与门禁建议。