技能使用指南

evaluating-llms（LLM评估技能Skill）Skill 是什么？

想搞清LLM应用质量怎么量化？LLM评估技能Skill提供从单元测试、RAGAS五项指标、LLM作为裁判到幻觉与偏见检测的完整方案，附指标阈值与修复路径，并支持脚本一键跑评估、接入CI/CD。本文详解安装方式、使用方法、竞品对比与典型场景，帮你快速搭建可回归的LLM质量门禁。

LLM评估技能Skillevaluating-llms
19 个章节 约 18 分钟阅读 AI 智能生成

LLM评估技能Skill：用自动化指标与 LLM 裁判，把 LLM 质量管控变成可复用流程

  • 一句话定位：这是一套面向 LLM 应用的质量评估方法论与工具箱，覆盖单元评估、RAG 评估、LLM 作为裁判、安全性评估、基准测试和生产监控六大场景。
  • 核心方法：按「任务类型」和「样本量/成本」两个维度选评估策略，官方推荐分层评估——全量自动化指标 + 10% 样本 LLM 裁判 + 1% 边缘案例人工复核。
  • 最关键的指标：RAG 场景下**忠实性（目标 > 0.8）**被明确列为首要指标，因为幻觉是 RAG 失败的第一大原因。
  • 落地成本低：技能内置可执行脚本（如 scripts/run_ragas_eval.py、scripts/compare_models.py），无需把代码加载进上下文即可运行评估，不消耗额外令牌。
  • 适配人群：正在做 RAG 应用、提示词工程、模型选型或 LLM 生产监控的开发者、算法工程师与测试同学。

1. 该技能叫什么？如何一键安装 AI 技能提升开发效率？

技能中文名：LLM评估技能Skill 技能英文名：evaluating-llms 技能ID：13425

它解决什么问题？

LLM 应用最典型的困境是「上线容易，验证很难」。传统软件可以用单元测试断言输出是否等于预期值，但 LLM 的输出是自然语言，同一道题每次回答都不一样。于是团队常常陷入两种极端：

  • 只靠人工抽看几条回答，主观判断「感觉还行」；
  • 只堆砌 BLEU、ROUGE 这类自动指标，却不知道它们在创意文本上与人类判断相关性很弱。

这个技能做的事情，是把「怎么评、用什么指标、指标到多少算合格、不合格该改哪里」这套决策链路沉淀成可执行的流程。它明确回答了几类高频疑问：

  • 「如何测试我的 RAG 系统是否正常工作？」
  • 「如何测量 LLM 输出中的幻觉？」
  • 「应使用哪些指标来评估生成质量？」
  • 「如何为我的用例比较 GPT-4 与 Claude？」
  • 「如何检测 LLM 响应中的偏见？」

「一键安装」的思路与步骤

所谓「一键安装 AI 技能」，并不是装一个大型框架，而是把一整套评估知识、决策表、示例代码与脚本挂载到你的 AI 编程助手上，让它在被问到评估问题时直接调用正确的方法论，而不是每次从零科普。

安装前提：

  1. 你使用的 AI 开发环境需支持「技能（Skill）」机制，能访问技能市场或本地技能目录（具体支持范围以官方说明为准）；
  2. 若要真正跑通示例与脚本，本机需准备 Python 环境，并按需安装依赖：pip install ragas、pip install deepeval、pip install langsmith、pip install lm-eval、pip install scikit-learn。

安装入口：

在技能市场 / 技能列表中搜索英文名 evaluating-llms，或直接检索技能 ID 13425，点击安装或启用即可。具体入口位置、是否支持团队共享安装等细节，以官方说明为准。

验证是否生效：

向助手提出一个该技能覆盖范围内的典型问题，例如「如何测试我的 RAG 系统是否正常工作？」。如果回答能围绕 RAGAS 的忠实性、答案相关性、上下文相关性等指标展开，并给出优先级与目标阈值（如忠实性 > 0.8），说明技能已被正确加载。若回答仍停留在泛泛而谈，则需检查技能是否启用成功。

安装后还需要做什么：

技能本身提供的是方法论、决策框架、示例代码与脚本说明；实际评估执行仍需要你自己的模型 API Key 与数据集。这一点与「装完即用」的纯工具类插件不同，需要提前规划。

2. 该技能的主要功能和特点

  • 按任务类型自动匹配评估方案：技能内置一张「任务类型 → 主要方法 → 指标 → 工具」的映射表。分类任务走 scikit-learn 的准确率/精确率/召回率/F1；生成任务走 BLEU/ROUGE/BERTScore 加 LLM 裁判；问答任务走精确匹配加语义相似度；RAG 走 RAGAS；代码生成走 HumanEval 与 pytest；多步骤代理走任务完成率与工具准确性。

  • 按样本量与成本自动推荐方法：1000+ 样本用即时、零成本的自动化指标；100–1000 样本用 LLM 作为裁判（每个样本约 $0.01–0.10）；少于 100 样本用人工成对比较（每个样本 $1–10）。这条规则能有效避免「用 GPT-4 评一万条数据把预算烧光」的常见事故。

  • RAGAS 五项指标带优先级和目标阈值：忠实性 > 0.8、答案相关性 > 0.7、上下文相关性 > 0.7、上下文精确度 > 0.5、上下文召回 > 0.8。更重要的是，每个指标不达标时都给出了对应的修复方向——忠实性不达标就改提示强调基于上下文并要求引用，上下文召回不达标就增加检索数量或改进分块策略。

  • LLM 作为裁判的工程化最佳实践：明确给出与人类判断相关性 0.75–0.85 的参考区间，并列出四条落地要点：使用清晰具体的 1–5 分评分标准、在评估提示里加少量示例、多次评估取平均降低方差、警惕位置偏见/冗长偏见/自偏好三类系统性偏差。

  • 安全性评估三板斧：幻觉检测（忠实性、事实检查 API、自我一致性）、偏见评估（BBQ 基准、BOLD、反事实人口统计交换测试）、毒性检测（Perspective API、Detoxify、OpenAI Moderation API），并附「应用场景 × 风险等级」优先级矩阵。

  • 开箱即用的脚本，零令牌成本：run_ragas_eval.py 跑 RAGAS 评估、compare_models.py 做模型 A/B、benchmark_runner.py 跑 MMLU/HumanEval、hallucination_checker.py 查幻觉，均通过命令行直接执行，不需要把代码塞进上下文。

  • 与上下游技能串联：可与提示工程技能（写提示）、AI 聊天构建技能（搭功能）、可观测性技能（线上监控）、CI/CD 技能（流水线集成）组合成完整工作流。

和普通工具比强在哪？ 普通库（如单独使用 RAGAS 或 DeepEval）只提供 API，你得自己想清楚「该测什么、测到几分算过、不过怎么办」。这个技能的核心价值恰恰是补上这层决策层——它更接近一位懂评估的资深工程师，而不仅仅是一个函数库。

3. 如何使用该技能？

步骤一：明确你的任务类型

先判断你手上要评估的是什么：分类（情感、意图）、生成（摘要、创意文本）、问答、RAG、代码生成，还是多步骤代理。这决定了你后面该选哪套指标。

步骤二：调用技能，获取评估方案

直接在对话中描述场景，例如：

「我的 RAG 客服系统最近经常编造政策条款，帮我设计一套评估方案。」

技能会返回带优先级的指标清单与对应的修复路径。

步骤三：跑通最小可用示例

分类任务（对应 examples/python/classification_metrics.py）：

from sklearn.metrics import accuracy_score, precision_recall_fscore_support

y_true = ["正面", "负面", "中性", "正面", "负面"]
y_pred = ["正面", "负面", "中性", "中性", "负面"]

accuracy = accuracy_score(y_true, y_pred)
precision, recall, f1, _ = precision_recall_fscore_support(y_true, y_pred, average='weighted')
print(f"准确率：{accuracy:.2f}  F1：{f1:.2f}")

输出说明：得到准确率 0.80、F1 约 0.79 一类的量化结果，可直接作为回归基线。

RAG 评估（对应 examples/python/ragas_example.py）：

from ragas import evaluate
from ragas.metrics import faithfulness, answer_relevancy, context_relevancy
from datasets import Dataset

data = {
    "question": ["法国的首都是什么？"],
    "answer": ["法国的首都是巴黎。"],
    "contexts": [["巴黎是法国的首都。"]],
    "ground_truth": ["巴黎"]
}

results = evaluate(Dataset.from_dict(data),
                   metrics=[faithfulness, answer_relevancy, context_relevancy])
print(f"忠实性：{results['faithfulness']:.2f}")

输出说明：忠实性接近 1.0 表示答案完全来自检索上下文；若低于 0.8，优先调整提示要求模型基于上下文作答。

提示级单元测试：用 pytest 断言模型输出标签。示例中把情感分类结果与预期标签比对，temperature=0 保证可复现性。

步骤四：用命令行脚本批量跑

# 在自定义数据集上运行 RAGAS 评估
python scripts/run_ragas_eval.py --dataset data/qa_dataset.json --output results.json

# 比较 GPT-4 与 Claude 在基准上的表现
python scripts/compare_models.py --model-a gpt-4 --model-b claude-3-opus --tasks mmlu,humaneval

步骤五：按分层策略接入生产

第一层对所有输出跑自动化指标；第二层对 10% 样本跑 LLM 裁判；第三层对 1% 边缘案例做人工复核。再配合在线评估（每第 N 条响应评分、用户点赞点踩、业务 KPI、令牌成本跟踪），形成持续监控闭环。

4. 同类型竞品对比分析

方案名称 定位 核心功能 安装/使用门槛 适用场景 优势与不足
LLM评估技能Skill（evaluating-llms） 评估方法论 + 决策框架 + 脚本 任务类型选型表、RAGAS 指标优先级、LLM 裁判最佳实践、安全评估、基准测试、生产监控 通过技能市场一键启用；执行需 Python 与相应库 需要「从 0 到 1 建立评估体系」的团队 优势：给出指标阈值与不达标修复路径，覆盖全链路；不足：本身不是评测平台，执行依赖外部库与自备数据
RAGAS 专精 RAG 评估的开源库 忠实性、答案相关性、上下文相关性/精确度/召回 pip install ragas，需构造 Dataset 纯 RAG 管道质量验证 优势：RAG 指标专业、社区活跃；不足：不覆盖分类、代码、基准测试等场景
DeepEval 通用 LLM 评估框架 与 pytest 集成的断言式评估 pip install deepeval，需写测试用例 已有 pytest 体系的团队做回归测试 优势：贴近传统单测习惯、易进 CI；不足：需要自己设计评分标准与阈值
LangSmith 生产监控与可观测平台 线上追踪、A/B 测试、数据集管理 pip install langsmith，通常需账号与网络打通 上线后的持续质量监控 优势：线上视角强、支持实验对比；不足：偏平台化，方法论指导较少

从对比可以看出：RAGAS、DeepEval、LangSmith 各有所长但都是「点状工具」，而这个技能的价值在于提供「面状方法论」——它甚至直接建议你搭配使用这些库，并给出「RAG 用 RAGAS、分类用 scikit-learn、生产监控用 LangSmith」的选型表。因此二者并不完全是替代关系，更像是「总纲」与「兵器」。

5. 该技能的典型应用场景与实际体验情况

场景一：RAG 知识库问答上线前的质量门禁

角色：做企业内部知识库问答的后端工程师。 痛点：检索管道看起来能跑，但回答经常「自信地胡说」，无法判断问题出在检索还是生成。 使用方式：先用 RAGAS 五项指标跑一轮基线，重点看忠实性与上下文召回。忠实性低于 0.8 说明在编，上下文召回低说明该检索到的内容没进来——两者对应的修复动作完全不同。 实际体验：上手难度中等，需要先准备好带 ground_truth 的问答数据集。效果上，指标能把「玄学调优」变成「定位到具体环节」。注意事项：数据集规模太小时指标波动大，建议至少几十条以上样本。

场景二：同一个功能横向比较 GPT-4 与 Claude

角色：技术选型负责人。 痛点：老板问「为什么用贵的那个模型」，团队只能回答「感觉更好」。 使用方式：用 scripts/compare_models.py 在两个模型上跑 MMLU、HumanEval 等基准；同时用 LLM 作为裁判对真实业务样本做 A/B，对比用户满意度、任务完成率、响应延迟与每次成功交互成本。 实际体验：命令行脚本直接跑，不必把代码读进上下文，对成本敏感团队很友好。注意单基准不足以代表综合能力，技能建议使用 3–5 个跨领域基准。

场景三：提示词回归测试进 CI

角色：负责 AI 功能的测试工程师。 痛点：产品经理改了一句话术，线上分类结果就全乱了，但没人发现。 使用方式：用 pytest 写提示级单元测试，断言输出标签或 JSON 结构；再按「测试金字塔」从单元到集成逐层覆盖，接入 CI/CD 流水线。 实际体验：门槛低，会写 pytest 就能上手。注意事项：temperature 要设成 0，否则断言会随机失败。

场景四：上线后的幻觉与毒性巡检

角色：AI 应用运维/平台团队。 痛点：模型供应商静默升级、提示词在迭代中被改坏，质量问题往往是用户投诉才暴露。 使用方式：对全量输出跑轻量自动指标，对每第 N 条响应跑 LLM 裁判打分，对低置信度或可疑响应触发人工审查；同时用 Perspective API / Detoxify 做毒性扫描。 实际体验：分层策略能显著控制成本。注意事项：LLM 裁判自身有位置偏见和冗长偏见，务必多次评估取平均。

6. 该技能能为用户带来的价值

把评估从「凭感觉」变成「有阈值」。忠实性 > 0.8、答案相关性 > 0.7、上下文召回 > 0.8 这些具体阈值，让质量判断第一次可以被写进验收标准，而不是停留在主观讨论。

大幅降低试错成本。按样本量分层的推荐规则，直接告诉你 1000 条以上用零成本自动指标、100–1000 条用每个几分钱的 LLM 裁判、100 条以下才值得上人工。按此执行，一个中等规模的评估任务可以把成本从「无上限」压缩到可控区间。

缩短排障时间。每个指标都配了「不达标该改哪里」的对应动作：忠实性差改提示、上下文相关性差改检索、上下文精确度差加重排序、上下文召回差加分块优化。这种「指标—归因—动作」的直连，省去了大量反复试验。

避免典型踩坑。技能列出了六类常见陷阱——过度依赖生成任务的自动指标、忽视 RAG 忠实性、没有生产监控、使用有偏的 LLM 裁判、基准覆盖不足、缺失安全评估——每一条都附带解决方案，相当于提前吸收了别人踩过的坑。

长期价值：把评估沉淀为 CI 中的自动化门禁和线上的持续监控后，LLM 应用才能像传统软件一样具备可回归、可追踪、可量化的工程属性，这是从「Demo 阶段」迈向「生产阶段」的关键一步。

7. 常见问题 FAQ

Q1：这个技能怎么安装？装完就能直接用吗？ A：在支持技能机制的环境里，通过技能市场搜索英文名 evaluating-llms 或技能 ID 13425 启用即可，具体入口与权限以官方说明为准。安装后你获得的是决策框架、示例代码与脚本指引；要真正跑评估，还需自备 Python 环境、模型 API Key 与评估数据集。

Q2：使用这个技能收费吗？ A：技能本身的定价信息未在技能详情中提供，请以官方说明为准。需要留意的是评估执行本身有成本：自动化指标基本为零成本，LLM 作为裁判每样本约 $0.01–0.10，人工评估每样本约 $1–10（此为详情中给出的参考量级）。

Q3：它和 RAGAS、DeepEval、LangSmith 是什么关系？该选哪个？ A：它不是替代品而是上层方法论。技能里明确建议：RAG 评估用 RAGAS，通用评估和 pytest 集成用 DeepEval，生产监控与 A/B 用 LangSmith，基准测试用 lm-eval，分类指标用 scikit-learn。你可以理解为「它告诉你什么场景该拿哪把工具、指标到多少算过关」，实际执行仍靠这些库。

Q4：适合谁用？我是刚接触 LLM 的新手能上手吗？ A：最适合正在构建 RAG 应用、做提示词工程、负责模型选型或需要为 LLM 应用建立质量门禁的开发者与测试工程师。新手可以从「单元评估 + pytest 断言」这个最小闭环开始，代码只有十几行；进阶后再逐步引入 RAGAS 与 LLM 裁判。技能提供的示例覆盖 Python 与 TypeScript 两套语言。

Q5：能不能接入 CI/CD 做自动化质量门禁？ A：可以。技能明确支持将 LLM 质量检查集成到 CI/CD 管道，并可与其他技能（如 CI 流水线构建、可观测性）组合使用。推荐做法是按测试金字塔从单元评估（提示级断言）起步，再加集成评估（RAG 管道），最后接入生产监控告警。