torchforge-rl-training（torchforge强化学习训练）Skill 是什么？

torchforge强化学习训练Skill：把 RL 算法实验从「基建地狱」里解放出来

它是什么：torchforge 是 Meta 推出的 PyTorch 原生强化学习库，本技能提供使用它进行 RL 训练的全流程指导，核心思路是把「基础设施」与「算法」彻底分离。
能做什么：覆盖 SFT 训练、GRPO 数学推理训练、自定义损失函数、多 GPU/多节点分布式训练四种典型工作流，内置 GRPO、DAPO、CISPO、GSPO、SAPO 等损失函数。
强在哪：不依赖 Ray，纯 PyTorch 原生抽象；用 Monarch actor 系统从单卡扩展到数千卡；训练用 TorchTitan、推理用 vLLM、权重同步用 TorchStore。
谁适合用：想在 GRPO/DAPO 等算法上快速做实验的研究者、需要自研 RL 损失函数的算法工程师，以及要搭分布式 RL 训练管线的团队。
注意：torchforge 目前是实验性项目，API 可能变更；如果追求生产级稳定性，官方建议转向 miles 或 verl。

该技能叫什么？如何一键安装 AI 技能提升开发效率？

这个技能的中文名是 torchforge强化学习训练Skill，英文名 torchforge-rl-training，技能 ID 为 12376。它要解决的问题很具体：强化学习训练的工程门槛极高——分布式并行、推理引擎、权重同步、参考模型管理这些「基础设施活」，往往比算法本身更耗时间。torchforge 的设计哲学就是把这层基建抽走，让研究者只写算法；而本技能则把「怎么装、怎么配、怎么跑、踩坑怎么修」整理成可直接照做的指导。

安装思路分两层，别混淆：

第一层是把这个 AI 技能装进你的 AI 编程助手。在支持 Skill 机制的客户端中，通过技能市场或技能安装入口搜索技能名（torchforge-rl-training）或技能 ID（12376）即可添加；具体入口地址与命令以官方说明为准。装好后，当你在对话中提到强化学习训练、GRPO、torchforge 配置等话题时，助手会自动加载该技能的指导内容。验证方式很简单：向助手提问一个 torchforge 相关问题，看它是否能给出配置结构、损失函数写法等具体内容。

第二层是安装 torchforge 本身（技能详情中提供了真实命令）：

# 创建环境
conda create -n forge python=3.12
conda activate forge

# 安装（处理 PyTorch nightly + 依赖）
./scripts/install.sh

# 验证
python -c "import torch, forge, vllm; print('OK')"

ROCm 环境使用 ./scripts/install_rocm.sh。依赖要求为 torch>=2.9.0、torchtitan>=0.2.0、vllm、monarch。硬件上，SFT 训练建议 2 张以上 GPU，GRPO 训练建议 3 张以上 GPU（分别承载训练器、参考模型、生成器）。安装脚本的获取方式以官方仓库说明为准。

该技能的主要功能和特点

算法与基建隔离：实现 RL 算法时无需接触分布式训练、推理服务、权重同步等底层细节，算法改动不会牵动基础设施。
PyTorch 原生抽象，无 Ray 依赖：整个栈是纯 PyTorch 风格，减少额外框架的学习与调试成本。
算法实验成本极低：GRPO、DAPO、SAPO 等算法约 100 行代码即可完成实现与替换。
可扩展性：借助 Monarch actor 系统，从单 GPU 平滑扩展到数千 GPU；训练侧由 TorchTitan 的 FSDP 承载，支持张量并行、流水并行、数据并行分片。
现代技术栈组合：TorchTitan 负责训练、vLLM 负责推理生成、TorchStore 负责权重同步，各司其职。
内置多种损失函数：forge.losses 模块提供 SimpleGRPOLoss、ReinforceLoss，并覆盖 GRPO、DAPO、CISPO、GSPO、SAPO。
清晰的批次契约：训练输入输出都是字典结构的张量，trainer.train_step(inputs, targets) 直接返回浮点损失，接口干净。
自定义奖励简单：在 forge.data.rewards 基础上，通过实现 __call__(prompt, response, target) -> float 即可接入自定义奖励逻辑。

如何使用该技能？

步骤 1：明确你的工作流目标。 是做数学推理的 GRPO 训练、写新的 RL 算法损失函数，还是要上多卡多机分布式。

步骤 2：准备配置文件（YAML）。 一个 GRPO 数学推理配置通常包含四块：model（如 Qwen/Qwen2.5-7B-Instruct）、dataset（如 openai/gsm8k，支持 streaming）、training（batch_size、learning_rate、seq_len、dtype、梯度累积步数）、grpo（n_samples、clip_low/clip_high、beta、temperature），以及 services（generator / trainer / ref_model 各自进程数与是否占用 GPU）。

步骤 3：定义奖励函数。 可直接用内置的 MathReward、ThinkingReward，也可自写：

class CustomMathReward:
    def __call__(self, prompt: str, response: str, target: str) -> float:
        match = re.search(r'\\boxed{([^}]+)}', response)
        if not match:
            return 0.0
        answer = match.group(1).strip()
        return 1.0 if answer == target else 0.0

步骤 4：启动训练。 SFT 用 python -m apps.sft.main --config apps/sft/llama3_8b.yaml；GRPO 用 python -m apps.grpo.main --config config/grpo_math.yaml。

步骤 5：监控与调参。 检查 W&B 仪表板的损失曲线，确认熵在下降（策略趋于确定），KL 散度保持有界。

步骤 6：需要新算法时替换损失函数。 继承 nn.Module 实现 forward(logprobs, ref_logprobs, advantages, padding_mask)，内部完成重要性比率、策略梯度裁剪、KL 惩罚、掩码聚合，再在训练循环中调用即可。

步骤 7：扩展规模。 在配置中设置 tensor_parallel_degree、data_parallel_shard_degree，或本地用 --trainer.procs 4 --generator.procs 4 分配进程，SLURM 环境用 sbatch --nodes=2 --gpus-per-node=8 run_grpo.sh。

输入输出说明：输入是字典列表形式的张量批次（如 {"tokens": torch.Tensor}），目标是包含 response、ref_logprobs、advantages、padding_mask 的字典列表；vLLM 生成的输出为 Completion 数据类，含 text、token_ids、logprobs、metadata。

同类型竞品对比分析

方案名称	定位	核心功能	安装/使用门槛	适用场景	优势与不足
torchforge-rl-training（本技能）	Meta 出品的 PyTorch 原生 RL 库指导	算法/基建分离、Monarch 扩展、TorchTitan+vLLM+TorchStore、内置多种损失	需 conda 环境与多 GPU；GRPO 建议 3 卡以上	算法快速实验、自研损失函数、PyTorch 原生分布式 RL	优势：抽象干净、无 Ray、改算法约百行代码；不足：实验性项目，API 可能变更
miles	生产级 RL 训练框架	面向稳定性的 RL 训练流水线	以官方说明为准	追求生产稳定性的落地项目	优势：稳定性优先；不足：算法实验灵活度相对受限
verl	生产级 RL 训练框架	面向大规模与工程稳定性的 RL 训练	以官方说明为准	生产环境、成熟训练管线	优势：工程完备；不足：偏重、定制算法改动牵扯面大
slime	Megatron 原生训练路线	基于 Megatron 的 RL 训练	以官方说明为准	已有 Megatron 技术栈的团队	优势：与 Megatron 生态契合；不足：不适合想留在纯 PyTorch 抽象里的用户

选型逻辑可以简化为三句话：想快速做算法实验选 torchforge；要生产级稳定选 miles 或 verl；要 Megatron 原生选 slime。

该技能的典型应用场景与实际体验情况

场景一：数学推理模型训练（算法研究员） 痛点是 GRPO 这类组相对优势训练，光是搭「训练器 + 参考模型 + 生成器」三套服务就要折腾很久。使用方式是按技能提供的配置模板填好 model、dataset、grpo 参数与三份 services，写一个从 \boxed{} 抽取答案的奖励函数，然后一条命令启动。实际体验：配置结构清晰可复用，三卡起步的要求对个人开发者偏高，但服务拆分清楚，反而容易定位瓶颈。

场景二：实现自研 RL 算法（算法工程师） 痛点是新算法往往要改训练框架源码，牵一发动全身。使用方式是在 forge/losses/ 下写一个 nn.Module，只关心 logprobs、ref_logprobs、advantages、padding_mask 四个张量，然后接入训练循环。实际体验：接口契约固定，改算法不动基建这一点非常省心，是它最有价值的体验。

场景三：分布式扩展（工程/平台同学） 痛点是从单卡扩到多卡时并行策略、进程分配、权重同步全部要重调。使用方式是在 YAML 里声明并行度与各服务进程数，本地加命令行参数覆盖，集群走 SLURM 提交。实际体验：声明式配置上手不难，但权重同步慢是常见瓶颈，可设 TORCHSTORE_USE_RDMA=1 或调大 sync_interval。

场景四：训练不收敛排障（所有用户） 常见症状是熵降到零、奖励不再提升。技能给出的处置是调大 KL 惩罚 beta（如 0.1→0.2）或加入 entropy_coef: 0.01；GPU 不足时可让参考模型不上 GPU；生成 OOM 时下调 n_samples 或 seq_len。实际体验：这些「症状—方案」对照能省掉大量盲猜时间。

上手难度小结：概念门槛中等（需懂 PPO/GRPO 基本概念与 PyTorch），硬件门槛是主要限制；效果上算法实验迭代速度提升明显；注意事项是 API 处于实验阶段、务必锁定版本。

该技能能为用户带来的价值

效率提升：把「基建」从算法实验中剥离后，新算法的实现从改框架源码变成写一个约 100 行的损失类；配置模板化让一次 GRPO 训练搭环境的时间大幅压缩，主要精力回到奖励设计与超参调优上。

门槛降低：内置 GRPO/DAPO/CISPO/GSPO/SAPO 与 SimpleGRPOLoss、ReinforceLoss，让不熟悉分布式细节的研究者也能跑起多卡 RL；「症状—方案」排障表把 GPU 不足、OOM、同步慢、策略崩溃这些高频坑变成可查的清单。

可量化收益：GRPO、DAPO、SAPO 约百行代码量、SFT 2 卡 / GRPO 3 卡起步、单机到多机仅需改 YAML 并行度——这些都是可以直接对照执行的规模指标。

长期价值：算法/基建分离的架构意味着未来换训练后端、换推理引擎时，你的算法代码基本不用动；对团队而言，这套抽象还能作为 RL 训练代码的规范底座。

常见问题 FAQ

Q1：怎么安装这个技能？ 分两步：先把 torchforge-rl-training 技能添加到你的 AI 助手（通过技能市场或安装入口，搜索技能名或技能 ID 12376，具体地址以官方说明为准）；再按技能给出的命令安装 torchforge 本体——conda 创建 python=3.12 的 forge 环境，运行 ./scripts/install.sh，用 python -c "import torch, forge, vllm; print('OK')" 验证。

Q2：这个技能收费吗？ 不收费。技能本身标注 license 为 MIT，torchforge 是 Meta 开源项目。若使用云 GPU、HuggingFace 模型或 W&B 等外部服务，费用取决于各自平台的定价，以官方说明为准。

Q3：适合谁用？ 适合有 PyTorch 基础、懂 PPO/GRPO 基本概念、想做 RL 算法实验的人：算法研究员、需要自研损失函数的工程师、要搭分布式 RL 管线的团队。如果只需要一个稳定跑通的生产管线，官方建议看 miles 或 verl。

Q4：最少需要几张 GPU？ 按技能说明，SFT 训练需要 2 张以上 GPU，GRPO 训练需要 3 张以上 GPU（训练器、参考模型、生成器各一）。资源紧张时可让参考模型不上 GPU，或移除参考模型复用生成器权重。

Q5：和 verl、miles、slime 怎么选？ 要清晰抽象、快速做算法实验、想留在纯 PyTorch 生态里，选 torchforge；要生产级稳定性选 miles 或 verl；要 Megatron 原生训练选 slime。另外 torchforge 目前是实验性项目、API 可能更改，这一点在长期项目中必须纳入考量。