该技能用于指导用户在SLURM集群上启动和运行分布式Megatron-LM训练任务。涵盖sbatch脚本编写、分布式环境变量配置、CUDA_DEVICE_MAX_CONNECTIONS规则、容器使用、监控与故障诊断。关键词：SLURM、Megatron-LM、分布式训练、sbatch、多节点、torch.distributed.run、CUDA_DEVICE_MAX_CONNECTIONS、NCCL、作业调度。

本技能介绍 Megatron Bridge 中的 CPU 卸载机制，涵盖基于 HybridDeviceOptimizer 的优化器状态分数卸载和层级别激活卸载，包括配置方法、参数参考、兼容性约束、故障诊断与已知限制，用于在大型模型训练中降低 GPU 内存占用并权衡内存与吞吐。关键词：CPU卸载、Megatron Bridge、激活卸载、优化器卸载、HybridDeviceOptimizer、GPU内存优化、模型并行、训练调优。

本技能指导在Megatron Bridge中验证并使用选择性和全量激活重计算（activation recompute），以降低GPU显存占用并平衡额外计算成本。涵盖recompute_granularity、recompute_modules、recompute_method等配置选择，适用于激活显存OOM、显存回归或相关性能调优场景。关键词：激活重计算、激活检查点、Megatron Core、显存优化、选择性重计算、全量重计算、MoE、MLA、GPU训练性能、Transformer Engine、CUDA图、分布式训练。

本技能提供在 Megatron-Bridge 中启用 Megatron FSDP（全分片数据并行）的操作指南，涵盖配置项、代码锚点、常见陷阱及验证方法。适用于使用 FSDP 替代 DDP 进行分布式训练，或排查相关 OOM 和性能回退问题。关键词：Megatron FSDP、全分片数据并行、分布式训练、性能调优、Megatron-Bridge、FSDP 配置、检查点格式。

本技能是针对 Megatron-LM/mcore 测试系统的完整指南，帮助用户理解测试布局、编写配方 YAML、添加或运行单元测试与功能测试、下载更新黄金值、使用标记过滤器以及实现 CI 对齐和问题排查。关键词：Megatron-LM、Megatron-Core、mcore-testing、测试指南、单元测试、功能测试、pytest、黄金值、配方YAML、CI、GPU分布式测试。

该技能提供MoE模型在长序列（如128K以上）训练时的优化指南，涵盖上下文并行（CP）大小调整、选择性重计算、调度器选择，以及基于DSV3、Qwen3、Qwen3-Next等实际实验的配置模式，帮助解决长上下文训练中的OOM、吞吐下降等问题。适用于Megatron Bridge框架。关键词：长上下文MoE、CP大小、选择性重计算、Megatron Bridge、128K、DeepEP、HybridEP。

本技能详解 Megatron-Bridge 中序列打包与长上下文训练的实现与验证，涵盖 LLM 离线打包、GPT-SFT/VLM 批内打包、Energon 在线打包及上下文并行(CP)约束，并提供配置示例、代码锚点、常见陷阱与测试验证清单。适用于大规模语言模型和多模态模型训练中的吞吐优化与序列级批处理场景。关键词：序列打包、长上下文、Megatron-Bridge、离线打包、批内打包、Energon、上下文并行、LLM SFT、VLM、CP约束、长序列训练。

本技能用于在Megatron Bridge中验证和使用CUDA图捕获，包括局部全迭代图和Transformer Engine（TE）作用域图，以降低主机驱动开销并提升训练性能。涵盖CUDA图配置、启用步骤、约束条件、代码集成、性能测试及常见陷阱排查，适用于注意力、MLP、MoE等模块的性能优化。关键词：CUDA图、Megatron Bridge、性能优化、图捕获、Transformer Engine、训练加速、全迭代图、MoE、重计算。

本技能提供MoE视觉语言模型（VLM）训练的实用指导，涵盖FSDP与3D并行策略的对比与选择，结合Qwen3-VL、Qwen3-Next等实验经验，讲解关键调优参数（如MBS、重计算、冻结视觉栈、CUDA图），并指出常见陷阱。关键词：MoE VLM训练、多模态MoE、FSDP、3D并行、Megatron Bridge、Qwen3-VL、视觉语言模型、分布式训练、性能优化、重计算、CUDA图。

NVIDIA NeMo Megatron Bridge 性能内存调优技能。本技能用于排查和解决大模型训练/微调中的 GPU 显存不足（OOM）问题，提供从显存碎片化（PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True）、并行策略（TP/PP/DP/FSDP）、激活重算、LoRA 与序列并行输入重新聚合（sequence_parallel_input_regather）到 CPU offloading 约束的完整调优方法，并附有实测结果、故障诊断和验证方案。关键词：Megatron Bridge、GPU内存优化、显存碎片、expandable_segments、OOM、LoRA显存、PEFT、序列并行、激活重算、并行度调整、CPU offloading。