大模型训练框架 Skill技能列表

⚡

Megatron桥接配方推荐器Skill nemo-mbridge-recipe-recommender

4.5

该技能用于推荐和定制Megatron Bridge的库与基准训练配方。用户提供模型名称/规模、GPU数量与类型、训练目标(预训练/SFT/PEFT)及序列长度后,技能将匹配最佳起始配方,并给出并行度调整、批大小调优和常见陷阱规避建议。适用于选择起始配方、对比配置、调整GPU并行度以及区分收敛性变更与性能调优等场景。关键词:Megatron Bridge、配方推荐、训练配置、并行度调整、预训练、SFT、PEFT、基准测试、GPU集群、LLM

⚡

Megatron桥接弹性Skill nemo-mbridge-resiliency

4.5

本技能介绍Megatron Bridge中的弹性(Resiliency)功能,涵盖故障容错、滞后者(straggler)检测、进程内重启、抢占和重新运行状态机,并提供完整的配置说明、插件使用、代码锚点、常见陷阱与验证方法。用于确保大规模分布式训练任务在遭遇节点故障、性能不均衡或外部抢占时能够自动恢复、稳定运行。关键词:Megatron Bridge, 弹性, 容错, 滞后者检测, 挂起检测, 自动重启, 进程内重启, 抢占, 重新运行状态机, NVRx, NeMo, 异步检查点, 分布式训练。

⚡

NeMo自动模型启动器配置Skill nemo-automodel-launcher-config

4.5

该技能介绍NeMo AutoModel启动器配置方法,支持交互式(torchrun)、Slurm集群和SkyPilot云部署三种启动模式,涵盖多节点分布式训练、容器挂载、环境变量、nsys性能分析和常见陷阱,用于生成和调试模型启动作业YAML配置。关键词:NeMo AutoModel、Launcher、Slurm、SkyPilot、多节点训练、容器配置、作业调度、性能分析。

⚡

NeMoAutoModel训练配方开发Skill nemo-automodel-recipe-development

4.5

该技能用于创建和修改 NeMo AutoModel 的训练、SFT 和评估配方(recipes),指导用户理解配方 YAML 结构、构建器函数(模型/优化器/数据加载器/调度器等)、CLI 路由、执行流程,以及验证与检查点配置。关键词:NeMo AutoModel、配方开发、YAML配置、构建器、训练微调、SFT、评估、验证、检查点、_target_、CLI覆盖、FSDP、PEFT。

⚡

NeMoAutoModel模型接入Skill nemo-automodel-model-onboarding

4.5

该技能为NeMo AutoModel添加新模型架构提供分阶段指南,包括架构识别、实现模式、注册与验证,并涵盖MoE和VLM的专用适配清单,适用于模型文件、自定义层、state dict adapter和registry配置等。关键词:NeMo AutoModel、模型接入、模型架构、MoE、VLM、state_dict适配、注册。

⚡

Megatron-LM与Bridge训练对比Skill nemo-mbridge-mlm-bridge-training

4.5

本技能用于运行Megatron-LM(MLM)和Megatron Bridge训练,指导用户进行相关性测试、损失曲线比较、MLM命令行参数到Bridge配置的转换,并提供多GPU训练示例和常见问题排查。关键词:MLM、Megatron Bridge、训练配方、相关性测试、损失曲线、多GPU训练、GPT预训练、参数映射、Megatron-Core。