该技能介绍如何在Megatron Bridge中启用和调优MoE专家并行通信重叠，涵盖配置方法、前提条件、与CUDA图/重计算的交互、实测结果、代码入口、常见陷阱及验证步骤。关键词：MoE通信重叠、EP重叠、Megatron Bridge、dispatch overlap、flex dispatcher、DeepEP、专家wgrad调度、性能调优。

该技能用于在Megatron-Bridge中启用和验证MoE专家并行（EP）通信重叠，主要涉及overlap_moe_expert_parallel_comm、delay_wgrad_compute以及DeepEP/HybridEP等flex调度器后端。它通过将token分发/合并的all-to-all通信与专家FFN计算重叠来隐藏通信延迟，从而提升MoE模型训练吞吐。内容包括启用条件、配置方法、基准测试证据、兼容性约束和故障诊断。关键词：MoE、Expert-Parallel、EP overlap、DeepEP、HybridEP、Megatron-Bridge、alltoall、delay_wgrad_compute、通信重叠、训练调优。

本技能提供一套基于证据的MoE（混合专家）模型训练性能优化工作流，适用于Megatron Bridge环境。涵盖测量契约、三堵墙（内存/通信/计算）诊断、并行折叠、性能剖析、Dispatcher与CUDA图调优及验证，用于解决MoE吞吐量调优与性能回归诊断。关键词：MoE、Megatron、性能优化、内存墙、通信墙、计算墙、并行折叠、DeepEP、HybridEP、CUDA图、FP8、A/B测试。

本技能用于在 Megatron Bridge 框架下选择和组合张量并行(TP)、数据并行(DP)、流水并行(PP)、上下文并行(CP)和专家并行(EP)。它提供按模型规模、硬件拓扑、序列长度的配置建议，MoE 模型的并行特殊规则，最小 GPU 数量的核算公式，内存估算方法，以及避免常见并行配置错误的检查清单。关键词：Megatron Bridge、并行策略、TP/DP/PP/CP/EP、MoE并行、最小GPU计算、序列并行、上下文并行、分布式训练调优。

本技能提供面向不同硬件平台（如H100、B200、GB200/GB300）的MoE（混合专家）模型训练硬件配置参考，涵盖DeepEP与HybridEP等分发器的选择、并行布局（TP/EP/PP/VPP）、重计算策略、CUDA图优化、环境变量设置、CPU端调优及性能区间估算。适用于DSV3、Qwen3 235B、Qwen3 30B、Qwen3-Next 80B等模型的训练配置与吞吐量预估。关键词：MoE、硬件配置、H100、B200、GB200、GB300、DeepEP、HybridEP、分布式训练、并行布局、性能调优、CUDA图、吞吐量。

本技能提供在Megatron-Bridge中启用、配置和验证层次化上下文并行（Hierarchical Context Parallelism）的操作指南，包括 cp_comm_type='a2a+p2p'、hierarchical_context_parallel_sizes 设置、必需约束、代码锚点、常见陷阱及日志验证方法，用于解决上下文并行规模扩展和CP配置导致的性能或OOM问题。关键词：层次化上下文并行、hierarchical context parallel、a2a+p2p、context parallel、Megatron-Bridge、CP配置、进程组、Transformer Engine、分布式训练调优

本技能用于为 MoE（混合专家）模型选择最佳令牌分发器（alltoall、DeepEP、HybridEP），涵盖硬件（H100/B200/GB200/NVL72等）、EP 规模、模型系列（DSV3、Qwen3、Qwen3-Next 等）、调优参数及常见陷阱，是分布式训练调优的关键参考。关键词：MoE、令牌分发器、alltoall、DeepEP、HybridEP、EP、NVL72、分布式训练、模型训练优化。

本技能用于将单节点训练脚本转换为多节点Slurm sbatch作业，支持srun-native和torch.distributed两种启动模式，涵盖Enroot容器配置、共享文件系统设置、NCCL超时排查、MoE模型OOM容量计算、交互式调试等常见多节点训练场景。关键词：多节点训练、Slurm、sbatch、srun、NCCL、超时、MoE、OOM、分布式训练、Enroot、Megatron、uv。

本技能用于指导在 NeMo AutoModel 中配置和优化分布式训练。涵盖 FSDP2、MegatronFSDP 和 DDP 三种策略的选择，详细说明张量并行 (TP)、流水线并行 (PP)、上下文并行 (CP)、专家并行 (EP) 与 HSDP 的 YAML 配置方法，并提供大模型和 MoE 模型并行大小建议。关键词：NeMo AutoModel、分布式训练、FSDP2、MegatronFSDP、DDP、张量并行、流水线并行、上下文并行、专家并行、YAML 配置。