NeMo-MBridge性能并行策略选择Skill nemo-mbridge-perf-parallelism-strategies

本技能用于在 Megatron Bridge 框架下选择和组合张量并行(TP)、数据并行(DP)、流水并行(PP)、上下文并行(CP)和专家并行(EP)。它提供按模型规模、硬件拓扑、序列长度的配置建议,MoE 模型的并行特殊规则,最小 GPU 数量的核算公式,内存估算方法,以及避免常见并行配置错误的检查清单。关键词:Megatron Bridge、并行策略、TP/DP/PP/CP/EP、MoE并行、最小GPU计算、序列并行、上下文并行、分布式训练调优。

分布式训练调优 0 次安装 0 次浏览 更新于 9/7/2026

选择并行策略时,需结合模型规模、硬件拓扑与序列长度:

  • 稠密模型按规模从小到大选择 TP/PP/DP/CP;
  • MoE 模型优先使用 EP,TP 按激活参数设定;
  • 最小 GPU 数为 PP * max(TPCP, EPETP);
  • 包含内存估算、常见陷阱与验证方法。