选择并行策略时,需结合模型规模、硬件拓扑与序列长度:
- 稠密模型按规模从小到大选择 TP/PP/DP/CP;
- MoE 模型优先使用 EP,TP 按激活参数设定;
- 最小 GPU 数为 PP * max(TPCP, EPETP);
- 包含内存估算、常见陷阱与验证方法。
本技能用于在 Megatron Bridge 框架下选择和组合张量并行(TP)、数据并行(DP)、流水并行(PP)、上下文并行(CP)和专家并行(EP)。它提供按模型规模、硬件拓扑、序列长度的配置建议,MoE 模型的并行特殊规则,最小 GPU 数量的核算公式,内存估算方法,以及避免常见并行配置错误的检查清单。关键词:Megatron Bridge、并行策略、TP/DP/PP/CP/EP、MoE并行、最小GPU计算、序列并行、上下文并行、分布式训练调优。
选择并行策略时,需结合模型规模、硬件拓扑与序列长度: