分布式训练通信 Skill技能列表
Nemo-MBridgeTP/DP/PP通信重叠性能调优Skill nemo-mbridge-perf-tp-dp-comm-overlap
本技能提供在Megatron-Bridge中启用TP(张量并行)、DP(数据并行)和PP(流水线并行)通信重叠的详细操作指南。涵盖关键配置选项(CommOverlapConfig、DDP重叠、混合精度)、代码锚点、常见陷阱及验证步骤,帮助用户通过通信重叠优化分布式训练吞吐性能。关键词:通信重叠、TP重叠、DP重叠、PP重叠、Megatron-Bridge、分布式训练、性能优化、Nemo。