Expert-Parallel

从 DDP 到混合并行，系统梳理大模型训练中的所有并行策略。

从 Megatron-Core 架构到 Megatron-Bridge 桥接机制，深入剖析 MoE 大模型训练中的并行策略、通信优化与计算融合。