万卡万亿参数模型训练底座：摩尔线程开源Megatron-MUSA-Titan

近日，摩尔线程开源大模型训练基础设施项目Megatron-MUSA-Titan。该项目基于摩尔线程全功能GPU，聚焦万卡级集群的万亿参数MoE模型训练需求，覆盖预训练与强化学习两大场景，为开发者提供面向MUSA平台的训练适配与系统优化能力。

目前，Megatron-MUSA-Titan 已在摩尔线程万卡级集群的万亿参数MoE模型预训练中持续应用，经过长时间训练实践检验，实现高MFU（模型算力利用率）与长稳训练 ，同时 支持与slime、miles强化学习框架协同 ，结合Megatron训练与SGLang样本生成，构建贯通万亿参数MoE预训练与强化学习的训练基础。

训练基础设施连接集群硬件算力与大模型研发流程，是支撑大规模训练系统的基石。此次开源将摩尔线程的系统优化能力与工程积累向社区开放：项目 贴近Megatron生态，开发者可沿用熟悉的训练配置与开发方式，在摩尔线程全功能GPU上开展预训练与强化学习研发，降低迁移与使用成本 ，进一步拓展国产GPU在大模型训练场景中的应用。

优化系统协同

释放万卡级集群效率

万亿参数模型训练的挑战贯穿计算、通信、显存和流水线调度四个方面：低精度算力的利用程度影响计算效率；专家并行和流水线并行带来大量数据传输，增加通信开销；训练过程中保存的中间激活占用大量显存，导致显存OOM（Out of Memory）或者需要引入严重影响效率的重计算；大规模MoE训练会出现负载不均衡，造成专家并行与流水线并行的通信等待，进一步拉长训练耗时。在万卡级集群的万亿参数MoE训练中，以上问题相互交织，任何一个环节的瓶颈都可能制约集群的训练效率。

Megatron-MUSA-Titan围绕上述环节进行系统协同优化，让GPU计算、数据传输与显存使用更紧密地配合，并提供覆盖各项优化的启动训练脚本。

▼ blockwise FP8训练，发挥低精度计算优势。 基于MT-TransformerEngine，Megatron-MUSA-Titan支持blockwise FP8训练，将摩尔线程全功能GPU的低精度计算能力引入训练流程，提升大规模训练中的计算效率。

▼ MoE通信优化，减少专家并行通信开销。 结合DeepEP与ACE异步通信引擎，加速MoE中的Token分发与结果合并，并实现专家并行（EP）与计算的通算重叠，让数据交换与计算任务协同执行，提升端到端训练效率。

▼ 激活卸载，优化大模型显存使用。 针对万亿参数MoE训练过程中大量中间激活占用显存的问题，Megatron-MUSA-Titan实现了基于VPP/1F1B调度的激活卸载（Activation offload），可以在不损失性能的情况下降低GPU显存压力。

▼ 流水线通算重叠，减少流水线空泡等待。 在流水线并行维度，基于Mooncake RDMA实现流水线阶段间的激活与梯度传输，并结合VPP调度实现通信与计算重叠，减少跨阶段数据传输的等待。

这些能力分别作用于计算、通信、显存与流水线调度环节，共同服务于一个目标：让万卡级集群中的各类资源得到更充分地利用，为万亿参数模型训练提供高效的系统支撑。

贯穿单卡与集群

定位训练性能瓶颈

系统优化的效果需要准确度量才能持续改进。集群规模越大，影响整体效率的因素越多：单个算子的耗时、通信链路的等待、流水线中的空泡以及少数慢节点，都可能成为瓶颈。

摩尔线程自研的分布式性能分析工具Distributed Holistic Trace Analysis，支持对分布式训练的PyTorch Trace进行分析，覆盖算子开销、通信开销、流水线空泡与慢节点定位，并提供流水线并行的关键路径分析，帮助开发者将性能现象关联到具体执行环节。

相关工具已应用于万卡级集群上的万亿参数MoE模型训练的性能分析与优化，可在30分钟内完成万亿参数模型的性能分析 ，帮助研发团队更有针对性地识别瓶颈、调整配置并验证优化效果，为超大规模训练提供可观测、可分析的工程支持。

共用训练基础

贯通预训练与强化学习

预训练构建模型的基础能力，强化学习则通过生成、反馈与策略更新，推动模型能力进一步提升。两个阶段的任务组织方式有所不同，但都依赖高效的模型训练、分布式通信与显存管理。

Megatron-MUSA-Titan将面向MUSA平台的Megatron系统优化作为共享训练基础，为预训练与强化学习提供可复用的训练能力。

▼ 在预训练场景中，Megatron-MUSA-Titan承担万亿参数MoE模型的训练，支撑前述各项系统优化落地。

▼ 在强化学习场景中，Megatron-MUSA-Titan支持与slime、miles强化学习框架协同：由Megatron-LM承担模型训练，结合SGLang的MUSA后端完成Rollout样本生成，两个阶段共用同一套训练基础。开发者可延续已有的Megatron使用经验，将训练侧的优化积累同时应用到预训练与强化学习研发中，减少重复建设，更专注于模型、数据与训练策略的迭代。

共建开源生态

开放训练实践

训练能力的持续供给，离不开与开源生态的协同演进。Megatron-MUSA-Titan采用贴近官方的设计思路：与特定设备无关的算法实现、性能优化和问题修复积极合入官方社区，仓库内仅保留与MUSA相关的改动，让摩尔线程GPU上的训练能力持续跟随社区演进。

这一设计直接体现在开发者的使用方式上。依托Torch-MUSA对PyTorch的集成与MUSA软件栈的兼容能力，开发者可结合Megatron-LM、slime、miles官方仓库开展训练，复用社区已有的模型实现、训练流程与配置选项，官方代码无需修改即可在摩尔线程全功能GPU上运行，获得一致的开发体验。目前，MUSA已合入slime与RL-Kernel的main分支，相关优化成果与社区共享。

目前，Megatron-MUSA-Titan仓库已提供项目文档、特性说明，以及主流模型的预训练配置示例，为开发者了解训练方案、开展环境适配与集群调优提供参考。欢迎开发者参与项目，通过Issue交流使用反馈，通过Pull Request贡献代码与文档，共同完善面向大模型预训练与强化学习的MUSA基础设施。

未来，摩尔线程将持续完善MUSA平台的大模型训练能力，加强与训练框架、强化学习框架和开源社区的协同演进，携手开发者、合作伙伴和开源社区，共同推进国产全功能GPU大模型训练生态的繁荣发展。

▼ 关于摩尔线程开发者

摩尔线程开发者是国产 GPU 创新企业摩尔线程专为技术爱好者和开发者打造的一站式服务平台。摩尔线程致力于构建一个技术共享和创新驱动的开发者生态服务体系，助力开发者实现技术突破，推动创新应用落地。