megatron/ 子模块 — Megatron 并行训练工具¶
概述¶
megatron/ 子模块提供了与 NVIDIA Megatron-LM 框架集成的工具，支持张量并行 (TP)、流水线并行 (PP)、序列并行 (SP) 等大模型训练技术。
文件列表¶
| 文件 | 说明 |
|---|---|
__init__.py |
模块入口（空文件） |
optimizer.py |
Megatron 优化器配置与创建 |
sequence_parallel.py |
序列并行工具 |
pipeline_parallel.py |
流水线并行工具 |
tensor_parallel.py |
张量并行工具 |
memory.py |
内存缓冲区管理 |
dist_checkpointing.py |
分布式检查点 |
router_replay_patch.py |
MoE 路由重放补丁 |
router_replay_utils.py |
MoE 路由重放工具 |