megatron_peft_utils.py — Megatron + PEFT/LoRA 适配

文件路径: verl/utils/megatron_peft_utils.py

文件概述

在 Megatron 并行框架下使用 PEFT (Parameter-Efficient Fine-Tuning) 技术（主要是 LoRA）的适配工具。处理 LoRA 层与 Megatron 张量并行的兼容性。

核心功能

• 在 Megatron 模型上应用 LoRA 适配器
• 确保 LoRA 的低秩矩阵在张量并行下正确分片
• 管理 LoRA 参数的冻结/解冻

与其他模块的关系

• 依赖 megatron/tensor_parallel.py 进行参数分片
• 被使用 Megatron + LoRA 训练策略时调用

小结

让 LoRA 在 Megatron 并行训练框架下正确工作的适配层。