__init__.py — LLaMA Megatron 模块导出

文件路径

verl/models/llama/megatron/__init__.py

文件概述

导出 LLaMA 模型的所有 Megatron 并行化变体。

导出的类

from .modeling_llama_megatron import (
    ParallelLlamaForCausalLM,
    ParallelLlamaForCausalLMRmPad,
    ParallelLlamaForCausalLMRmPadPP,
    ParallelLlamaForValueRmPad,
    ParallelLlamaForValueRmPadPP,
    ParallelLlamaModel,
)

类名	用途
ParallelLlamaModel	基础 Transformer 解码器（带 padding）
ParallelLlamaForCausalLM	因果语言模型（带 padding）
ParallelLlamaForCausalLMRmPad	因果语言模型（去 padding，使用 flash_attn）
ParallelLlamaForCausalLMRmPadPP	因果语言模型（去 padding + 流水线并行）
ParallelLlamaForValueRmPad	Value/Critic 模型（去 padding）
ParallelLlamaForValueRmPadPP	Value/Critic 模型（去 padding + 流水线并行）

小结

这个 __init__.py 提供了 LLaMA Megatron 模型的统一导入接口，按功能分为三个维度：是否去除 padding、是否支持流水线并行、是因果模型还是 value 模型。