__init__.py — Qwen2 Megatron 模块导出

文件路径

verl/models/qwen2/megatron/__init__.py

文件概述

导出 Qwen2 模型的所有 Megatron 并行化变体。结构与 LLaMA 完全对称。

导出的类

from .modeling_qwen2_megatron import (
    ParallelQwen2ForCausalLM,
    ParallelQwen2ForCausalLMRmPad,
    ParallelQwen2ForCausalLMRmPadPP,
    ParallelQwen2ForValueRmPad,
    ParallelQwen2ForValueRmPadPP,
    ParallelQwen2Model,
)

类名	用途
ParallelQwen2Model	基础 Transformer 解码器
ParallelQwen2ForCausalLM	因果语言模型
ParallelQwen2ForCausalLMRmPad	去 padding CausalLM
ParallelQwen2ForCausalLMRmPadPP	去 padding + PP CausalLM
ParallelQwen2ForValueRmPad	Value 模型
ParallelQwen2ForValueRmPadPP	Value 模型 + PP

小结

与 LLaMA 对应模块结构相同，提供 Qwen2 的统一导入接口。