__init__.py — Qwen2 并行层导出

文件路径

verl/models/qwen2/megatron/layers/__init__.py

文件概述

导出 Qwen2 模型的所有并行层组件。

导出的类

from .parallel_attention import ParallelQwen2Attention
from .parallel_decoder import ParallelQwen2DecoderLayer, ParallelQwen2DecoderLayerRmPad
from .parallel_mlp import ParallelQwen2MLP
from .parallel_rmsnorm import ParallelQwen2RMSNorm

注意：与 LLaMA 不同，这里没有导出 LinearForLastLayer（Qwen2 的线性层模块中未定义此类）。

小结

汇总 Qwen2 Megatron 模型所需的所有层组件。