__init__.py — LLaMA 并行层导出¶
文件路径¶
verl/models/llama/megatron/layers/__init__.py
文件概述¶
导出 LLaMA 模型的所有并行层组件。
导出的类¶
from .parallel_attention import ParallelLlamaAttention
from .parallel_decoder import ParallelLlamaDecoderLayer, ParallelLlamaDecoderLayerRmPad
from .parallel_linear import LinearForLastLayer, MergedColumnParallelLinear, QKVParallelLinear
from .parallel_mlp import ParallelLlamaMLP
from .parallel_rmsnorm import ParallelLlamaRMSNorm
| 类名 | 来源文件 | 作用 |
|---|---|---|
ParallelLlamaAttention |
parallel_attention.py | TP 并行注意力 |
ParallelLlamaDecoderLayer |
parallel_decoder.py | 标准解码层 |
ParallelLlamaDecoderLayerRmPad |
parallel_decoder.py | 去 padding 解码层 |
QKVParallelLinear |
parallel_linear.py | QKV 合并投影 |
MergedColumnParallelLinear |
parallel_linear.py | gate+up 合并投影 |
LinearForLastLayer |
parallel_linear.py | Value 模型输出层 |
ParallelLlamaMLP |
parallel_mlp.py | TP 并行 MLP |
ParallelLlamaRMSNorm |
parallel_rmsnorm.py | SP 兼容 RMSNorm |
小结¶
这个 __init__.py 汇总了构建 LLaMA Megatron 模型所需的所有层组件。