__init__.py — verl/models/transformers/__init__.py

文件路径

verl/models/transformers/__init__.py

文件概述

transformers 子模块的初始化文件，导出两个核心的 monkey patch 函数。

关键代码讲解

from verl.models.transformers.monkey_patch import apply_monkey_patch
from verl.models.transformers.tiled_mlp import apply_tiled_mlp_monkey_patch

__all__ = [
    "apply_monkey_patch",
    "apply_tiled_mlp_monkey_patch",
]

对外暴露的两个入口函数： - apply_monkey_patch：统一的 monkey patch 入口，替换注意力层、前向函数等 - apply_tiled_mlp_monkey_patch：将 MLP 层替换为内存高效的分片计算版本

小结

简单的导出文件，使用者通过 from verl.models.transformers import apply_monkey_patch 即可使用。