__init__.py — verl/models/mcore/__init__.py

文件路径

verl/models/mcore/__init__.py

文件概述

Megatron-Core 子模块的初始化文件，从 registry.py 导出核心工厂函数。

关键代码讲解

from .registry import (
    get_mcore_forward_fn,
    get_mcore_forward_fused_fn,
    get_mcore_forward_fused_no_padding_fn,
    get_mcore_forward_no_padding_fn,
    get_mcore_weight_converter,
    hf_to_mcore_config,
    init_mcore_model,
)

导出的核心函数： - hf_to_mcore_config：HF 配置 -> mcore TransformerConfig - init_mcore_model：初始化 mcore GPTModel - get_mcore_forward_fn：获取前向函数（THD 格式） - get_mcore_forward_fused_fn：获取融合前向函数 - get_mcore_forward_no_padding_fn：获取无 padding 前向函数 - get_mcore_weight_converter：获取权重转换器

小结

简单的导出文件，使用者通过 from verl.models.mcore import hf_to_mcore_config, init_mcore_model 即可使用。