`init.py` — vLLM 版本兼容层¶

源码路径：verl/third_party/vllm/__init__.py

文件概述¶

这个文件是 verl 对 vLLM 推理引擎的版本兼容封装。它的核心任务是检测系统中安装的 vLLM 版本，根据版本号设置不同的配置，并统一导出 LLM 和 parallel_state 两个关键对象。

什么是 vLLM？¶

vLLM 是一个高性能的大语言模型推理引擎，采用 PagedAttention 等技术实现高效的 KV Cache 管理。在 verl 的强化学习训练流程中，vLLM 被用于 rollout 阶段（生成模型回复），因为它的推理速度远快于原生 HuggingFace。

关键代码讲解¶

1. 版本检测¶

from importlib.metadata import PackageNotFoundError, version
from packaging import version as vs

def get_version(pkg):
    try:
        return version(pkg)
    except PackageNotFoundError:
        return None

package_name = "vllm"
package_version = get_version(package_name)
vllm_version = None
VLLM_SLEEP_LEVEL = 1

使用 importlib.metadata.version 检测 vLLM 是否已安装及其版本号。VLLM_SLEEP_LEVEL 是一个重要的配置项，控制 vLLM 在不工作时如何释放 GPU 显存： - Level 1：基础的 sleep 模式 - Level 2：更激进的显存释放（vLLM >= 0.8.5 支持）

2. 版本分支处理¶

if package_version is None:
    if not is_sglang_available():
        raise ValueError(
            f"vllm version {package_version} not supported and SGLang also not Found. "
            f"Currently supported vllm versions are 0.7.0+"
        )
elif is_npu_available:
    # NPU (华为昇腾) 特殊处理
    VLLM_SLEEP_LEVEL = 1
    from vllm import LLM
    from vllm.distributed import parallel_state
elif vs.parse(package_version) >= vs.parse("0.7.0"):
    vllm_version = package_version
    if vs.parse(package_version) >= vs.parse("0.8.5"):
        VLLM_SLEEP_LEVEL = 2  # 更激进的显存释放
    from vllm import LLM
    from vllm.distributed import parallel_state
else:
    if vs.parse(package_version) in [vs.parse("0.5.4"), vs.parse("0.6.3")]:
        raise ValueError(
            f"vLLM version {package_version} support has been removed. "
            f"Please use vLLM 0.7.0 or later."
        )
    if not is_sglang_available():
        raise ValueError(...)

这段代码处理多种情况：

vLLM 未安装：检查 SGLang（另一个推理引擎）是否可用作为替代
NPU 环境：华为昇腾芯片使用 vllm-ascend，sleep_mode=2 尚不支持
vLLM >= 0.7.0：正常导入，版本 >= 0.8.5 时启用更高级的 sleep 模式
旧版本 vLLM：明确告知用户旧版本已不再支持

3. 导出接口¶

__all__ = ["LLM", "parallel_state"]

只导出两个核心对象： - LLM：vLLM 的主引擎类，用于创建推理实例 - parallel_state：vLLM 的分布式并行状态管理模块

核心类/函数列表¶

名称	类型	说明
`get_version()`	函数	获取指定包的版本号
`vllm_version`	变量	检测到的 vLLM 版本字符串
`VLLM_SLEEP_LEVEL`	变量	vLLM sleep 模式级别（1 或 2）
`LLM`	导入	vLLM 的推理引擎类
`parallel_state`	导入	vLLM 的分布式状态模块

与其他模块的关系¶

verl/workers/ - rollout worker 通过这里导入 vLLM 进行推理
verl/utils/import_utils - 使用 is_sglang_available() 检查 SGLang
verl/utils/device - 使用 is_npu_available 检查 NPU 环境
vllm - 底层推理引擎

小结¶

这个文件是 verl 对 vLLM 版本差异的统一封装。它解决了以下问题： 1. vLLM 版本碎片化（不同版本 API 不同） 2. 硬件差异（NPU vs GPU） 3. 替代方案支持（SGLang 作为 vLLM 的备选） 4. 友好的错误提示（旧版本用户会收到升级建议）

通过这个兼容层，verl 的其他模块不需要关心 vLLM 的版本细节，只需从 verl.third_party.vllm 统一导入即可。

__init__.py — vLLM 版本兼容层¶